6 月 17 日大联大品佳集团、以及大大通联合举办的用低成本MCU做到精确辨识~NXP人脸识别与本地语音控制方案在线研讨会 已经圆满结束，本场研讨会主要介绍 基于Arm Cortex-M7核心的人脸识别与本地语音控制的方案，该方案的产品为接近量产、已过FCC/CE认证的 Turnkey solutions。同时也产生了许多在线问答，再次与大家一同分享
看视频回放+课件下载 >>>由此去
看视频回放+课件下载 >>>由此去
 | RT106X是否都是使用相同的外设driver包？ |
| Driver相同， 演算法及上层应用不同。 |
| | 支援Matter协议吗？以及支援IPv6吗？ |
| 支持LwIP IPv4。 |
| | 恩智浦基于Arm Cortex-M7功耗怎么样？ |
| 最高214mW，最低1mW。 |
| | RT106S的语音识别引擎能够移植到RT1050平台上吗？ |
| 只能在RT106S。 |
| |
是否能支持车牌识别? |
| 这个是可以实现的，欢迎来信 NXP@sacsys.com.tw 讨论。 |
| | 可用何种通讯介面？ |
| 恩智浦支持PWM， GPIO， SDIO， Ethernet等 。 |
| | 很多关于家电运用，请问安全使用的技术或分离式晶片为何？ |
| RT本身有支持加密的硬体配置，同时我们可以再外部增加恩智浦的Security Element晶片。 |
| | RT106S内置codec吗？ |
| 目前没有， 需外置。 |
| | 本地语音控制，对于电子式麦克风有要求？ |
| 会有，application note给客户参考设计 |
| | 人脸加语音识别同时设计的话要用哪一颗呢？ |
| 我们即将推出RT117x，这个更高阶的方案，可以考虑。欢迎来信讨论。 |
| | 语音识别的距离？ |
| 依环境不同，最远可到三到五公尺。 |
| | 语音识别的内容是不是需要把所有指令录入学习？还是可以自适应学习? |
| 目前仍需将指令录入，但是我们每种语言最多可支持到20个指令。 |
| | 语音唤醒词的SNR门槛是多少？ |
| 无须NRE费用。 |
| | 支援自订义语词Triger吗? 是透过平台去训练吗? 还是可以自主训练？ |
| NXP提供了平台学习，训练可由原厂及代理商协助。 |
| | 可以支持多少关键词？ |
| 我们每种语言最多可支持到20个指令。 |
| | 请问RT106S内置codec吗？ |
| 目前没有，需外置。 |
| | 目前拾音是3M ？ |
| 可支持3M以上。 |
| | 会有自订唤醒语言吗？ |
| 客户可自行定义唤醒词。 |
| | RT106S的代码是在内部缓冲RAM上跑吗？内部缓冲RAM多大？ |
| 可以在Flash(XIP) / SRAM执行， SRAM = 1MB。 |
| | 本地语音的可识别词条可以达到多少条？中英文能否混搭？ |
| 看你的记忆体，目前不建议混搭，可在唤醒词上做区隔。 |
| | 语音控制能识别方言么？ |
| 目前还不能，方案持续开发中， 欢迎来信 NXP@sacsys.com.tw 讨论。 |
| | 本地语音对于电子式麦克风规格有甚么要求?数量及摆放位置条件？ |
| 目前最多支持3组MIC， 摆放位置有参考方案可以参考，欢迎来信 NXP@sacsys.com.tw 讨论。 |
| | 人脸识别的算力标准是多少？ |
| 可达 99.6%，目前在i.MXRT106x，ARM Cortex M7 600Mhz下就可以支持。 |
| | 语音控制是识别关键词么?请问客制化的唤醒词，有工具可自订唤醒词吗？ |
| 是的，有相关工具，请联络品佳集团 NXP@sacsys.com.tw 来获取。 |
| | MIC 的AEC是由软体那边处理吗？ |
| 是。 |
| | 请问有开发与温度侦测结合的方案吗？ |
| 目前没有。 |
| | RT106S支持几个麦？ |
| １～３Mic。 |
| | RT1010能玩语音识别吗？？ |
| 目前没有。 |
| | 人脸识别的距离是多远？ |
| 看Sensor是VGA或是QVGA， 建议30 ~ 80cm。 |
| | 人脸和语音的演算法有开放可以修改吗？ |
| 没有， 提供Library及API呼叫。 |
| | 戴口罩可以侦测到吗？ |
| 目前暂时不支援口罩侦测。 |
| | 人脸辨识的camera 侦测角度为几度? |
| 依选用的镜头可以选用广角，我们目前已有广角的方案ready，欢迎来信讨论 。 |
| | 支授无线连接吗? 可以使用手机去连接门铃吗？ |
| 可以的。 |
| | 这是使用双镜头或是结构光来辨认？ |
| 目前有双镜头方案，结构光部份正在开发中。 |
| | 提供的算法lib是否支持二次开发？ |
| 可以的。 |
| | 语音识别训练模型要采集多少样本才能有较高的识别率？ |
| 最少１０人，男女各只５人 ，每个指令念１０次 ３０ｃｍ ５０ｃｍ １Ｍ ３Ｍ ６０ｄｂ 都要。 |
| |
我在使用SLN-LOCAL-IOT时，他的SDK没有基本外设的Sample code，请问是否有提供或可参考的Sample code包呢? 急需I2S支援? |
| 有的，在SDK里有底层driver layer相关范例。 |
| | 是否提供周边IC的驱动支持? (ex: WiFi， BT)？ |
| 有的， 在i.MX RT1060 SDK有提供Wi-Fi/BT相关driver。 |
| | 语音和人脸识别可以做到同一颗IC吗？ |
| NXP在i.MX RT1170会提供同时支援语音与人脸辨识。 |
| | 请问RGB也能做到防伪吗？ |
| IR + RGB可以做到活体检测(防图片及手机画面)。 |
| | 人脸识别算法需要自己开发么？ |
| NXP提供 Oasis lite推理演算法。 |
| | 本地语音识别可以支持多少条控制指令？ |
| 看记忆体容量，１００条内应该没问题。 |
| | RT106S，做语音识别还需要外加codec吗？ |
| 可以用PDM ， 如:SPH0641LM4H。 |
| | 能否做到口罩人脸识别? |
| 目前无法判读口罩人脸。 |
| | 人脸识别的轻重模型的差异是什么？ |
| Light : Fastest inference times Heavy : Bigger face database。 |
| | 这个有含结构光吗？ |
| 没有。 |
| | 同时一画面可侦测几个人脸呢？ |
| 建议同时只用1个人脸。 |
| | 关于人脸识别算法和框架已经集成了吗？是否需要进行重新开发和训练？准确率多少？ |
| NXP回提供完整开发套件，包含OASIS library. 准确度达99.6%。 |
| | RT106X应用于人脸识别的响应速度可以突破1s吗？ |
| 在优化算法后，可以突破，欢迎来信讨论。 |
| | support 的camera types？ |
| 目前有IR及RGB。 |
| | 基于MCU的本地语音控制解决方案是否支持180度及360 远场实现？需要NRE费用吗？ |
| 目前支援１～３Ｍｉｃ ，ＮＲＥ内含每一芯片内。 |
| | 请问语音控制有指定支援MIC厂商吗？ |
| 客户可自行选择audio 输入来源。 |
| | 语音识别的算法可以共享吗？ |
| 不行，有绑定硬体。 |
| | 对于人脸信息的存储，最多能够存储多少张？ |
| RGB camera可达3000张人脸。 |
| | 本地语音控制连接高备是什么方式？蓝牙OR红外OR？ |
| 就是单点语音控制，直接对设备讲话就可以。 |
| | 基于MCU的本地语音控制解决方案 是否支持180度以及360 远场实现？，需要NRE费用？ |
| 可使用2-3MICs来达到180-360 far field的辨识，不需要任何NRE费用。 |
| | 如果有更大的SRAM需求，超过2MB，可以选这个解决方案吗？ |
| 目前SRAM最大为1MB，日后有更新的产品可以再向您分享，也欢迎来信讨论。 |
| | 请问和传统的MPU方案架构相比较，讲解的方案主要优势有哪些？ |
| MPU需考虑到OS环境，各项外储的配置，同时功耗较大。MCU的运行较简单，功耗较低，成本较低 。 |
| | 语音识别是否支持学习功能？ |
| 我们目前提供的方案是由恩智浦及代理商协助语音识别的开发及学习。 |
| | 语音处理的DSP效能如何？（可以做到多远、SNR多少还能收语音指令）？ |
| 目前客户有实测到７米，辨识度效果还不错。 |
| | 语音识别是否支持学习功能？ |
| 没有喔。 |
| | i.MX RT 10xx & 11xx系列是哪一款芯片的接替型号？ |
| 运行600MHz有 RT1050， RT1060 运行到1GHz的有RT1170 。 |
| | 语音识别是否支持学习功能？ |
| 目前不支持 。 |
| | 请问i.MX RT106F芯片支持的通讯方式有哪些? |
| i.MX RT1060 SDK目前也支持Wi-Fi/BT的通讯 。 |
| | NXP本地语音识别能识别最大多少条指令？ |
| 可支援到100个命令。 |
| | 人脸识别用的是哪家的算法？ |
| 所使用的是NXP自行开发的OASIS。 |
| | 脸部辨识率可以到多少准确度？ |
| 可达99.6%。 |
| | 请问i.MX RT106F 收音..外部还需要在MIC device？ |
| RT106F不需要， RT106L语音辨识才需要。 |
| |
人脸辨识过程中可以同步量测体温吗? |
| 没有。 |
| | 语音识别是否有持学习功能?是否能辨识使用者？ |
| 目前尚无支援。 |
| | 是否提供周边晶片的驱动支持（ex: WiFi， BT)？ |
| 有的，SDK有提供driver layer的范例。 |
| | 目前语音辨识，可以辨识多少种语言？ |
| ３２种，主要中英日欧系较多人使用。 |
| | 在噪声较大的环境下，MCU是否有语音处理去噪的功能，来更好的识别语音信息？ |
| 软件DSP有支持环境降造。 |
| | 语音码能自己定义吗？ |
| 可以。 |
| | 智慧语音开灯是否有误开的情况？ |
| 在命令集设计时会有建议事项，建议 命令不要太相似。 |
| | 语音识别是否有学习功能， 另外是否可以辨识使用者呢? |
| 目前没学习及识别功能。 |
| | 请问在语音识别的准确度上是否有相关参数进行衡量？ |
| 根据你们自己的命令集，有软件可协助测试准确度。 |
| | 使用 IR + RGB的模组 是能做人脸识别+体温侦测的方案吗?有实例吗？ |
| 目前只有IR + RGB的活体检测。 |
| | 恩智浦基于Arm Cortex-M7核心的人脸识别与本地语音控制的方案产品何时量产？ |
| 目前都已量产。 |
| | MXRT106x 支援的平台有哪些？ |
| 目前支援FRTOS。 |
| | RT106X有哪些安全保护措施？ |
| 有安全启动功能。 |
| | 针对人脸识别上，未来的发展趋势，是否会受信息安全等限制？ |
| 需视当地法规与客户要求。 |
| | 另外，MCU的耐温度范围为何？ |
| 目前有工规到105度。 |
| | 请问本地语音可以录入声纹么？ |
| 不支持声纹识别。 |
| | 在开发操作上，对Linux和高端MPU要求很高吗？ |
| 目前是以mcu产品开发，架构在FRTOS上开发。 |
| | 使用NXP的MCU，此产品的待机功耗是多少？ |
| i.MX RT系列待机时的功号不超过1mW。 |
| | 关于此类MCU的PCBLAYOUT一般应用是6层板还是8层板？ |
| 6层板。 |
| | i.MX RT106F是否包含自动语音识别引擎（ASR）？ |
| 是的。 |
| | 目前有哪些白色家电厂商已经有再用NXP的Solution? 用途是做什么？ |
| 目前市场有相关产品，主要是做家电控制。 |
| | 何谓白色家电？ |
| | 是否有现成的软体可以套用？ |
| 有的 有现成的可以参考 也可以Demo 。 |
| | 人工智能如何保护个人隐私？如何保证安全性？ |
| 有隐私顾虑的话，可以都全部采用在地端的做法，不会上传到云端。 |
| | 语音识别能识别方言吗？ |
| 目前有支持中文等３２种语言，但方言应该还没有。 |
| | 请问这只是做识别而已吗，可以做eye tracking吗？ |
| 目前没有做eye trackin的功能。 |
| | i.MX RT106F的主频最大能够达到多少？ |
| 最高为600MHz。 |
| | i.MX RT106L 音源输入可支援I2S输入吗? Sample Code: 是PDM To PCM? |
| 可以的，支持PDM/PCM format 。 |
| | 人脸识别已经应用，还有再深度发展么？ |
| 人脸辨识已有基本应用，深度应用需视功能性要求开发。 |
| | 语音演算法开发码有 develop guide ？ |
| 算法是固定的不能更改，但是唤醒字词和命令集后续会提供自行开发软件。 |
| | 记忆体大约是使用多少呢？ |
| 目前有2M， 4M。 |
| | i.MX RT106L 音源输入可支援I2S输入吗? Sample Code: 是PDM To PCM？ |
| ＰＤＭ ６４ＫＨＺ＠３２ｂｉｔ 输入透过软体将ＰＤＭ转ＰＣＭ １６ＫＨＺ＠１６ｂｉｔ。 |
| |
语音控制方案如何解决清晰度? |
| 后续优化方面参考Ａｌｅｘａ 测试方式，在３０ｃｍ ５０ｃｍ １ｍ ３ｍ 等６０ｄｂ 方式收音，如有确定方案，可来信细谈。 |
| | 本地的语音库需要训练么？ |
| 需要。 |
| | 动态可以做到吗？ |
| 我们基本上还是以静态画面来做侦测，但是每秒可处理多张照片。 |
| | 从待机到唤醒有哪些方法？ |
| 支持由外部GPIO唤醒，如触摸、语音等。 |
| | 人脸识别响应速率和识别率到多少？ |
| 轻模型辨识时间不超过500ms，重模型不超过1000ms. 辨识准确率达99.6%。 |
| | 语音控制方案支持繁体中文吗？ |
| 不哦，支援English， Mandarin， German ，French。 |
| | 这个主体芯片是哪一颗 低功耗么？ |
| 目前使用i.MXRT106x，最低功耗为1mW。 |
| | 跑Linux系统的吗？还是其他开源系统? |
| NXP EdgeReady的解决方案是运行在FreeRTOS。 |
| | 使用到的算法可以进行二次开发吗？ |
| 可以的，NXP提供完整的软体开发套件让客户进行第二次开发。 |
| | 终端用户是否可以选择自己的唤醒词？ |
| 唤醒词语命令皆为客制化。 |
| | 恩智浦的基于MCU的远场语音控制和命令识别解决方案有哪些优势？ |
| 软体DSP 支持 １.echo cancellation 2.Noise suppression 3. beaamforming 4.barge-in ＆语音控制演算法分担到每一颗芯片上，不用负担额外的ＮＲＥ，所以在少量生产上减少很多成本上的负担。 |
| | 人脸识别技术MCU平台优势？ |
| 在MCU上执行人脸识别，有方案成本较低，功耗低，架构简单，可迅速布建。 |
| | 语音控制方案支持多远最大距离？ |
| 5~7 米，客户实测有到7米。 |
| | 请问NXP关于人脸识别的芯片有哪几类？ |
| 目前为i.MX RT106F，之后会有运算能力更高的i.MX RT117F。 |
| | 语音控制是提供算法包还是开放代码？ |
| 语音匴法提供程式库API调用， 其它都开源。 |
| | 为什么要采用本地语音，不使用云端语音？ |
| 本地语言不会因为连线问题中断&速度变慢。 |
| | 语音控制 用的是特定还是非特定方案？ |
| 目前语音控制是使用NXP的i.MXRT106x，这是目前最适合的方案，欢迎来信询问详细方案。 |
| | I.MX RT106F识别速度怎样？ |
| 0.4 sec @ 600 MHZ。 |
| | DSP能否用多个mic 判定声源方向？ |
| 演算法最多支援3 Mic & beamforming。 |
| | 采用了哪些语音处理算法？语音识别率能达到多少？ |
| 唤醒词语命令演算法& 软体DSP; 需实测。 |
| | 1.纯语音辨识 功耗大约多少W? 2. 人脸识别 功耗大约多少W？ |
| RT106F @600MHz = 214mW ， @528MHz = 174mW。 |
| | 唤醒语言我们该如何验证其准确度? 有标准测试手法吗？ |
| 有,演算法厂商有相关测试 。 |
| | 带学习功能吗？ |
| 没有。 |
| | 支援ONNC吗？ |
| 目前没有。 |
| | 可以支持到是多少word呢？ |
| 看记忆体空间,实测30 组以上。 |
| | 供货期多久？ |
| MCU产品一般为6~7年的供货期 。 |
| | RT106S 有AEC车规的方案吗？ |
| 目前没有,需转换其他规格MCU。 |
| | 软体支援VC吗? |
| 目前没有支援。 |
| | 人脸识别IR+RGB同时使用时的最大辨识数目是否就变成IR的100人？ |
| 需视演算法能力。 |
| | 请问这个Feature 跟 IPhone 的Face ID有什么差异吗 Thanks？ |
| 强调中低阶应用 MCU base。 |
| | 创维在电路架构中是扮演什么角色？ |
| 硬体鱼眼校正 & ISP。 |
| | 方案使用的是红外摄像头吗？还是微光摄像头？ |
| 红外线摄像头。 |
| |
同时间只能识别多少人的人脸吗? |
| 1个人脸。 |
| | 作为门铃来说，识别人脸有什么用？没有录入数据库的人脸识别不出来，录入的识别出来能作为开门使用吗？那不是智能门锁的事情吗？ |
| 认识的人才能进出 。 |
| | 3D镜头用的哪家的呢？ |
| 可由客户自行选择开发。 |
| | 可以使用手机去取得门铃的资讯吗？ |
| 支持手机注册。 |
| | 人脸识别可以分辨活体与照片的差异吗？ |
| 有,IR + RGB 镜头支援活体识别。 |
| | 于眼镜会门铃，如果多人在可视范围内，多人都可追踪吗？ |
| 抓最近的人脸。 |
| | i.MX RT106F 的 USB 可定义成HID 装置吗？ |
| 须加上USB相关产品。 |
| | RT106X应用在智慧门铃的哪些方面? |
| 监控非家人长时间逗留, 可拍照上传通知主人。 |
| | RGB会不会受环境光干扰？ |
| 人脸识别安装时会考虑环境光源。 |
| | 静态功耗能够做到多少？ |
| i.MX RT系列待机时的功号不超过1mW。 |
| | 戴眼镜可以识别吗? 有其它的限制吗？ |
| 注册时有戴就可以。 |
| | 请问RGB 也能做到防伪吗？另外IR 与 RGB为何数量差那么多？ |
| RGB 不行防伪。 |
| | RT系列的语音识别是包括了MIC前端处理吗？即降噪，去混响，波束成形算法……？ |
| 是,软体DSP处理。 |
| | 轻模型与重模型有何区别？ |
| 速度．数量，价格。 |
| | IR和RGB做活体检测和人脸比对是吧 双目？ |
| RGB侦测人脸识别 IR 做活体识别。 |
| | 基于恩智浦全新的OASIS-LITE引擎，比 TensorFlow-Lite方式有哪些优势？ |
| 更轻量。 |
| | RT106F在户外强光下仍旧可以辨识吗？ |
| 人脸识别安装时会考虑环境光源。 |
| | 可以加强眼睛区域的辨识能力吗？ |
| 演算法是固定的无法更改。 |
| | 画质与fps可以到多少? 目前有打通过 哪些牌子的影像感测器？ |
| 15fps~30fps,影像感测器厂商大都有合作。 |
| | 现在大家都戴口罩！可以加强眼睛区域的准确度！来稍微替代虹膜辨识吗？ |
| 演算法是固定的无法更改。 |
| | 人脸辨识以及语音辨识，机器与人脸或是语音的距离为多少？ |
| 人脸低于１米 ， 语音５～７ 米。 |
| | 算法库是通用的吗？ |
| 演算法是固定的无法更改。 |
| | 噪声抑制如何优化？ |
| 软件ＤＳＰ有支持环境降造 。 |
| | 恩智浦基于Arm Cortex-M7核心的人脸识别与本地语音控制的方案产品跟竞品优势在哪？ |
| 性价比很高,不用额外NRE。 |
| | 人脸识别的算法难点有什么？ |
| 公开演算法很多(MPU等级),但MCU 等级的很少。 |
| | I.MXRT106X是否有耐湿度的验证？ |
| 重点应该在机构防水功能吧 。 |
| | 人脸的采集数据，数据的信息安全目前是如何处理的？ |
| NXP 支持本地端人脸识别,资料库不用存在云端。 |
| | 人脸识别使用的是双目还是结构光还是双目结构光，详细参数在哪找? |
| RGB 是单镜头没支援结构光。 |
| | 请问视觉识别在物体长时遮蔽下如何处理？ |
| 目前只支援人脸识别。 |
| | 对于特殊环境，智能识别是否可以应用，比如极低温？ |
| 目前方案是强调性价比,特殊方案建议找特殊应用厂商。 |
| | NXP关于人脸识辨的芯片会用于高拍仪类吗？ |
| MCU 等级人脸识别解析度无法支援太远距离。 |
| | 深度学习是利用何种方式提高精密准确度？ |
| 演算法是固定的无法更改。 |
| |
请问此低成本MCU在执行一个commands或wake-words时,其平均功耗为多少呢? |
| 运行600MHz有 RT1050。 |
| | 本地语音能耗表现如何？是否适合穿戴类IoT产品？ |
| 有其他产品比较适合穿戴产品。 |
| | NXP本地语音识别能识别最大多少条指令？ |
| 50条以上。 |
| | 资料库是放在网路伺服器吗?还是自己的系统里？ |
| 本地端。 |
| | 我们有个线激光的应用，三角法测距，用VGA像素摄像头，用这个MCU计算深度，能到30帧吗？ |
| 请 Mail NXP@sacsys.com.tw。。 |
| | 怎么样获取演讲的资料? |
| 请关注大大通的公众号“大大通”，或者登陆大大通去获取。 |
后续我们还会有更多关于大大通线上研讨会，也欢迎大家持续关注~
评论