精彩问答_大大通/世平/NXP 在线研讨会_无所不能的 AI, 让你做出杀手级的应用 _2022.2.24



2/24 由 世平集团联合 NXP 原厂和云林科大一起举办的线上研讨会《无所不能的 AI, 让你做出杀手级的应用》已经圆满结束。作为当前的热点话题和技术“AI 人工智能”这个主题受到广大客户和朋友的关注,整场研讨会的内可谓是技术深,范围广,既精又准又核心,当然这也是大联大世平整个技术团队经过一年多耕耘才能有这么好的成果可以跟大家在直播中展示。

整场研讨会围绕 NXP i.MX8M PLUS 平台与神经运算处理晶片(Neural Processing Unit,NPU) 展开,主要讲人工智能的应用以及以及世平集团联合云林科大一起开发的 ADAS 技术方案。当然i.MX 8M 的应用也很广泛,如脍炙人口的新颖应用领域智能工厂(Smart Factory)、智能医疗(Smart Medical)、智慧生活(Smart Life)、智慧城市(Smart City)、物联网(IoT)、工业 4.0、先进辅助驾驶系统(ADAS) 等等。因此,如何让生活、物品变得更智能、更人性,就是新世代的创意,藉此透过 AI 开创无限可能性。在研讨会中讲师们讲给大家以及分享。

相信在 经过 4 位讲师的 详细的讲解以及世平集团的强大技术 Support 团队,大家对于 NXP i.MX 8M 系列的产品和 AI 应用包括 ADAS 等有了很大的信心,当然,如果错过直播的伙伴可以直接单击“直播回放”去查看哦!

直播中后台也收到了 100+技术问题,我们的答疑团队和讲师也在线上用语音和文字的形式给我们的听众们进行了解答,在这里我们也将本场线上的问答进行整理和分享,大家快来看看有没有解决自己的疑问哦!


直播回放+课件下载 + 中奖名单   >>>由此去


 i.MX8M是几核心 ?
 i.MX 8M 有分很多规格喔 举例来说 i.MX 8M Plus 就有分为 4 核心以及 2 核心 若要知道详细核心数,麻烦请至 NXP 官网 。

 

工作温度范围能到多少 ?

 如果是选择 NXP i.MX8MP Industrial 晶片工作温度范围在 -40 到 105 度之间,谢谢。 。

 和MCU有何不同 ?
 此颗 i.MX8M Plus 晶片里面包含 M 核心,M 核心可以做一些比较低延迟的事情;而主核心可以跑 OS 例如 Linux 之类的。比起单纯 MCU 可以跑比较复杂的应用。谢谢  。

 MX8MP 模型迁移方便吗 ?
 迁移学习可以实现喔!! 仅需要产出 i.MX 8M Plus 可以运用的模组格式(tflite/onnx) 即可 。

 运算是在云端吗 ?
 不是!  i.MX8M Plus 上面有 NPU 晶片,可在本地进行运算 。

 神经运算处理晶片一般是什么封装?需要自己设计外围电路么?还是说可以直接搭配NXP i.MX8M PLUS 平台 ?
 神经运算处理晶片已经在 i.MX 8M Plus 里面了喔,可以看作 i.MX 8M Plus 是一颗拥有多核心的晶片喔 。

 请问NXP i.MX8M PLUS 平台有支援PyTorch、TensorFlow、Keras、MXNET、Caffe等等framework吗 ?
 NXP eIQ software stack support Arm NN, TensorFlow Lite, ONNX Runtime, PyTorch, OpenCV, and DeepViewTMRT. 谢谢 。

 NXP i.MX8M PLUS 平台能否开放更多的NPU使用方法?目前感觉相关内容比较少 ?
  相关技术可以至大大通搜寻 “威力“ 的文章!! 或是直接联系我们 可以尽可能地帮助你们 。

 i.MX8M PLUS的AI应用是云端还是边缘端 ?
 NXP I.MX8M Plus 这颗晶片目前是依边缘运算为主!! ~ 后续也会持续开发云端运算的服务 。

 NPU 算力有多有少 TOPS ?
 NPU 有2.3 TOPS 。

 NXP i.MX8M PLUS的硬件配置可以提供下么 ?
 
 硬件配置请参考 https://www.nxp.com/products/processors-and-microcontrollers/arm-processors/i-mx-applications-processors/i-mx-8-processors:IMX8-SERIES 。

 

NXP i.MX8M PLUS 平台相比之前的i.MX7有哪些提升 ?

 除了基本核心效能提升外,还多了 NPU / HiFi 4 等架构,WPI Amingo 的 Session 会有比较细部的说明,是针对于 i.MX8M Plus 的规格介绍,请拭目以待 。

  i.MX8M的效能足够作多人的脸部辨识吗 ?
 等等 WPI Weilly 的 Session 会有效能的图表,请拭目以待 。

 图片识别,比如要识别一只猫,训练阶段需要多少猫的图片 ?
 这个可能很难跟你说确切的数字!! 精准度 除了取决于样本数之外 正负样本也会有影响 。

 32 -> 8哪会 这哪是损失一点点? 造成错误的后果可承担 ?
 损失是一定有的!! 所以就看使用者可不可以接受!! 而损失的程度取决于是否用原始的资料集进行么组转换 。

 NXP i.MX8M PLUS,目前供货情况如何?交期概多少周 ?
 我们收到的消息目前官方给出来的交期都是 52 周喔,不过具体还是要跟商务去谈哦 。

 与GPU相比,NPU有何优势 ?
 NPU 实际的运算方式与 GPU 不太相同!! 会先载入模组的权重资讯至记忆体 来加快推理的速度 。

 请问这个平台能使用在车用的自动泊车吗  ? 
 自动泊车理论上最少需要 4 个镜头,取决于镜头数量,再来就是演算法 i.MX 8M Plus 只能支持 2 个镜头输入 。

 请问这款芯片已经有量产项目了么 ?
 我司客户已经有产品项目已经量产了喔 。

 NXP i.MX8M PLUS目前有实际应用在哪些领域吗 ?
 主要应用在边缘运算 Edge Computing 领域上 。

 

NXP i.MX8M PLUS,支持哪些软件集成开发环境(IDE ?

 您好,i.MX8M Plus support Linux / Android OS. 使用gcc compiler 开发 。

 神经元运算 需要训练吗 ?
 需要!! 任何神经网路都需要事前训练 。

 ADAS 与自驾车控制器,目前有哪些实际应用案例 ?
 我们的配合厂商 Autosys 就是在做这事情 目前 ADAS 有 8 成都可以做掉 欢迎仔细观赏 Autosys 苏老师精彩的分享 。

 EVK上的散热片这么小,能起多大作用,结温能降低几度 ?
 做过测试,在环境温度 25 度下,CPU 负载 100% 外加输出显示萤幕,温度还能控制在 60度下喔 。

 ISP是哪家的?有调试工具吗 ?
 目前 ISP 为原厂提供~ 也有一套简单的调用 tool 。

 可以边收资料边建立模型吗 ?
 不行! 可能要收集资料完 再送至后端产生新模型 。

 演算法是内建的吗?还是需要找3rd party ?
 原厂有提供一些简单的算法!! 但主要还是需要自行建置或请第三方提供 。

 请问NPU可以每秒可以辨识处理 多少张frame ?
 举标准的 Mobilenet V1 物件分类模组来说~ 我们推理一张 只要 2.8 ms 的时间 。

 请问eIQ tool,需要申请license吗 ?
 您好,不需要lincese 。

 OP-Killer 支持哪些萤幕输出 ?
 
  支持 LVDS 、DSI 、 HDMI 介面喔 需要先知道萤幕是支持哪个介面的 。

 

除了SSD、MobileNet外有支援Yolo吗 ?

 有支援yolo 。

 请问eIQ在i.MX8M plus fw包里就有了吗?还有是只有i.MX8M plus才能支援吗 ?
 您好 eIQ 是一个 Tool ,不包含在 fw 里面喔 是支持 i.MX 8M Plus 的 。

 i.MX8M PLUS功耗多大 ?
 轻载(系统稳定时) 耗费 4.5 W、重载时约耗费 7.3 W 则 NPU (2.3 TOPS) 进行推理运行约功耗为 1.9 W 。

 我看到i.MX 8M plus有支援TSN,但是我问了RGMII的网路晶片供应商,他们说TSN是用在switch领域?请解惑一下,谢谢 ?
 TSN是Time-Sensitive Networking是时间敏感网路的缩写, 提供了一个低延迟性的网路需求.若是在Layer2的switch能够更快速的转传封包,当然可以降低封包的传输时间 。

 使用 OpenVX 的 API, 才会使用到 NPU , 而不占用 CPU 的效能吗 ?
 对!! OpenVX 他可以替我与 GPU 跟NPU 进行沟通!! 若使用 NPU 进行推理的话 就不会花费 CPU 资源 。

 NPU只能使用8bit ?
 对!! NPU 仅能在 8bit 的模组上 做到加速!! 若是有用浮点数的一些 Ops 则会自动切换至 CPU 运算 。

 每次都要把Model放到板端执行推论吗? 有可先在PC端先模拟 推论的模拟软体可用吗 ? 
 基本上 model 会存放在开发版的空间上 不用每次都上传!! 当然可以在 PC 进行模拟!! 代码基本上是一致的 。

 NXP i.MX8M PLUS是否提供各外设的参考驱动程序源代码,或者支持图形化配置生成各外设的驱动程序源代码 ?
 NXP 的 BSP 包含了一些外设的 Code 可以参考。不支持图形化配置 。

 mobilenet v1的input frame解析度多大 ?
 Frame 解析度不论多大多小~ 这里都会将大小转换为 224x224x3 的影像尺寸喔 。

 

imx8全系列都同时支援 DDR4/LPDDR4吗 ?

 没有,全系列平台中有些有支援 DDR4 有些支援 LPDDR4。以 i.MX8M Plus 来说它支援 DDR4 与 LPDDR4 。详细细节可以再做讨论,谢谢 。

 神经元运算的训练,要依应用场域训练吗?有基本的常用模型吗 ?
 有的!! 像是 tensorflow lite 就需要用 tensorflow 或 keras 的框架进行训练 会比较适当!! 官方都会提供一些基本的 。

 请问神经网路的训练, 是离线在 PC 上执行吗 ?
 透过 PC 训练好模组之后~ 在放置 开发版 / NPU 上运行 。

 这个能够支持python运行吗 ?
 支援 python 与 C 代码 。

 32转8是自动产生 ?
 需要透过代码转换 。

 请问NPU晶片应用于工具机之可行性 ?
 您好 基本可行 应该说工具机的需求有哪些再来判断哪个平台适合 。

 board可以运行docker么 ?
 目前 BSP Default 没包但可以自行添加。谢谢。 。

 一般采用哪种OS应用 ?
 Linux / Android 都可以 。

 需要搭配较高解析度的镜头吗 ?
 可以搭配喔!! 但原则上不太需要高清镜头!! 还是要依你需求 。

 NXP这个framework有办法做到federated learning吗 ?
 
 基本上是可以的!! 但 federated learning 我比较没有深入研究 有时间会来钻研看看 能不能使用~ 。

 

训练软件是否可以做到通用 ?

 如果是新手的话!! 可以尝试看看 eIQ toolkit 。

 可以支援keystone 的影像吗 ?
 不确定您提到的Keystone是不是指梯形校正, 基本上i.MX是直接接Panel或是HDMI输出,并没有支援梯形校正 。

 有人在卖做好的模型, 可以直接拿来用吗 ?
 基本上是可以的!! 所以我们的优势是非常方便!! 。

 影像只能支援224x224x ?
 没有!! 输入的大小取决于模组所设计的 输入大小!! 若是今天模组设计为 1024x1024x3 ~ 就必须将输入大小调整至此大小 。

 刚看到问答回应说神经网路的训练是在离线PC上先做在load到版上,那请问为何还需要板上的NPU来做神经网路的运算呢,使用普通ARM CPU应该就能应用了不是吗? 谢谢 ?
 对! 训练模组是在 PC 端~ 但我们实际要将模组应用在边缘端 所以需要透过 NPU 的算力来实现应用 !! 而 ARM CPU 推理模组速度与 NPU 差异至少 20-30 倍 ~ 后续就会朝 AI CHIP 的方向行进 。

 使用那个版本Linux ?
 您好,NXP 官方目前support 最新Linux BSP版本为 L5.10.72. 。

 AI模型和训练库是要自己创建还是说有例程可以提供 ? 
 除了 NXP 原厂提供的范例之外,而剩下的模组 基本上是要自己建置!! 后续也可以跟 WPI ATU 合作会尽量提供你们正确的资讯与范例!! 。

 所以这块开发版就是协助你把train好的模型丢到一个平台上面让你做到realtime的速度反馈,这样理解正确吗? ?
 非常正确!! 有慧根 。

 AL模型成熟吗 ?
 现在目前 AI 技术算是相当成熟!! 目前边缘运算的这些应用都是好几年前的技术 延伸或是深造的技术 。

 刚才老师说可以支持 AVM ? 这平台不是只能支持 2 Camera ? AVM 应该需要至少 4 Camera ? 是否我有误解 ?
 感谢你细心听讲!! 因为老师跟我们合作比较长久!! 他AVM是应用 NXP i.MX8QM 为主~ 而其他应用 LDW /FCW / DMS 都有移植至 8M PLUS 上喔 。

 NXP i.MX8M PLUS 平台与神经运算处理晶片有使用教程吗?训练模型的搭建等 ?
 有喔!! 除了原厂的资料之外! 可以至大大通搜寻 “ATU Book-i.MX8“ 系列博文 或是搜寻 威力 博主 感谢 。

 功耗性能怎么样 ?
 
 在 TensorFlow Lite 框架下,使用 VX delegate 进行推理则MobileNetV1 约 2.9 ms ( 345 FPS) , MobileNet SSD 约 8.51 ms ( 117 FPS ) , YOLOv4-Tiny 约22ms (45 FPS) 。

 

那车用 AVM也是用两个 CAMERA就可以做好的吗 ?

 算法上是有机会欸!! 但目前没看过这类的产品!! 基本上只要取得两颗 180度镜头 的影像 也许能做到 。

 请问一下贵司的这个平台最大支持多少分辨率多少路视频的接入进行AI分析的 ?
 Amingo 的环节有提到~ 两路 最高支援 1080p @60FPS 。

 可以提供开发板样品吗 ?
 您好 因为全世界缺晶片问题,暂不提供开发样板 但欢迎去 https://www.wpgdadago.com/Login.action?request_locale=zh_TW 订购 数量不多,欲购从速 。

 请问这个平台可以应用在伺服器上面吗 ?
 目前我们 ATU 仅应用在边缘运算上! 但这个平台是有机会应用在伺服器上的!! 原厂也有规划的样子 后续我们会再确认 。

 NXP i.MX8M PLUS可以用在车载以太网总线和CAN总线上么 ?
 您好 i.MX 8M Plus 不支持车规 。

 运算法会教给客户自行修改吗 ?
 不会给Source Code 。

 是否功耗很大?外加电源的 ? 
 以下为 OP-Killer 的功耗 ( 请参考 ):轻载 ( 系统稳定时 ) 耗费 4.5 W、重载时约耗费 7.3 W 则 NPU (2.3 TOPS) 进行推理运行约功耗为 1.9 W。 需要外加电源唷 。

 NXP i.MX8M PLUS,是否提供参考开发板?如果提供,如何购买 ?
 我司官方网站大大购有卖 https://www.wpgdadago.com/Login.action?request_locale=zh_TW 数量有限,世界上目前只剩我司有卖 i.MX 8M Plus 喔 。

 有NXP i.MX8M PLUS相关产品与相关文章吗?谢谢 ?
 欢迎进入我们大大通官方网站 https://www.wpgdadatong.com/tw 可以搜寻关键字 i.MX 8M Plus 会得到相关讯息喔,或者关注我们大大通官方 微信公众号“大大通”,上面也有相关的内容发布哦 。


★博文内容均由个人提供,与平台无关,如有违法或侵权,请与网站管理员联系。

★博文作者未开放评论功能