本方案系统是一款基于高通QCS610芯片的高性能、低功耗的人工智能终端设备,应用于视讯会议,可执行人脸侦测、手部辨识、调整倍率等功能,针对主讲者可即时追踪,多个参与者时,会将画面中依据人物占比处于正中央,达到自动多人画面置中功能,本方案使用AITg QCS610 SOM开发板,内部建制Linux作业系统,AI加速借由Snapdragon Neural Processing Engine (SNPE) SDK搭配QCS610 Hexagon DSP加速推论。

 

QCS610 SOM开发板介绍

QCS610 SOM是诠鼎科技使用高通QCS610主芯片、PM6150+PM6150L PMIC、无线通讯芯片WCN3980和eMCP (4GB LPDDR4X + 64GB eMMC)等等所组成。

有着丰富的接口,包括USB Type A、HDMI in、以太网和摄像头扩展板,能够以“开放”的方式构建摄像头设备,包括全景摄像头、智能摄像头和视频会议摄像头。 QCS610 SOM支持Linux和Android操作系统,结合了强大的人工智能和机器学习功能,以满足智慧城市、商业和企业、家庭和车辆应用日益增长的需求。

详细请参阅基于高通QCS610视觉智慧平台之智慧摄像头应用

 

应用场景AI模型

本方案使用两种不同模型搭配:

  1. 人脸侦测(dlc)
  2. 手势辨识(dlc)

►其他AI应用场景

驾驶监控系统测试(Driver Monitor System)



 
执行方案程式

下图为程式运行画面,分别为自动多人画面置中、手势辨识与人脸追踪、手势辨识执行镜头放大功能、手势辨识停止追踪,云台回到初始位置;详细介绍请看下方展示影片。

自动多人画面置中

 

手势辨识与人脸追踪

 

手势辨识执行镜头放大功能

 

手势辨识停止追踪,云台回到初始位置

 

►参考资料

高通QCS610 :

https://www.qualcomm.com/products/technology/processors/application-processors/qcs610

欲取得详细资料者请联络诠鼎高通PM:

Nina Chou (nina.chou@aitgroup.com.tw)
 

►关于五个常见问答

Q: QCS610支援那些作业系统?

A: QCS610 支援Linux Yocto与Android作业系统。

 

Q: 此方案系统可延伸那些应用场景?

A: 智能会议室、智能自拍装置、智能监视器。

 

Q: QCS610如何与云台对接?

A: QCS610透过I2C通讯协议控制云台。

 

Q: 此方案系统是否可以更换摄像头?

A: 可以,但影像画面需要微调。

 

Q: 此方案的AI模型dlc是什么意思?

A: DLC全名Deep Learning Container 是Qualcomm 专有的深度学习容器格式,可让高通SNPE(Snapdragon Neural Processing Engine)软体进行加速执行的档案格式。

►场景应用图

►产品实体图

►展示板照片

►方案方块图

►核心技术优势

高通QCS610采用11nm FinFET制程,搭载高通Kryo 460 CPU、高通Adreno 612 GPU和高通Hexagon DSP,以及高通人工智能引擎,能够支援多种AI网路和物联网应用。它还具备双14位元高通Spectra 250L ISP,能够处理高达24MP的双摄影像,并提供优异的降噪和低光效果。此外,它还支援4K Ultra HD视讯录制和播放,以及多种连网选项,包括Wi-Fi、蓝牙、乙太网路和5G/4G。高通QCS610是一款适用于智能相机、边缘运算AI装置、零售业和机器人等物联网领域的先进解决方案。

►方案规格

◎CPU:Qualcomm Kryo™ 460, 8 Cores, 64-bit, Up to 2.2 GHz ◎GPU:Qualcomm Adreno™ 612 , OpenGL® ES 3.2, OpenCL™, Vulkan® 1.1 ◎DSP :2x Qualcomm® Hexagon™ Vector Processor, Qualcomm® Hexagon™ 685, Qualcomm® Hexagon™ ◎Wi-Fi :802.11a, 802.11b, 802.11g, 802.11n, 802.11ac ◎Bluetooth : Bluetooth 5.0 ◎Camera :Qualcomm® Spectra™ 250L ISP, Single Camera: Up to 16 MP ◎Video Playback : Up to 4K Ultra HD, H.265 (High Efficiency Video Coding (HEVC)) ◎Audio Playback :Hi-Res/192kHz, Native 44.1kHz, audio on dedicated DSP; ◎Memory :32Gb LPDDR4.x;64GB eMMC5.1; ◎Display :Resolution 2520 × 1080 @ 60 fps, FHD+, 1920 × 1200 @ 60 fps ◎OS Support:Linux, Android

相关视频

掌握会议控制权:智慧摄像头与双轴云台组合 高通QCS610 Edge AI 应用方案

掌握会议控制权:智慧摄像头与双轴云台组合 高通QCS610 Edge AI 应用方案影片