基于INTEL 11代芯片Tiger Lake 在AI 套件OPENVINO上所开发之智合科技车联网暨驾驶行为解决方案

随着 5G 及车联网发展，物流业主需要更具智慧的管理物流驾驶的系统，现行市场中仍处于安装行车记录器来进行事后究责，无法达到事前预警及驾驶行为有效的改善。本提案透过两支摄影机（车前影像及驾驶画面）进行在线影像分析，使用高效AI运算主机(HPC)分析车前状况及驾驶行为，当发生异常事件后，进行即时告警，并进行事件录影，透过4G/5G网路提供管理者查阅，让管理者随时检视行车状态（例如跟车过近或行人追撞危险），即时发现并修正驾驶行为异常（例如分心）。

其用途为：

1. 保障驾驶安全
2. 透过驾驶行为智能分析来修正驾驶行为，以保护用路人安全

解决方案

本系统特别适合应用于 运输业 的驾驶管理，我们使用：

1. Intel 11 代 TigerLake Edge Computer 及 NCS2 神经棒来提供高效能的 AI 运算
2. 使用二支 Webcam 撷取车前及驾驶影像，其中车前影像进行人车物件侦测及追踪，称为 ADAS；车内影像进行驾驶人脸识别 [5]及头部姿态角追踪 [2]，称为 DMS
3. 当系统侦测到 驾驶行为异常时，会即时提出警示，并进行后端录影
4. 车队管理者可以透过 4G/5G 路由连入检测驾驶行为 异常状况，可做驾驶行为评分依据。

在开发过程中所用软硬体如下：

硬体：

软体：

1. 系统架构－开发硬体平台：Intel 11 代 TigerLake Edge Computer+ Intel® NCS2 + Webcam x2 + 路由器

本系统由两支Webcam撷取车前及驾驶座影像，至车联网AI平台并将影像分流至OpenVINO平台进行AI inference，并将异常事件上传至驾驶监控平台，业主能透过驾驶监控平台得知目前驾驶状态。（图一所示）


                                         图一 系统架构

2. 技术架构－OpenVINO GStreamer [4]

在串流处理，我们采用 OpenVINO 平台搭配 GStreamer 及 OpenCV 方式进行。
AI 顺向使用 OpenVINO 预训练模型 [1]，主要有三类：

1. 车前物件侦测及属性识别
2. 人脸检测及头部姿态角追踪
3. 人脸识别

影像输入，可透过 Web Camera 或 档案方式输入，Inference 后的影像输出到二路 V4L2 装置 [3]

使用 GStreamer 连接 ADAS 及 DMS 所需的预训练模型（由OpenVINO提供），将 Inference 后的结果，由 MQTT 传至团队开发的 AI 智能驾驶行为分析程式进行分析，使用 OpenCV 进行 online 贴图，并将驾使行为异常结果储存于资料库，管理者可透过 本团队开发之驾驶监控平台进行异常事件的检索。（图二所示）

                 
                                                   图二 技术架构图

3. ADAS Pipeline

图三为 GStreamer 连接 OpenVINO Model（人、车、自行车辨识）、（人物属性辨识）、（车辆属性辨识）之 ADAS Pipeline：



                                                       图三 ADAS Pipeline

DMS Pipeline

图四为 GStreamer 连接 OpenVINO Model（头部姿态角辨识）、（人脸辨识）之DMS Pipeline：



                                                     图四 DMS Pipeline

成果介绍短片

成果介绍

1. 安装模拟场景

                                                               图五  模拟场景

 

2. ADAS 与 DMS 功能介绍及触发条件

               
                                                                  图六 功能介绍

3. 车机画面及驾驶监控平台 – 展示说明

                                    
                                                     图七  车机画面介绍



                                                             图八  驾驶监控平台操作步骤

4. 各项Model使用CPU及VPU效能表现

                                                      图九  Model使用CPU及VPU效能





                           图十 使用 CPU 及VPU 效能图表 (因值域差异大，以 Log10 对数表示)




                                                                    图十一  装置工作详细内容

以下概略说明主要硬体的使用方式及整合后系统效能的表现，其中CPU 占比最高，功能包含：

1. 负责两项 AI 功能：车前物件侦测与追踪，及驾驶头部姿态角
2. 应用端的逻辑及 online OSD 贴图
3. 网页服务器及资料库

GPU 提供车机影像的显示，NCS2 神经棒负责第三个AI的功能：人脸侦测与识别。

输入资料量为两只 Web Camera 摄影机，其分辨率为 752×416@30 FPS，整合后的系统效能，张数大约落在 15~25 张。

本系统能即时分析辅助驾驶并让业主了解驾驶行为表现，可以进行员工教育，提升驾驶素质，保障驾驶及用路人的生命安全。

参考资料

1. https://github.com/openvinotoolkit/open_model_zoo
2. https://github.com/yinguobing/head-pose-estimation
3. https://github.com/umlaeute/v4l2loopback
4. https://github.com/openvinotoolkit/dlstreamer_gst
5. https://github.com/bhatiaharshit07/Computer-Pointer-Controller