基于Novatek NT98568+SmartSens SC450AI实现AOV方案

联咏NT98568是一款高度整合的SoC，具有高影像品质、低码率、低功耗具有pre-roll和always on video模式的电池应用，实现 2Mp 至 5Mp/8Mp边缘 IP 摄影机应用。此 SoC 整合双核心ARM Cortex A7 CPU、新一代ISP、H.265/H.264 视讯压缩编解码器、视讯处理引擎 (VPE)、高效能硬体DLA模组、图形引擎、显示控制器、以太网络、USB 2.0 主机/设备、音讯编解码器、RTC 和 SD/SDIO 3.0，提供最佳成本高效能边缘 IP 摄影机解决方案。

(Novatek NT98568 Evaluation Kit)

SmartSens SC450AI是一款400万像素Advanced Imaging (AI) Series高阶成像系列升级影像感测器产品。SC450AI除了在安防终端摄影机领域大有作为外，更可在智慧门铃、穿戴式摄影机及家用监护摄影机等全天候物联网AI相机。

(SmartSens SC450AI Sensor Board)

AOV(always on video)可区分低功耗模式和常规模式。系统功能为截取一张图进行MD侦测，判断画面是否有变化，画面没变化则进入睡眠模式至下个周期，若画面有变动则开始用 AI侦测图像是否有人像，否则系统进入睡眠，此时设置为1FPS。侦测画面有人则进入常规模式，使用12 FPS抓图。

AOV方案方块图

1. 低功耗模式     

           
     
    2. 常规模式
       
 

 

NT98568 SDK配置NT98568 SDK配置

       i. 使用SDK版本为 v3.05.007
       ii. 选择cfg_568_IPC_NAND_AOS_EVB
       iii. 程式码路径为 ns02301_linux_sdk/code/sample/aov1
       iv. AI模型档案为ns02301_linux_sdk/code/sample/aov1/model/combin_model.bin

执行AOV

1. 代码可设置参数

          SENSOR_FPS
               ->Sensor FPS，预设为60

          MD_SUPPORT
               ->是否开启 MD，1:开启，0:关闭。预设开启。

          ENC_TYPE
               ->编码格式，预设为H264

           AE_SKIP_FRAME
               ->AE初始时需要收敛张数，预设为17张

           md_threshold
               ->MD触发的阀值。预设为5，即画面变化超过5%则触发MD

           PVD_THRESHOLD
               ->没侦测到人时计数的数值，超过此值回到低功耗模式。

           OSG_SUPPORT
               ->OSG debug 功能，1:  启用，0:  停用

          PVD_IMG_WIDTH
               ->AI图像宽度，范围:1920 ~ 320

          PVD_IMG_HEIGHT
              ->AI图像高度，范围:4096 ~ 320


      2. 代码旗标功能

          wait_ai_thd_done
              ->AI执行绪是否已完成

         wait_enc_thd_done
              ->编码执行绪是否已完成

         wait_md_thd_done
             ->移动侦测执行绪是否已完成

        wait_filesave_done
            ->存档执行绪是否已完成

         LOW_POWER_MODE
            ->目前执行模式
                     1 : 低功耗模式
                     0 : 常规模式
 
     3. AOV流程
        a. 设备上电后进 Linux输入命令，例如: aos 0 0 1(使用 SC450AI，MD+PVD 模式，Encode Buffer size =1) 

            

       b. LOG出现  “PD3QS”即开始运作主程序

            

       c. 人物出现在镜头前，LOG印出”A>P”，即进入常规模式。

            

       d. 人物离开，若 60 张(约 5 秒)内没侦测到人物则会设置低功耗模式，此时LOG印出”A>No P”。

            

Q&A

Q1. 解决方案所支援的操作系统？

 A：NT98568支持Linux，联咏HDAL系统框架，保持一致API接口，跨平台通用。

Q2. 解决方案可支援影像感测器型号?

 A：目前仅支持SC450AI和SC200AI。

Q3. 解决方案是否有提供储存影像功能？

 A：有，可参考SDK内范例程式

Q4. 解决方案使用程式码是否有原始程式档案?

 A : 有，SDK提供此方案配置和执行程式范例码

Q5. 解决方案是否有距离上的限制?

 A : 镜头与目标物距离只需可触发移动侦测并让AI辨别即可。

Q6. AI使用模型是否需要自行产生?

 A : SDK内已提供相关模型档案。