基于STM32MP157的多核心处理器开发辅助盲人手杖解决方案

友尚推出辅助盲人手杖解决方案,基于ST MPU+ST全局快门影像传感器及DToF架构。

主要元件简介:

  • STM32MP157微处理器基于灵活的Arm® Cortex®-A7双核心(工作频率800 MHz)和Cortex®-M4核心(工作频率209 MHz)架构,并配有一个专用的3D图形处理单元(GPU)、一个MIPI -DSI显示界面以及一个CAN FD界面。

    STM32MP157 3D OpenGL ES 2.0图形引擎专为在图形使用者界面(GUI)、选单显示或动画等应用中加速3D图形而设计,可配合面向业界标准API优化的软体堆叠,支援Android™和Linux®嵌入式开发平台。

    ST官网提供多种开发包与工具,并接受多种IoT开发平台,有自身的讨论社区与wiki ,让使用者有着大量的资源能够使用与自由的开发环境。
    (详细资料:STM32MP157 MPU Dual Arm Cortex-A7 cores - 意法半导体STMicroelectronics
 
  • VL53L8CX是一款8x8多区域ToF测距感测器,两个先进的超表面镜头及在环境光下能够在降低功耗的同时增强效能。

    基于意法半导体的FlightSense技术设计,能够提供最高400 cm的精确测距,并具有65°对角线视场。

    采用意法半导体的专利算法,可以侦测和追踪视场内的多个目标,并具有64区域深度测量能力。 意法半导体的直方图确保盖片玻璃串扰抗扰度超过60 cm。
    (详细资料:VL53L8CX - 高性能的低功耗8x8多区域飞行时间 (ToF) 传感器 - 意法半导体STMicroelectronics

主要功能:
        VD56G3影像传感器收集前方影像,透过STM32MP157的多核心处理器中的人工智能模型,辨识出影像画面中的物件类型,配合VL53L8CX进行与到物件类型的距离测量,以作为辅助用。

方案原理:

  • VD56G3影像传感器用于收集影像资料。
  • STM32MP157的多核心处理器进行影像辨识路况 (输入的人工智能模型,运行计算影像资料 )。
  • VL53L8CX是进行绝对距离测量,测量前方障碍物、交通号志、视障者距离,依照路况不同,传送对应指令给STM32MP157,喇叭发出不同指引音。


系统流程图

►场景应用图

►展示板照片

►方案方块图

►核心技术优势

1. STM32MP157因双核心提供强力AI运算功能,与其所研发而出的扩充版STM32MP157C-DK2,便于整合其他模组。 2. ST Global Shutter CIS适用于机器视觉,在移动间拍照影像不会扭曲利于得到完整图像做判断。 3. VL53L8CX适用于室外环境光影响造成误差,较其他ToF测距感测器少,且能够低功率运行,让方案使用时间变长。

►方案规格

1. 主芯片STM32MP157由双核心Cortex-A7 32 位 + Cortex-M4 32 位 MPU组成,提供强大Ai计算能力。 2. 高达 1 GB 的外部 DDR 记忆体。 3. 5V/3A USB Type-C电源输入。 4. 多作业系统支援,Windows® 10、Linux® 64 位元或 macOS®。