基于 NOVATEK NT98530 Multiview Stitching 应用解决方案

感测技术近来于影像监控系统应用有了进一步的发展,多镜头的应用也与日俱增,如 AI 视觉感测会议相机,能满足远端多人聚会、远距教育训练的多元需求等,相关应用层面广泛涵盖了在生活中所面对的各种场景,带动更加可观的潜在市场需求商机。

在多镜头的应用中,为了扩展视角范围,要有影像拼接的需求,期望拼接后的影像涵盖所有的可视区域且交界平顺,且没有明显融合痕迹。于是联咏科技 NOVATEK 提供 NT98530 是一款高度整合的 SoC,有高影像品质、低位元率、低功耗,针对 8Mp60 边缘运算 IP 摄影机应用。此 SoC 整合了 ARM Quad Cortex A53 CPU 核心、新一代 ISP、H.265/H.264 视讯压缩编码器、DSP、高效能硬体 DLA 模组、图形引擎、双显控制器、乙太网路 GMAC、USB 3.0 和 USB 2.0 Host/Device、音讯编解码器、RTC 和 SD/SDIO 3.0 提供最佳性价比,边缘运算IP摄影机解决方案。

NT98530 提供 HIS1 与 HIS2 这 2 组 CSI 的影像接收单元,支援 5 组 clock lanes 及 12 组 data lanes。

HSI1 (1C4D) 支持 MIPI CSI-2® D-PHY v1.2、LVDS、sub-LVDS、及 HiSPi 标准;单 lane 最高达 2.5 Gbps data rate,Clock 输入频率可达 1.25 GHz。

HSI2 (4C8D) 支持 MIPI CSI-2® D-PHY v1.1、LVDS、sub-LVDS、及HiSPi 标准,单 lane 最高达 1.5 Gbps data rate,Clock 输入频率可达 750 MHz。

NT98530 MIPI CSI 接脚列表如下



硬件设计



应用板使用方式

连接应用板和周边相关装置 (ex. 12V 电源、HDMI 萤幕、Sensor、Ethernet…)

可从 HDMI port 输出观看完整的影像拼接结果。

场景应用图为一个拼接三镜头视角的范例,由三个不同角度的摄像镜头所拍摄到不同角度范围的影像,再使用 NOVATEK 专业的影像拼接技术,将三视角之间的影像内容,拼接成一个大视角范围的影像,例如海岸线已经良好对齐,亮度与颜色差异也已平顺融合。

►场景应用图

NOVATEK-NOVATEK 参考手册

►产品实体图

►展示板照片

►方案方块图

►核心技术优势

(1) 影像监控结合 AI 人脸辨识动作更加精确。 (2) 有高、中、低系列平台,符合市场不同需求。 (3) Sensor + ISP 的调校技术。 (4) 支持多种 Sensor 输入界面,包含 MIPI-CSI / sub-LVDS / HiSPi / Parallel。 (5) 支持多种影像分辨率达 8Mp60 影像输出。 (6) 支持多种影像输出界面包含 LCD Parallel / MIPI_DSI / HDMI / VGA / USB / Ethernet。

►方案规格

(1) 芯片核心是 Qual Cortex-A53 (2) AI运算力是 2T (3) 电源输入是 12V/2A (4) 系统 OS 是 Linux (5) 结合 Video Codec and Audio Codec (6) Multiview Stitching application Q&A Q1. 解决方案所支援的操作系统? A:NT98530 支援 Linux,联咏 HDAL 系统框架,保持一致 API 接口,跨平台/芯片通用 Q2. 解决方案可支援到多大的影像格式输出? A:NT98530 HDMI 最大可输出 4K2K,VGA 最大可输出 1080P/60fps Q3. 解决方案是否有提供储存装置界面? A:NT98530 有提供支援 USB 3.0 / SATA 3.0 combo 的储存装置界面 Q4. NT98530 最多支援几路 sensor input? A:最多可接5路 sensor Q5. NT98530 广角能到多少? A:可支持 4 sensor图像拼接,可以实现 360° 环视 Q6. 请问对于行车纪录器应用,是否有支援防震动? A:有支援 EIS 应用 Q7. 车载产品线符合 AEC Q100 哪个级别? A:AEC Q100 G2 Q8. 请问未来产品软件更新可透过那些方式进行更新? A:可透过 SD 卡、USB 或网路来进行软体更新

相关视频

NT98530 4 cameras Video Stitching Result

使用 4 目镜头组合多个重叠影像或影片,以建立一个全景影像或视频。