基于CVITEK_CV1810+SOI_K306P的IPC方案

一.方案介绍

该方案基于主控平台CVITEK_CV1810和sensor SOI_K306P,运用于智能监控IP摄像头,可用于户外或室内。采用了2560x1440的分辨率,30的帧率,支持HDR。作为4M的监控摄像头,通过ISP图像调校技术,提升成像质量与色彩真实度,通过专用CMOS传感器和后期处理,实现更强的感光能力与更少噪点。

二.芯片介绍
  1. 主控芯片

       产品概述

晶视智能(CVITEK)是一家开放式人工智能芯片研发商,专注于视频监控及边缘计算技术研发,拥有国内性能*的AI TPU运算核心及soc芯片整合技术,目前研发领域涵盖soc芯片设计, AI TPU处理器及工具链,图像处理算法及设计等,致力于打造人工智能机器视觉一站式平台解决方案,为客户带来丰富价值及技术创新的产品与服务。

 CV1810C/CV1811C/CV1812C 是面向边缘智能监控 IP 摄像机、智能猫眼门锁、可视门 铃、居家智能等多项产品领域而推出的高性能、低功耗芯片,集成了 H.264 视频压缩 编解码器, H.265 视频压缩编码器和 ISP;支持 HDR 宽动态、3D 降噪、除雾、镜头畸变 校正等多种图像增强和矫正算法,为客户提供专业级的视频图像质量。

 芯片更集成了自研 TPU,在 8 位整数运算下,可提供 0.5TOPS (CV1810C 仅有 0.3TOPS) 的算力。 特殊设计的 TPU 调度引擎能有效地为所有的张量处理器核心提供极高的带宽 数据流。此外也为用户提供了强大的深度学习模型编译器和软件 SDK 开发包。主流的 深度学习框架,比如 Caffe 和 Tensorflow,可以轻松地移植到其平台上。 除此之外,还提供了安全启动,安全更新,安全加密等,为用户从开发、量产、产品 应用,提供一系列安全解决方案。 芯片内集成一个 8 位元的 MCU 子系统, 可替代一般外挂的 MCU 以达到省 BOM cost 及 功耗的目的。

  1. Sensor

晶相光电(SOI)是一家专注于CMOS图像传感器(CIS)的开发和销售的公司。该公司拥有优秀的设计团队,并与专业的晶圆厂合作,具备系统集成能力以及与测试和封装厂商的合作关系。晶相光电推出了低成本、高性能和多样化的产品,以满足市场和客户的需求,并提供快速的本地客户服务,使客户在生产效率和时间上具备竞争力。

JX-K306P是一款高性能的4.0MP BSI CMOS图像传感器,采用SOI的2.0um像素技术设计和制造。它在近红外(NIR)范围内具有出色的QE性能,可提高850nm和940nm波长下的夜视效果。它可以以30fps的速度传输2K分辨率的图像。

JX-K306P由一个2568 x 1448的有源像素传感器(APS)阵列组成,具有片上10位ADC、可编程增益控制(PGA)和相关双采样(CDS)功能,可显著降低固定模式噪声(FPN)。该传感器还具有许多标准的可编程和自动功能。它同时支持符合行业标准的DVP并行接口和MIPI CSI2双数据通道串行接口。外部主机控制器可以通过标准串行接口访问该设备。该传感器以晶圆级封装的CSP形式提供。

以下是在不同的环境下拍摄的效果图:

1.100lux:


2.50
lux:



3.30lux
:


4.10lux:


5.1lux:


6.0.2lux:


7.红外850nm:


8.红外940nm:

►场景应用图

►产品实体图

►展示板照片

►方案方块图

►核心技术优势

1、CV1810是其面向边缘智能监控IP 摄像机、本地端人脸辨识考勤机、智能家居等产品领域而推出的高性能、低功耗芯片,集成了 H.264/H.265 视频压缩编解码器和 ISP; 2、支持 HDR 宽动态、3D降噪、除雾、镜头畸变校正等多种图像增强和矫正算法,为客户提供专业级的视频图像质量; 3、芯片更集成自研TPU在INT8运算下,可提供约0.5TOPS算力; 4、特殊设计的TPU调度引擎能有效地为张量处理器核心提供极高的带宽数据流; 5、并为用户提供了强大的深度学习模型编译器和Linux软件SDK开发包; 6、主流的深度学习框架,比如 Caffe Pytorch ONNX MXNet 和TensorFlow(Lite) 框架的主流网络可以轻松的移植 到平台上 。

►方案规格

1.主控cv1810规格: 应用处理器: 主处理器:RISCV C906 @1.0Ghz  协处理器:RISCV C906 @700Mhz TPU:0.3TOPS(cv1811 0.5TOPS); 1.1 记忆体: CV1810C DDR2 16bitx1, 最高速率达 1333Mbps , 容量 512Mbit (64MB) 1.2 储存装置:SPI NOR flash,SPI Nand flash ,eMMC,SD card 1.3 视频接口: 输入:MIPI,sub-LVDS,HiSPI,8/10/12 bit RGB Bayer, BT.656, 支持 AHD 多路混合 BT 格式. 输出:MIPI , 支持 BT656, BT601(8bit), BT1120, 8080 等並行接口. 支持 SPI 输出接口. 1.4 影音多媒体规格: H.264/H.265 均支援 I 帧及 P 帧 H.264 编解码最大分辨率 :   2688x1520 (4M) H.265 编码最大分辨率 :   2688x1520 (4M) H.264 编解码性能: 2688x1520@30fps + 720x576@30fps 1920x1080@30fps 编码 + 1920x1080@30fps 解码 H.265 编码性能: 2688x1520@30fps + 720x576@30fps 1.5 JPEG 最大编解码性能:2688x1520@30fps 1.6 支持 CBR/VBR/FIXQP 等多种码率控制模式. 1.7 感兴趣区域 (ROI) 编码. 1.8 音频编解码:Audio CODEC,软件音频编解码协议 (G.711, G.726, ADPCM) 1.9 软件支持音频 3A (AEC, ANR, AGC) 功能。 1.10 周边外设:WIFI, 集成 POR, Power sequence,ADC,SDIO, Ethernet, 59 GPIO,12C, USB Host/device,PWD,UART,SPI. 2 .sensor_soi_K306P规格: 2.0MP CMOS图像传感器; 分辨率:2560*1440; 10-bit RAW RGB; DVP并行和MIPI CSI2双数据通道串行接口;