什么是 ISP？欢迎回顾我前几期的文章《车载摄像头 - ISP 篇》，里面有具体的介绍。本期我将带大家来了解海思平台上的 ISP，看看包在 SOC 上的 ISP 性能如何。
图 1 海思半导体
以海思 Hi3566 为例，平台中的 ISP 支持标准的 Sensor 图像数据处理，包括自动白平衡、自动曝光、坏点矫正和镜头阴影矫正等基本功能，具体支持的图像处理功能有如下：
- 支持黑电平校正
- 支持静态以及动态坏点校正，坏点簇矫正
- 支持 Bayer 降噪
- 持固定噪声消除
- 支持 Demosaic 处理
- 支持紫边校正（CAC）
- 支持 Gamma 校正
- 支持动态范围压缩（DRC）
- 支持 Sensor 内部合成宽动态功能（Sensor Built-in WDR）
- 最大支持 2 合 1 宽动态功能（WDR）
- 支持自动白平衡
- 支持自动曝光
- 支持 3A 相关统计信息输出
- 支持镜头阴影校正
- 支持图像锐化
- 支持自动去雾处理
- 支持颜色三维查找表增强
- 支持局部对比度增强
- 支持色彩自适应（CA）
- 支持 3D 降噪
- 支持高光屏蔽（HLC）
另外，该平台中的 ISP 还支持以下处理能力及功能：
- 最大支持 14 bit bayer 数据输入
- Built-in WDR 最大支持 16 bit bayer 数据输入
- 支持最大图像分辨率 2048x1536
- 支持最小图像分辨率 120x120（AF 关闭时）、256x120（AF 打开时）
- 最小水平消隐区 64 像素
- 最小垂直消隐区 40 行
- 最大性能：2 路 1920x1080@30fps
下面是 Hi3566 ISP 的整体功能框图，描述了 ISP 的工作流程，由于部分内容受保护，本文还不能做深入的展开：
图 2 Hi3566 ISP 功能框图
1) ISP_FE 里主要有 Crop 模块，主要实现对输入图像裁剪的功能
2) ISP_BE 是主要的图像处理环节，里面包括了以下主要的处理模块
⑴ BLC 提供 Sensor 相关的黑电平校正
⑵ DPC 提供对静态坏点和动态坏点的检测和校正功能
⑶ GE 提供校正 Gr 与 Gb 两个通道的失衡
⑷ WDR提供多帧合成宽动态功能
⑸ Expander 将 Sensor 内部压缩的数据进行解压缩
⑹ Bayer NR 在 Bayer domain 中实现对图像的去噪
⑺ LSC 用于镜头阴影校正
⑻ AE 实现自动曝光信息的统计
⑼ AWB 图像的 R，G，B 均值以及有效统计点的个数统计
⑽ DRC 用于图像动态范围进行压缩
⑾ CAC 用于校正由镜头引入的轴向色差与横向色差
⑿ Demosaic 将 Bayer 格式的 Raw 图像转换到 RGC 图像
⒀ CCM 通过标准 3X3 的矩阵和矢量偏移量可完成颜色空间的线性校正
⒁ GAMMA 用于 rgb/bayer 阈，输出 Gamma/Pregamma 调节结果
⒂ DEHAZE 提供分区域去雾能力以及改善雾霾场景下视频的对比度和清晰度
⒃ SHARPEN 实现图像的锐化，提高图像的清晰度
⒄ CDS 实现 YUV444 转换到 YUV422 或 YUV420
⒅ LDCI 基于局域直方图均衡的方法来增强局部的对比度，提升暗区细节
⒆ 3DNR 高斯噪声去除，降低编码码率
以上是海思平台中的 ISP 介绍，借由出色的图像处理能力，海思的方案在智慧视觉产品中得到了市场的高度认可；除了 ISP，海思平台强大的 AI 能力也为其扩展应用市场提供了保障，下期我将会跟大家介绍这个功能单元，一起了解平台上的 NNIE 深度学习加速引擎，期待您的关注。
附录：参考文献
[1] 海思 Hi3566V100 产品介绍，《Hi3566V100 Automotive Camera SoC 产品简介》
[2] 海思 ISP 开发指导文档，《HiISP 图像调优指南》
评论