简介
OpenVINO™ 工具套件是用于快速开发应用程序和解决方案，以解决各种任务（包括人类视觉模拟、自动语音识别、自然语言处理和推荐系统等）的综合工具套件。该工具套件基于最新一代的人工神经网络，包括卷积神经网络 (CNN)、递归网络和基于注意力的网络，可扩展跨英特尔® 硬件的计算机视觉和非视觉工作负载，从而最大限度地提高性能。它通过从边缘到云部署的高性能、人工智能和深度学习推理来为应用程序加速。
OpenVINO™ 工具套件：
- 在边界上启用基于卷积神经网络的深度学习推理
- 支持跨英特尔® CPU、英特尔® 集成显卡、英特尔® 神经电脑棒 2 和搭载英特尔® Movidius™ 视觉处理器的英特尔® Vision Accelerator Design 的异构执行
- 通过一套易用的计算机视觉功能库和预优化内核库来加速上市时间
- 包括了针对计算机视觉标准进行优化的调用，包括 OpenCV* 和 OpenCL™
OpenVINO™ 工具套件工作流程
以下图表显示了典型的 OpenVINO™ 工作流程（单击查看全尺寸图像）：
模型准备、转换和优化
您可以使用您选择的框架来准备和训练深度学习模型，或者从 Open Model Zoo 下载预训练模型。Open Model Zoo 包含针对各种视觉问题的深度学习解决方案，包括在一定程度的复杂度下的对象识别、人脸识别、姿态估计、文本检测和动作识别。这些预训练模型中的某些模型还用于代码样本和应用程序演示。要从 Open Model Zoo 下载模型，需要使用模型下载器工具。
OpenVINO™ 工具套件的一个核心组件是模型优化器，它是一个跨平台命令行工具，可将经过训练的神经网络从源框架转换为与 nGraph 兼容的开源中间表示 (IR)，用于推理运算。模型优化器导入在 Caffe*、TensorFlow*、MXNet*、Kaldi* 和 ONNX* 等常用框架中经过训练的模型，并执行几项优化，以尽可能删除过多的层和群运算，以更简单、更快速地形成图表。
如果您的神经网络模型包含不属于受支持框架已知层列表的层，则可以使用自定义层调整转换和优化流程。
在源拓扑结构或输出表示上运行准确度检查器实用程序，以评估推理的准确度。准确度检查器也是 Deep Learning Workbench 的一部分，Deep Learning Workbench 是基于 Web 的集成式性能分析 studio。
使用训练后优化工具，通过将其量化为 INT8 来加速深度学习模型的推理。
适用于模型优化的有用文档：
- 模型优化器开发人员指南
- 中间表示和 opset
- 自定义层指南
- 准确度检查器实用程序
- 训练后优化工具
- 深度学习工作台
- 模型下载器实用程序
- 英特尔的预训练模型 (Open Model Zoo)
- 公开预训练模型 (Open Model Zoo)
推理的运行和调优
OpenVINO™ 的另一个核心组件是推理引擎，它管理经过优化的神经网络模型的加载和编译，在输入数据上运行推理运算，并输出结果。推理引擎可以同步或异步执行，其插件架构管理用于在多个英特尔® 设备上执行的适当编译，包括主力 CPU 以及专用显卡和视频处理平台（请参阅下面的“封装和部署”）。
您可以将 OpenVINO™ 调整实用程序与推理引擎一起使用，在模型上试用和测试推理。基准测试实用程序使用输入模型运行迭代测试，以检测吞吐量或延迟，交叉检查实用程序对不同配置的推理的性能进行比较。
有关集成了这些关键调优实用程序的基于浏览器的完整 studio，请尝试使用 Deep Learning Workbench。
OpenVINO™ 工具套件包含一组推理代码样本和应用程序演示，展示了如何运行推理并处理输出，以用于零售环境、教室、智能摄像头应用程序和其他解决方案。
OpenVINO™ 还利用开源和英特尔® 工具进行传统图形处理和性能管理。Intel® Media SDK 支持经过加速的富媒体处理（包括转码）。OpenVINO™ 优化了调用丰富的 OpenCV 和 OpenVX 库来处理计算机视觉工作负载的流程。全新的 DL Streamer 集成进一步加快了视频管道化并提升了性能。
适用于推理调优的有用文档：
- 推理引擎开发人员指南
- 推理引擎 API 参考
- 推理代码样本
- 应用程序演示
- 低精确度优化指南
- Deep Learning Workbench 指南
- 英特尔媒体软件开发套件
- DL Streamer 样本
- OpenCV
- OpenVx
封装和部署
英特尔® 发行版 OpenVINO™ 工具套件为以下设备输出经过优化的推理运行时：
- 英特尔® CPU
- 英特尔® Processor Graphics
- 英特尔® 神经电脑棒 2
- 采用英特尔® Movidius™ 视觉处理器的英特尔® Vision Accelerator Design
推理引擎的插件架构可以扩展，以满足其他专属需求。部署管理器是一个 Python* 命令行工具，可将调优模型、IR 文件、您的应用程序和所需的依赖项组装到适用于您的目标设备的运行时包中。它输出适用于 Linux* 和 Windows* 上的 CPU、GPU 和 VPU 的包，以及适用于 Linux 的经过神经电脑棒优化的包。
OpenVINO™ 工具套件组件
英特尔® 发行版 OpenVINO™ 工具套件包含以下组件：
- 深度学习模型优化器：一种跨平台的命令行工具，用于导入模型并为推理引擎的优化执行准备模型。模型优化器会导入、转换、优化模型，这些模型在流行的框架中训练，比如 Caffe*、TensorFlow*、MXNet*、Kaldi* 和 ONNX*。
- 深度学习推理引擎：一个统一的 API，可在多种硬件类型（包括英特尔® CPU、英特尔® 集成显卡、英特尔® 神经电脑棒 2、搭载英特尔® Movidius™ 视觉处理器 (VPU) 的英特尔® Vision Accelerator Design）上进行高性能推理。
- 推理引擎样本：一套简单的控制台应用程序，展示了如何在您的应用程序中使用推理引擎。
- 深度学习工作台：基于网页的图形环境，让您可以轻松使用各种复杂的 OpenVINO™ 工具套件组件。
- 训练后优化工具：一种对模型进行校准，然后以 INT8 精度执行的工具。
- 其他工具：一组用于配合您的模型的工具，包括基准测试应用程序、交叉检查工具、编译工具。
- Open Model Zoo
- 演示 - 提供强大应用程序模板，帮助您实施特定的深度学习场景的一款控制台应用程序。
- 其他工具：一组用于处理模型的工具，包括精度检查实用程序和模型下载器。
- 适用于预训练模型的文档：适用于预训练模型的文档，可以在 Open Model Zoo 存储库中找到。
- 深度学习流媒体播放器 (DL Streamer) ：基于 GStreamer，用于构建媒体分析组件图的流媒体分析框架。DL Streamer 可以通过英特尔® 发行版 OpenVINO™ 工具套件安装程序安装。其开源版本可在 GitHub 上找到。对于 DL Streamer 文档请参阅：
- OpenCV：为英特尔® 硬件编译的 OpenCV* 社区版本
- Intel® Media SDK（仅位于面向 Linux 的英特尔® 发行版 OpenVINO™ 工具套件中）
评论