嵌入式視覺系統
現今有許多攝像頭應用的產品都在不斷增長，更添加許多智能的應用並得以實現智能化。像是物品與人臉辨識、深度感測、碰撞規避和決策制定的概念正在深入我們的生活、城市環境、工廠和汽車所使用的設備中。邊緣計算需要各種設備協助共同工作，才得以實現更高的效率。許多消費電子、工業和汽車行業正著眼於 FPGA，助力構建靈活、智能學習的應用環境，將理想變為實現。
另外，由於物聯網的出現，將嵌入式視覺推到了技術研究的最前沿，嵌入式視覺可以在許多最新的物聯網應用中發現，例如無人機，機器人，VR / AR系統和醫療設備等…。
1 ) 應用框架介紹
圖 1.1 嵌入式視覺系統框架圖
2 ) 應用功能說明
圖 2.1 MIPI CSI-2 to HDMI Bridge System Diagram
兩顆攝像頭 MIPI CSI-2 到 HDMI 演示使用Sony IMX214攝像頭 (4-lane) 輸出到 1080p，每個通道以371.25 Mb / s 速度運行。CrossLink VIP 輸入板將透過 Sensor 接收 MIPI 訊號，並將兩個畫面傳至 ECP5 並排合併，合併後的圖像數據通過板對板連接器以並行 CMOS 接口的形式在 ECP5視頻處理器板上傳輸到 ECP5。
ECP5 FPGA 處理合併的傳感器圖像，並將處理後的並行圖像數據通過板對板連接器發送到 HDMI VIP 輸出橋接板上的 Sil1136 HDMI 發送器。 Sil1136 芯片通過 HDMI 將視頻數據傳輸到 1080p 顯示器。
圖 2.2 CrossLink Functional Block Diagram
透過兩顆攝像頭並行設計，從兩個 MPI CSI-2 攝像機接收串行資料 (MIPI)，將 Data 重新序列化為bytes，並從MIPI數據包中提取控制信號。 將 Byte data 發送到 Byte to Pixel 模塊，該模塊將 byte data 轉換為 RAW10 數據。 這兩組 RAW Data 被發送到圖像合併，該圖像合併邏輯將來自兩個 streams 的並行數據合併並將其發送到 ECP5 板子。 在板子上的 CSI-2 攝像機是通過 ECP5 VIP 處理器板上的 I2C Master 配置。 圖2.2顯示了 CrossLink 功能框圖說明。
圖 2.3 ECP5 Functional Block Diagram
ECP5 會從 CrossLink 端接收 RAW10 數據，進行基本的圖像處理，然後將其發送到HDMI板。圖 2.3 顯示了萊迪思可編程圖像處理模塊。該模塊通過以下方式提高了來自傳感器的圖像質量：
- Auto Brightness – “自動亮度”模塊可調整傳入傳感器數據的強度。
- Debayer – Debayer 在每個時鐘週期將RAW10 Bayer數據轉換為單獨的紅色，綠色和藍色像素。
- Color Space Converter – 默認情況下，直接來自圖像傳感器的色彩與現實世界不匹配。顏色空間轉換器矩陣可解決此問題。每種顏色都有增益和偏移控制，以及一種顏色對另一種顏色的影響。
- Gamma Correction – Gamma校正是對 Video frames 進行的一種預失真校正，以抵消顯示系統的非線性行為。
圖 2.4 Sil1136 Functional Block Diagram
SiI1136 HDMI發送器的功能框圖如圖2.4所示。該發送器設備配置為通過ECP5 VIP處理器板上的ECP5 I2C Master 輸出1080p60。它從ECP5接收36-bit RGB數據和控制信號，並將其轉換為HDMI監視器上顯示的HDMI格式。
3) 視覺開發套件預設 Demo 設置
1.將CrossLink VIP Input Sensor Board的 J3 和 J1 Connector 連接到 ECP5 VIP Processor Board 的 J10 和 J11 位置。
2.將ECP5 VIP Processor Board的J13和J12連接器連接到HDMI VIP Output Bridge Board的J2和J1位置。
3.將HDMI電纜的一端連接到HDMI VIP Output Bridge Board的C1 Connector，另一端連接到顯示器。
4.將12 V電源適配器電纜連接到ECP5 VIP板的J4 位置。
5.應該將雙CSI-2攝像機轉HDMI橋接器設計到EVDK的SPI Flash中。 這會在上電時，自動載入參考設計。
圖 3.1 使用 Lattice Embedded VIP 開發板(預設狀態) 連接 HDMI 螢幕及電源
4) 視覺開發套件 Demo 燒錄設置
在重新燒錄之前，必須先清除ECP5 舊編程
如果已經對 ECP5 進行了燒錄（直接燒錄或從 SPI Flash 加載），請先清除 ECP5 SRAM，然後再下一步燒錄 ECP5 的 SPI Flash。 再下一個步驟對 SPI Flash 重新燒錄時，請保持開發板上電。清除 ECP5 編程方式：
- 開啟 Diamond Programmer，建立一個新的專案。
- 將 Device Family 選擇 ECP5UM，而 Device 選擇為 LFE5UM-85F。
圖 4.1 建立一個新的專案
圖 4.2 選擇對應的 Device Family 與 Device - ECP5
3. 在 Operation 欄點擊右鍵並選擇設備屬性。
4. 選擇 Access mode 為「JTAG 1532」，而 Operation 選擇 「Erase Only」以進行操作。
圖 4.3 選擇燒錄模式 - ECP5
5. 設定完成後，關閉 Device Properties 視窗。
6. 點擊 Diamond Programmer 中的「Program」按鍵開始進行 Erase 動作。
圖 4.4 點擊進行燒錄動作
7. 在完成清除動作後，同上第三個步驟點擊 Operation 欄右鍵並選擇設備屬性與 SPI Flash 型號。
圖 4.5 選擇燒錄模式、燒錄檔位置與 SPI Flash 型號 - ECP5
8. 設定完成後，關閉 Device Properties 視窗。
9. 點擊 Diamond Programmer 中的「Program」按鍵開始進行燒錄動作。
圖 4.6 點擊進行燒錄動作
10. 成功編程後，將顯示結果，如 (圖 4.7) 與 (圖 4.8) 所示。
圖 4.7 燒錄成功狀態顯示
圖 4.8 燒錄完成資訊顯示
另外，請按照以下步驟先擦除 CrossLink SRAM，然後再對 CrossLink 的 SPI Flash 進行燒錄編程。在對 SPI Flash 進行重新編程時，請保持開發板上電。清除 CrossLink 方式：
- 開啟 Diamond Programmer，建立一個新的專案。如同 (圖 4.1)
- 將 Device Family 選擇 LIFMD，而 Device 選擇為 LIF-MD6000
圖 4.9 選擇對應的 Device Family 與 Device - Crosslink
3. 在 Operation 欄點擊右鍵並選擇設備屬性。
4. 選擇 Access mode 為「SSPI SRAM」，而 Operation 選擇 「Erase Only」以進行操作。
圖 4.10 選擇燒錄模式 - Crosslink
4. 設定完成後，關閉 Device Properties 視窗。
5. 點擊 Diamond Programmer 中的「Program」按鍵開始進行燒錄動作。(如圖4.4)
6. 在完成清除動作後，點擊 Operation 欄右鍵並選擇設備屬性與 SPI Flash 型號。
圖 4.11 選擇燒錄模式、燒錄檔位置與 SPI Flash 型號 - Crosslink
8. 設定完成後，關閉 Device Properties 視窗。
9. 點擊 Diamond Programmer 中的「Program」按鍵開始進行燒錄動作。如同(圖4.6)
10.成功編程後，將顯示結果，如同 (圖 4.7) 與 (圖 4.8 ) 所示。
5) 產品實體圖
圖 5.1 Embedded Vision Development Kit
圖 5.2 Lattice CrossLinkLIF-MD6000 Input Sensor Board Top View
圖 5.3 Lattice CrossLinkLIF-MD6000 Input Sensor Board Bottom View
圖 5.4 Lattice ECP5-85 Processor Board Top View
圖 5.5 Lattice ECP5-85 Processor Board Bottom View
圖 5.6 Lattice SiI1136 HDMI Out Put Bridge Board Top View
圖 5.7 Lattice SiI1136 HDMI Out Put Bridge Board Bottom View
6) 產品特性
- 全面的演示系統，帶有 HDMI 影像畫面輸出
- CrossLink LIF-MD6000 輸入板，包含 2 顆 Sony IMX 214高速 MIPI D-PHY 介面攝像頭感測器
- ECP5 處理器板，預先設置高清（HD）圖像信號處理器（ISP）IP
- SiI1136 (非HDCP) 版，輸出板可連接 HDMI 螢幕以顯示畫面結果
- 板上 FTDI 器件連接 USB 電纜提供便捷的程式燒錄設計
- 使用 Lattice Diamond 軟體為嵌入式視覺和機器學習應用開發自訂視頻連接解決方案
【及時機上畫面視頻拼接】
- 設備端視頻拼接演算法，支持即時畫面顯示
- 硬體同步訊號提供精準的時幀同步
7) 硬體規格
- VIP Input Bridge Board
晶片型號: Lattice LIF-MD6000-6MG81I
尺寸: csfBGA 4.5 mm x 4.5 mm x 0.5 mm
- CMOS Image sensor
型號: Sony IMX214 CSI Camera sensor
尺寸: 6.1 mm x 4.524 mm
4K2K@30fps,1080P@60fps (Normal / HDR)
- VIP Processor Board
晶片型號: Lattice LFE5UM-85F-8BG756I
尺寸: caBGA 27 mm x 27 mm x 0.8 mm
- VIP Output Bridge Board
晶片型號: Lattice SiI1136CTU
尺寸: TQFP 14 mm x 14 mm x 0.5 mm
8) Jumper 設置
- CrossLink VIP Input Bridge Board
表 8-1 Crosslink Jumper
- ECP5 VIP Processor Board
表 8-2 ECP5 Jumper
9) 參考圖來源
- 圖1嵌入式視覺系統框架圖
- 圖 1 MIPI CSI-2 to HDMI Bridge System Diagram
- 圖 2.2 CrossLink Functional Block Diagram
- 圖 2.3 ECP5 Functional Block Diagram
- 圖 2.4 Sil1136 Functional Block Diagram
https://www.latticesemi.com/view_document?document_id=51683
- 圖 1 使用 Lattice Embedded VIP 開發板(預設狀態) 連接 HDMI 螢幕及電源
https://www.latticesemi.com/view_document?document_id=51683
- 圖 1 建立一個新的專案
- 圖 4.2 選擇對應的 Device Family 與 Device - ECP5
- 圖 4.3 選擇燒錄模式 - ECP5
- 圖 4.4 點擊進行燒錄動作
- 圖 4.5 選擇燒錄模式、燒錄檔位置與 SPI Flash 型號 - ECP5
- 圖 4.6點擊進行燒錄動作
- 圖 4.7 燒錄成功狀態顯示
- 圖 4.8 燒錄完成資訊顯示
- 圖 4.9 選擇對應的 Device Family 與 Device - Crosslink
- 圖 4.10 選擇燒錄模式 - Crosslink
- 圖 4.11 選擇燒錄模式、燒錄檔位置與 SPI Flash 型號 - Crosslink
使用 Lattice Diamond Programmer 軟件進行實際操作並截圖
- 圖 1 Embedded Vision Development Kit
- 圖 5.2 Lattice CrossLinkLIF-MD6000 Input Sensor Board Top View
- 圖 5.3 Lattice CrossLinkLIF-MD6000 Input Sensor Board Bottom View
- 圖 5.4 Lattice ECP5-85 Processor Board Top View
- 圖 5.5 Lattice ECP5-85 Processor Board Bottom View
- 圖 5.6 Lattice SiI1136 HDMI Out Put Bridge Board Top View
- 圖 5.7 Lattice SiI1136 HDMI Out Put Bridge Board Bottom View
http://www.latticesemi.com/en/Products/DevelopmentBoardsAndKits/EmbeddedVisionDevelopmentKit
- 表 1 Crosslink Jumper
- 表 8.2 ECP5 Jumper