【正文】 核心中的 MP和與共享指令的 VP 完全相同的任務(wù)相同的任務(wù)，但是其他計算核心可以進行完全不同的工作。如果所進行的視覺處理相對簡單，在處理速度允許的情況下，可以的情況下，可以使用圖 (d)的工作模式，只有部分計算核心工作，而另一些計算核心則處理不工 作狀態(tài) 。一般而言，圖像傳感器曝光和讀出會消耗數(shù)毫秒的時間，即使對于 1000 幀每秒的高速圖像傳感器而言，讀出過程也需要 1 ms，然而很多視覺芯片的應用算法運行時間小于 1ms，如果必須等待圖像傳感器曝光和讀出完成之后才能開始處理，那么視覺芯片的系統(tǒng)性能將大大降低。圖像傳感器每讀出一段時間就會啟動一個計算核心對已經(jīng)讀出圖像中包含的圖像塊進行處理，并持續(xù)該過程直到一幀讀出結(jié)束。 圖 多指令多數(shù)據(jù)模式 圖 架構(gòu)的流水線工作模式 3. 視覺芯片的指令集 視覺芯片架構(gòu)中 MPU 微處理器的指令集為 ARM 指令集，我們主要設(shè)計了一套類 MIPS 指令集，并針對視覺處理做了相應擴展。 R， I和 Jtype 分別代表了寄存器類型(Register)，立即數(shù)類型（ Immediate）以及分支跳轉(zhuǎn)類型（ Jump）。如表 所示， R 類型的指令將 32 比特的指令分割為多個指令字段（ Field），其中每個指令字段所代表的含義如下： ? op：指令執(zhí)行的基本操作，也被稱為 opcode，指令操作碼； ? rs：第一寄存器源操 作數(shù)； ? rt：第二寄存器源操作數(shù)； ? rd：目的寄存器； ? shamt：指令進行邏輯算術(shù)移位時的位移量； ? funct：指令執(zhí)行進行的運算，功能碼； 立即數(shù)類型的指令是指 MIPS 處理器處理的兩個操作數(shù)中一個來自于寄存器組，而另一個則為立即數(shù)。 J 類型的指令在 MIPS 處理器需要跳轉(zhuǎn)到新的程序地址開始執(zhí)行操作時使用，其中跳轉(zhuǎn)的最大偏移量為 26 位。其中寄存器類型指令和立即數(shù)類型指令主要用于對 PPU 進行編程， L1 和 L2 型指令用于對 PE 和 Lane 進行編程，并可以完成 PPU 和 PE 與 Lane 之間的數(shù)據(jù)交互。在 架構(gòu)中， PPU 處理器的寄存器組中只有 16 個寄存器，因此 rs ,rt， rd 以及 shamt 字段使用 4 位比特數(shù)就已足夠， format 字段為兩比特，用 于區(qū)分這四類指令，最后 2 比特目前沒有使用。 我們的視覺芯片 作為 SoC 系統(tǒng)，其程序存儲器的空間不會非常大，所以指令集中沒有設(shè)計長跳轉(zhuǎn)指令，所有的程序跳轉(zhuǎn)都通過可以使用分支跳轉(zhuǎn)語句來實現(xiàn)。它主要包含一個通用寄存器組，多個條件寄存器， 16 比特 ALU 以及多個多路選擇器，Lane 不使用獨立的存儲器， 而是和一個 PPU 共享存儲器。 ALU 在每個時鐘周期接收兩個操作數(shù)，其中一個來自于通用寄存器組，另一個則由通用寄存器組或者其臨近 6 個 Lane 的通用寄存器組中選擇。 Lane 具備 指令集 中的八種條件操作，可以執(zhí)行簡單 if else 語句的能力。寄存器組每個周期根據(jù)指令中 Rs 以及 Rt 的值，可以相應的讀出兩個數(shù)據(jù) RsData 和 RtData，同時每個周期可以從 PPU 廣播值、存儲器以及 ALU 輸出中選擇一個值寫入寄存器。最后一級流水 — 執(zhí)行 — 大部分為寄存器到寄存器（ register to rgister）操作，在一個周期內(nèi)完成。 圖 Lane 電路 緩存的設(shè)計： 在 HERO 架構(gòu)中存在多個主處理器訪問程序存儲器的情況，如果只使用單一存儲器，勢必會造成沖突。 Cache 的設(shè)計概念主要來自與程序的空間局部性（ Spatial Locality）和時間局部性（ Temporal Locality）。程序的時間局部性是指一段程序在某一時刻被執(zhí)行之后，往往在短暫時間之后將有極大的可能會被再執(zhí)行一次。在處理器需要訪問數(shù)據(jù)或者指令時，其首先訪問 Cache，如果 Cache 中存儲了該數(shù)據(jù)和指令，那么處理器可以立即獲取這一數(shù)據(jù)或指令?？紤]到程序的空間局部性和時間局部性，大部分的數(shù)據(jù)或指令都能在 Cache 中立即獲取到，而減少了處理 器從主存中獲取數(shù)據(jù)、指令所消耗的時間，提高了系統(tǒng)的性能。圖 為本文 Direct Mapped 緩存電路實現(xiàn)。在接收到處理器發(fā)送過來的地址數(shù)據(jù)后，首先通過 Index（地址第 4 至 10 比特）選擇 128 個 Block 中的一個 Block，并且取得該 Block 對應的 Tag 值和 Valid 值。如果 Tag 值和地址高位不相等或者 Valid 位不等于 1，那么我們就要借助緩存控制器從主存中取得正確的數(shù)據(jù)。該狀態(tài)機總共有空閑（ Idle），比較 Tag（ Compare Tag）以及定位（ Allocate）三個狀態(tài)。如果 Compare Tag 失敗，則控制器進入 Allocate 狀態(tài)， 該狀態(tài)下控制器將獲取正確的主存數(shù)據(jù)并更新控制器中 Tag 位，該狀態(tài)完成后狀態(tài)重新進行 Compare Tag 狀態(tài)。具體的技術(shù)指標為 : 讀入圖像數(shù)據(jù)率： ； 圖像處理性能： 25GOPS； 系統(tǒng)時鐘頻率： 50MHz。該芯片集成 了 PE、 RP、嵌入式雙核處理器， 可實現(xiàn)針對 1000fps 圖像的 低級 處理 （ 如 圖像濾波）、中級 處理 （ 如 直方圖統(tǒng)計）、高級處理（ 快速 跟蹤算法） ，完成了 圖像處理 算法 的流水實現(xiàn)。 2021 年、 2021 年該項 研究的成果分別發(fā)表在 International SolidState Circuit Conference (ISSCC)會議 。 圖 視覺芯片實現(xiàn)的部分復雜低中級圖像處理 課題組基于 FPGA 實現(xiàn)的視覺芯片對于海洋數(shù)據(jù)進行的處理，處理 圖像來源 ：google map 和 Yahoo map（純海洋數(shù)據(jù)，不包含大塊陸地） 。采用 1 word 數(shù)據(jù)對圖像進行編號，高 16bit 可對完整大圖進行編號，低 16 位可對完整大圖分割出來的 128 128 圖像進行編號。 將每張 128 128 圖片處理結(jié)果（有無目標）分別用 0 表示，在 FPGA 中臨時存儲檢測結(jié)果，每處理完 2021 張圖片后，將處理結(jié)果進行上傳到上位機。 圖 (a) 原始圖像 圖 (b) 處理后的圖像原始圖像