【正文】 ，一般都采用服務(wù)器集群或者基于 GPU 的平臺進(jìn)行計算，系統(tǒng)的功耗很大。和 SOM 相比， CNN 運(yùn)算結(jié)構(gòu)更為復(fù)雜，特征提取層次更多，并且能夠通過訓(xùn)練自動提取特征模型，因 此能夠提供 SOM 無法比擬的分類準(zhǔn)確度。 2021 年以來， 國際學(xué)術(shù)界出現(xiàn)了一種新型的視覺芯片 ，該類型的視覺芯片基于事件驅(qū)動（ Eventdriven）進(jìn)行信息處理而不是傳統(tǒng)的 幀 驅(qū)動。近期出現(xiàn)的一些研究成果中使用了行 /列處理器（ Row Processor, RP）陣列和微處理器（ Micro Processing Unit, MPU）相結(jié)合的方式來進(jìn)一步完善圖像特征提取和識別功能。 2021 年以來，出現(xiàn)了一種新型的視覺芯片（圖 中虛線所示），該類型的視覺芯片基于事件驅(qū)動（ Eventdriven）進(jìn)行信息處理，沒有幀的概念（ framefree），具有低功耗特點，并且可以在事件發(fā)生過程中進(jìn)行處理，其工作原理完全不同于其他視覺芯片。 圖 視覺芯片的發(fā)展脈絡(luò) 90 年代初期受神經(jīng)形態(tài)學(xué)啟發(fā)而來的視覺芯片無法完成復(fù)雜的視覺處理，顯然，僅僅進(jìn)行視覺預(yù)處理并不能滿足人們對視覺系統(tǒng)的要求。隨著集成電路技術(shù)的進(jìn)一步發(fā)展，相同數(shù)量晶體管的設(shè)計所消耗的硅面積還在進(jìn)一步縮小，因此視覺芯片的成本還可以繼續(xù)下降。 圖 視覺芯片的基本原理 通過上面的簡單分析，我們很容易發(fā)現(xiàn)，視覺芯片借鑒了很多生物系統(tǒng)特性，并且在現(xiàn)代半導(dǎo)體工藝快速發(fā)展的推動下，視覺芯片具有了以下特點： 實時以及高速特性 ：視覺芯片具有并行計算和并行傳輸?shù)奶匦?，而該特性使其在計算速度上?yōu)于傳統(tǒng)視覺處理系統(tǒng)。 圖 人類視覺系統(tǒng)和視覺芯片 而視覺芯片正是一種模仿人類視覺系統(tǒng)功能，集高速圖像采集和并行圖像處理能力于一體的數(shù)?；旌舷到y(tǒng)級芯片，如圖 右側(cè)所示。要充分理解視覺芯片的工作原理，必須先了解人類的視覺系統(tǒng)。之后，大腦基于以往學(xué)習(xí)到的經(jīng)驗知識，快速直觀地對圖像特征進(jìn)行分析和識別，從而讓我們能迅速識別和理解所看到的場景和物體。 圖 所示為典型視覺芯片的邏輯構(gòu)成，它集成了圖像傳感器的像素陣列和多個不同功能的多個處理器。 緊湊小型系統(tǒng) ：視覺芯片高度集成，與傳統(tǒng)視覺處 理系統(tǒng)相比，其體積不足前者的百分之一。早期的研究者多直接利用仿生機(jī)理來設(shè)計視覺芯片，這類芯片可以將光信號轉(zhuǎn)化為電信號，并且對所獲得電信號進(jìn)行類似視網(wǎng)膜功能的圖像預(yù)處理。這一問題我們很容易從用于目標(biāo)追蹤的視覺芯片中看出來，這類芯片盡管采用了高速設(shè)計，但是其核心的算法卻是基于二值圖像進(jìn)行的。因為上述優(yōu)勢，可編程視覺芯片在最近幾年成為視覺芯片領(lǐng)域最為活躍的研究方向之一。該架構(gòu)集成多級異構(gòu)并行處理器，有效地提高了特征描述和特征分類處理性能。為視覺芯片的研究開辟了新的研究道路。 NVIDIA 官網(wǎng)許多系統(tǒng)單芯片 (SoC)大廠已開始投入具備深度學(xué)習(xí) (deep learning)技術(shù)的產(chǎn)品。 如圖 所示，該架構(gòu)包括圖像傳感器 接口 ，系統(tǒng)總線，傳感器控制模塊，傳感器緩 存、程序緩存、網(wǎng)絡(luò)接口， 4 個用于大規(guī)模并行處理的計算核心（ Computation Core， CC）以及一個 MPU 微處理器。如圖中所示，每個 Lane 電路中包含了 16 個 PE 處理單元， 32 個 Lane 中所有 PE 共同組成了 16 32 的子 PE。 PE 陣列可以完成圖像濾波、形態(tài)學(xué)、特征生成等算法并且可以訪問 PPU 的數(shù)據(jù)存 儲器。如果它們在并行度較低的通用處理器上實現(xiàn)的話會消耗相對較長的時間。 圖 視覺芯片的中央處理器 圖 視覺芯片的多粒度圖像處理 2. 新型視覺芯片架構(gòu)特點 塊并行處理 ： 先前報道的視覺芯片架構(gòu)是難以實現(xiàn)圖像塊并行處理的， 在新的 架構(gòu)中，每個 PPU 和 16 32 個 PE 形成緊密耦合，在這些 PE 完成圖像塊的處理后， PPU 可以立即通過共享存儲器對圖像塊進(jìn)行訪問。然后，我們在新的圖像塊中重新執(zhí)行算法。但是，如果該 M M 區(qū)域并非感興趣區(qū)域，或者圖像中存在多個感興趣區(qū)域，那么處理器就需要從圖 像傳感器后續(xù)讀出的一幀或者多幀當(dāng)中來獲得感興趣的區(qū)域。如圖 所示， 為架構(gòu) 中計算核心的幾種不同工作模式。在下一幀來臨之前，最先啟動的計算簇一般已經(jīng)完成了對上一幀圖像中圖像塊的處理，因此可以流水的處理即將到來的圖像塊。 表 指令集定義 視覺 指令集在 MIPS 指令集 的基礎(chǔ)上進(jìn)行了部分修改，如表 所示，指令類型分為四類，分別為寄存器類型、立即數(shù)類型、 L1 類型以及 L2 類型。 Lane 中如 MemToReg，Broadcast， Direct， ALUSrc 等控制信號都是通過 PPU 中指令解碼器解碼廣播得到。對 Lane 在流水線上的優(yōu)化，有利于系統(tǒng)主頻的進(jìn)一步的提高。如果 Cache 中沒有存儲該數(shù)據(jù)或者指令，那么處理器再從主存中獲取需要的數(shù)據(jù)和指令。圖 為本文所設(shè)計緩存控制器的狀態(tài)機(jī)。 圖 課題組研制的視覺芯片 圖 為該芯片針對 1000fps 幀率圖像幀，實現(xiàn)部分復(fù)雜低、中級圖像處理功能 (復(fù)數(shù)濾波器、高速地平線檢測等 )。 圖 (a)為原始圖像，而圖 (b)為處理后的圖像。 該 會議 稱 為 “集成電路設(shè)計領(lǐng)域的奧林匹克 ”， 參與會議 的 不乏 Intel、 AMD、 TI、 ADI 等國際 一線 IC設(shè)計 廠商 和 國外 頂級研究機(jī)構(gòu)。當(dāng)處理器向緩存請求數(shù)據(jù)時，控制器進(jìn)入 Compare Tag 狀態(tài)，該狀態(tài)進(jìn)行Tag 比較，如果數(shù)據(jù)存在則被處理器讀走，狀態(tài)機(jī)恢復(fù)到 IDLE 狀態(tài)并等待處第 理器下一次請求。 圖 緩存示意圖 在各種緩存設(shè)計中， DirectMap 緩存設(shè)計 最為簡單，為了方便實現(xiàn)并且減少硬件資源消耗，我們使用其作為架構(gòu)中的 Cache 實現(xiàn)方式。所以在每個可取指的 PPU 處理器中設(shè)計了一級緩存 (Cache)，以減小不同 PPU 取指令時在指令存儲器處出現(xiàn)的沖突。該方法可以快速實現(xiàn)臨近 Lane 之間的數(shù)據(jù)交互。寄存器類型指令和立即數(shù)類型指令基本和原有 MIPS 指令集類似，但是縮短了 rs，rt 以及 rd 的比特位數(shù)，并且增加了 format 字段。 MIPS 指令集中包括三種指令類型，分別是 R類型， I類