【正文】 器（ Row Processor, RP）陣列和微處理器（ Micro Processing Unit, MPU）相結(jié)合的方式來進(jìn)一步完善圖像特征提取和識(shí)別功能。和 SOM 相比， CNN 運(yùn)算結(jié)構(gòu)更為復(fù)雜，特征提取層次更多，并且能夠通過訓(xùn)練自動(dòng)提取特征模型，因 此能夠提供 SOM 無法比擬的分類準(zhǔn)確度。網(wǎng)絡(luò)接口用于與 PC 通信。通過時(shí)分復(fù)用，像素級(jí)并行處理和分布式并行處理使用相同的硬件來完成， PPU 處理器主要用于完成塊級(jí)并行處理中所需的大量程序控制以及復(fù)雜計(jì)算。在串行處理模式下，圖像塊按順序被處理，算法必須遍歷整個(gè)圖像中所有的圖像塊，因此完成算法的時(shí)間與圖像塊的數(shù)目成正比。如圖 （ a）所示，對(duì)于任意大小的像素陣列，可以通過 1:1 采樣的方式得到圖像傳感器中的圖像塊 0 和圖像塊 1，這兩局部圖像塊可以存儲(chǔ)在兩個(gè) PPU 的局部存儲(chǔ)器中并被并行處理。 R， I和 Jtype 分別代表了寄存器類型(Register)，立即數(shù)類型（ Immediate）以及分支跳轉(zhuǎn)類型（ Jump）。 Lane 具備 指令集 中的八種條件操作，可以執(zhí)行簡(jiǎn)單 if else 語句的能力。圖 為本文 Direct Mapped 緩存電路實(shí)現(xiàn)。 圖 視覺芯片實(shí)現(xiàn)的部分復(fù)雜低中級(jí)圖像處理 課題組基于 FPGA 實(shí)現(xiàn)的視覺芯片對(duì)于海洋數(shù)據(jù)進(jìn)行的處理，處理 圖像來源 ：google map 和 Yahoo map（純海洋數(shù)據(jù)，不包含大塊陸地） 。該芯片集成 了 PE、 RP、嵌入式雙核處理器， 可實(shí)現(xiàn)針對(duì) 1000fps 圖像的 低級(jí) 處理 （ 如 圖像濾波）、中級(jí) 處理 （ 如 直方圖統(tǒng)計(jì)）、高級(jí)處理（ 快速 跟蹤算法） ，完成了 圖像處理 算法 的流水實(shí)現(xiàn)。在處理器需要訪問數(shù)據(jù)或者指令時(shí)，其首先訪問 Cache，如果 Cache 中存儲(chǔ)了該數(shù)據(jù)和指令，那么處理器可以立即獲取這一數(shù)據(jù)或指令。它主要包含一個(gè)通用寄存器組，多個(gè)條件寄存器， 16 比特 ALU 以及多個(gè)多路選擇器，Lane 不使用獨(dú)立的存儲(chǔ)器， 而是和一個(gè) PPU 共享存儲(chǔ)器。圖像傳感器每讀出一段時(shí)間就會(huì)啟動(dòng)一個(gè)計(jì)算核心對(duì)已經(jīng)讀出圖像中包含的圖像塊進(jìn)行處理，并持續(xù)該過程直到一幀讀出結(jié)束。然而，該結(jié)構(gòu)仍然存在以下不足：在這些視覺芯片中，一個(gè) M M 的 PE 陣列每次僅能采樣圖像傳感器中 M M 像素。 PPU 和 PE 陣列共享存儲(chǔ)器，這也就意味著在 PE 陣列完成了像素級(jí)并行處理之后， PPU 就可以 訪問 PE 陣列中所對(duì)應(yīng)的圖像塊而進(jìn)行局部特征構(gòu)建，這樣的設(shè)計(jì)消除了以往視覺芯片中 PERP 設(shè)計(jì)存在的數(shù)據(jù)傳輸瓶頸。車道陣列由 32 個(gè)一維局域相連的 Lane 組成，其執(zhí)行的指令由 PPU 指令解 碼獲得。 圖 傳統(tǒng)的視覺芯片架構(gòu) 為了克服傳統(tǒng)視覺芯片的不足我們提出了如圖 所示的具有“塊”處理功能的視覺芯片架構(gòu)。 2021 年半導(dǎo)體所提出了一種含有自組織映射神經(jīng)網(wǎng)絡(luò)的視覺芯片，可高速進(jìn)行圖像識(shí)別、跟蹤等高級(jí)處理功能，極大地提升了視覺芯片的功能。同時(shí)，系統(tǒng)的魯棒性更多的決定于視覺芯片所運(yùn)行的算法，因此我們可以通過不斷的提出新的算法并改進(jìn)算法來提高系統(tǒng)的魯棒性。圖 總結(jié)了從 1990 年開始至 2021年為止，具有代表性的視覺芯片研究。最后，視覺芯片輸出這些特征數(shù)據(jù)或識(shí)別結(jié)果到片外，完成對(duì)其他設(shè)備的反饋控制。經(jīng)過數(shù)百萬年的自然進(jìn)化，目前的人類擁有發(fā)達(dá)的視覺系統(tǒng)，具有快速、靈活、高效的視覺圖像處理能力。傳統(tǒng)的視覺處理系統(tǒng)采用分離的圖像采集部件（ CMOS 或者 CCD 圖像傳感器）和圖像處理部件（ PC、 DSP、 MCU），其處理速度受限于圖像采集和處理部件之間數(shù)據(jù)傳輸?shù)乃俣纫约安⑿刑幚聿考乃俣取榇诉M(jìn)入 21 世紀(jì)之后，很多學(xué)者設(shè)計(jì)了具有某些特殊功能的視覺芯片，比如用于運(yùn)動(dòng)檢測(cè)、目標(biāo)跟蹤、目標(biāo)判別等應(yīng)用的專用（ Application Specific）視覺芯片。 自身研究水平 中國科學(xué)院半導(dǎo)體研究所長期開展視覺芯片的研究， 課題組在該領(lǐng)域 的學(xué)術(shù)積累 長達(dá)十年。國內(nèi)外許多公司和研究機(jī)構(gòu)對(duì) CNN 的關(guān)注度與日俱增：著名的 Twitter 公司收購了一家基于深度學(xué)習(xí)的機(jī)器視覺公司 Madbits。 4 個(gè)計(jì)算核心為 HERO 架構(gòu)提供了主要的計(jì)算性能并且可以實(shí)現(xiàn)多指令多數(shù)據(jù)（ Multiple Instruction Multiple Data，MIMD）工作。 PE， Lane 和 PPU 之間共享存儲(chǔ)空間，MPU 主要用于系統(tǒng)管理。在塊并行的處理模式下，所有的圖像塊被同時(shí)處理，算法只需要被執(zhí)行一次就結(jié)束了對(duì)整個(gè)圖像的處理，而該過程實(shí)現(xiàn)了于并行處理圖像塊數(shù)目相同的加速比。如圖 （ b）和（ c）所示，使用不同的采樣間隔并選取不同的圖像塊，可以獲得不同的圖像塊以滿足視覺 處理的要求。寄存器類型的指令是指 MIPS 處理器進(jìn)行運(yùn)算的時(shí)候，兩個(gè)操作數(shù)都來自于寄存器組中， R類型的指令在三種指令類型中最為復(fù)雜。 Lane 的 16 比特 ALU 具有完善的邏輯功能，可以完成邏輯左移，邏輯右移，加減以及一些特殊運(yùn)算，可以在每 個(gè)時(shí)鐘周期該完成一次計(jì)算。該 Cache 中每個(gè) Block 包含 4 個(gè)字， Cache 大小為 512 字節(jié)，也就是 512/4=128 個(gè) Block。我們 目前采用 4000張 128 128 圖像進(jìn)行測(cè)試，提前將 BMP 圖像格式數(shù)據(jù)轉(zhuǎn)化為裸數(shù)據(jù)進(jìn)行存儲(chǔ)，并對(duì)圖像進(jìn)行編號(hào)。 四、 研究基礎(chǔ) 課題組 成功研制出 超高速 圖像處理視覺芯片 ，芯片版圖如圖 (a)所示，芯片封裝照片如圖 (b)所示。如圖 所示， Cache 為一小塊能被處理器快速訪問的存儲(chǔ)器，其中存儲(chǔ)了處理器近期訪問的程序段以及該程序段附近的程序段。 表 視覺芯片指令集 4. 視覺芯片的關(guān)鍵模塊設(shè)計(jì) Lane 的設(shè)計(jì)： 如圖 所示為 視覺 架構(gòu)中所采用的 Lane 設(shè)計(jì)電路圖。借助計(jì)算核心可 MIMD 工作的特點(diǎn)，架構(gòu)采用了如圖 所示的傳感器 處理器流水處理方式來掩蓋圖像傳感器曝光和讀出的時(shí)間。 靈活的圖像塊選取方式 ： 為解決圖像傳感器成像質(zhì)量差、像素和 PE 單元之間映射方式單一的問題，較為先進(jìn)的視覺芯片都采用了像素 PE 分離陣列結(jié)構(gòu)。本架構(gòu)中 的 PEPPU 對(duì)應(yīng)關(guān)系就是為了提高視覺芯片局部特征描述