【正文】 提出新的算法并改進算法來提高系統(tǒng)的魯棒性。 2021 年以來，出現(xiàn)了一種新型的視覺芯片（圖 中虛線所示），該類型的視覺芯片基于事件驅(qū)動（ Eventdriven）進行信息處理，沒有幀的概念（ framefree），具有低功耗特點，并且可以在事件發(fā)生過程中進行處理，其工作原理完全不同于其他視覺芯片。然而，即使是在這些固定的應用場景下，專用視覺芯片的表現(xiàn)可以說仍然不盡人意，究其原因，主要是芯片內(nèi)所固化的算法魯棒性不高。 圖 視覺芯片的發(fā)展脈絡 90 年代初期受神經(jīng)形態(tài)學啟發(fā)而來的視覺芯片無法完成復雜的視覺處理，顯然，僅僅進行視覺預處理并不能滿足人們對視覺系統(tǒng)的要求。圖 總結(jié)了從 1990 年開始至 2021年為止，具有代表性的視覺芯片研究。隨著集成電路技術(shù)的進一步發(fā)展，相同數(shù)量晶體管的設計所消耗的硅面積還在進一步縮小，因此視覺芯片的成本還可以繼續(xù)下降。同時，片內(nèi)數(shù)據(jù)傳輸與傳統(tǒng)圖像傳感器和 PC 間數(shù)據(jù)傳輸相比功耗也減少很多。 圖 視覺芯片的基本原理 通過上面的簡單分析，我們很容易發(fā)現(xiàn)，視覺芯片借鑒了很多生物系統(tǒng)特性，并且在現(xiàn)代半導體工藝快速發(fā)展的推動下，視覺芯片具有了以下特點： 實時以及高速特性 ：視覺芯片具有并行計算和并行傳輸?shù)奶匦裕撎匦允蛊湓谟嬎闼俣壬蟽?yōu)于傳統(tǒng)視覺處理系統(tǒng)。最后，視覺芯片輸出這些特征數(shù)據(jù)或識別結(jié)果到片外，完成對其他設備的反饋控制。 圖 人類視覺系統(tǒng)和視覺芯片 而視覺芯片正是一種模仿人類視覺系統(tǒng)功能，集高速圖像采集和并行圖像處理能力于一體的數(shù)模混合系統(tǒng)級芯片，如圖 右側(cè)所示。視網(wǎng)膜主要完成兩個功能，一是接收投影過來的圖像光信號并轉(zhuǎn)化為電信號，二是并行實現(xiàn)圖像特征提取，將攜帶大量冗余信息的原始圖像壓縮為少量的特征信息，然后通過傳遞神經(jīng)傳輸?shù)酱竽X的視覺中樞。要充分理解視覺芯片的工作原理，必須先了解人類的視覺系統(tǒng)。經(jīng)過數(shù)百萬年的自然進化，目前的人類擁有發(fā)達的視覺系統(tǒng)，具有快速、靈活、高效的視覺圖像處理能力。之后，大腦基于以往學習到的經(jīng)驗知識，快速直觀地對圖像特征進行分析和識別，從而讓我們能迅速識別和理解所看到的場景和物體。除了模仿眼球晶狀體的聚焦透鏡之外，其余所有的視覺功能都可以集成在一塊單芯片上實現(xiàn)。 圖 所示為典型視覺芯片的邏輯構(gòu)成，它集成了圖像傳感器的像素陣列和多個不同功能的多個處理器。傳統(tǒng)的視覺處理系統(tǒng)采用分離的圖像采集部件（ CMOS 或者 CCD 圖像傳感器）和圖像處理部件（ PC、 DSP、 MCU），其處理速度受限于圖像采集和處理部件之間數(shù)據(jù)傳輸?shù)乃俣纫约安⑿刑幚聿考乃俣取? 緊湊小型系統(tǒng) ：視覺芯片高度集成，與傳統(tǒng)視覺處 理系統(tǒng)相比，其體積不足前者的百分之一。 可以看到的是，視覺芯片具有傳統(tǒng)視覺處理系統(tǒng)所不具備的諸多優(yōu)勢，如果我們能夠?qū)⑦@些優(yōu)勢逐一發(fā)揮，那么視覺芯片必將在我國的國防安全、國 民生產(chǎn)、人民生活的方方面面發(fā)揮重要作用。早期的研究者多直接利用仿生機理來設計視覺芯片，這類芯片可以將光信號轉(zhuǎn)化為電信號，并且對所獲得電信號進行類似視網(wǎng)膜功能的圖像預處理。為此進入 21 世紀之后，很多學者設計了具有某些特殊功能的視覺芯片，比如用于運動檢測、目標跟蹤、目標判別等應用的專用（ Application Specific）視覺芯片。這一問題我們很容易從用于目標追蹤的視覺芯片中看出來，這類芯片盡管采用了高速設計，但是其核心的算法卻是基于二值圖像進行的。然而，這類芯片只能對動態(tài)場景進行處理，無法感知靜態(tài)圖像，因此仍然只能應用于某些特殊場合。因為上述優(yōu)勢，可編程視覺芯片在最近幾年成為視覺芯片領域最為活躍的研究方向之一。 自身研究水平 中國科學院半導體研究所長期開展視覺芯片的研究， 課題組在該領域 的學術(shù)積累 長達十年。該架構(gòu)集成多級異構(gòu)并行處理器，有效地提高了特征描述和特征分類處理性能。 事件驅(qū)動視覺芯片可以自動感知圖像內(nèi)的變化部分，并且只對變化的動態(tài)部分進行處理，這種處理方式與生物的視覺 系統(tǒng)更為類似。為視覺芯片的研究開辟了新的研究道路。國內(nèi)外許多公司和研究機構(gòu)對 CNN 的關(guān)注度與日俱增：著名的 Twitter 公司收購了一家基于深度學習的機器視覺公司 Madbits。 NVIDIA 官網(wǎng)許多系統(tǒng)單芯片 (SoC)大廠已開始投入具備深度學習 (deep learning)技術(shù)的產(chǎn)品。基于視覺芯片計算架構(gòu)巧妙地借鑒了人類視覺系統(tǒng)的仿生架構(gòu)，在計算效率上更勝一籌，是未來實現(xiàn)小型化 CNN 處理專用芯片以及平臺的可選結(jié)構(gòu)之一，集成 CNN 的視覺芯片是未來的重要發(fā)展方向。 如圖 所示，該架構(gòu)包括圖像傳感器 接口 ，系統(tǒng)總線，傳感器控制模塊，傳感器緩 存、程序緩存、網(wǎng)絡接口， 4 個用于大規(guī)模并行處理的計算核心（ Computation Core， CC）以及一個 MPU 微處理器。 4 個計算核心為 HERO 架構(gòu)提供了主要的計算性能并且可以實現(xiàn)多指令多數(shù)據(jù)（ Multiple Instruction Multiple Data，MIMD）工作。如圖中所示，每個 Lane 電路中包含了 16 個 PE 處理單元， 32 個 Lane 中所有 PE 共同組成了 16 32 的子 PE。由于 PPU 具有獨立的寄存器組，因此雖然它們執(zhí)行的指令一樣， 但是所操作的數(shù)據(jù)卻完全不同。 PE 陣列可以完成圖像濾波、形態(tài)學、特征生成等算法并且可以訪問 PPU 的數(shù)據(jù)存 儲器。 PE， Lane 和 PPU 之間共享存儲空間，MPU 主要用于系統(tǒng)管理。如果它們在并行度較低的通用處理器上實現(xiàn)的話會消耗相對較長的時間。在像素級并行處理和塊并行處理之間存在如圖 ：塊處理是在像素級并行處理的結(jié)果之上進行的，所處理的圖像為局部圖像塊， 有利于計算圖像的局部特征。 圖 視覺芯片的中央處理器 圖 視覺芯片的多粒度圖像處理 2. 新型視覺芯片架構(gòu)特點 塊并行處理 ： 先前報道的視覺芯片架構(gòu)是難以實現(xiàn)圖像塊并行處理的， 在新的 架構(gòu)中，每個 PPU 和 16 32 個 PE 形成緊密耦合，在這些 PE 完成圖像塊的處理后， PPU 可以立即通過共享存儲器對圖像塊進行訪問。在塊并行的處理模式下，所有的圖像塊被同時處理，算法只需要被執(zhí)行一次就結(jié)束了對整個圖像的處理，而該過程實現(xiàn)了于并行處理圖像塊數(shù)目相同的加速比