【正文】 視覺(jué)芯片基于事件驅(qū)動(dòng)（ Eventdriven）進(jìn)行信息處理而不是傳統(tǒng)的 幀 驅(qū)動(dòng)。但是不足之處在于， 這類芯片只能對(duì)動(dòng)態(tài)場(chǎng)景進(jìn)行處理，無(wú)法感知靜態(tài)圖像， 也無(wú)法對(duì)緩慢變化的場(chǎng)景進(jìn)行處理， 因此仍然只能應(yīng)用于某些特殊場(chǎng)合。 2021 年半導(dǎo)體所提出了一種含有自組織映射神經(jīng)網(wǎng)絡(luò)的視覺(jué)芯片，可高速進(jìn)行圖像識(shí)別、跟蹤等高級(jí)處理功能，極大地提升了視覺(jué)芯片的功能。 但是， SOM 神經(jīng)網(wǎng)路的結(jié)構(gòu)較為簡(jiǎn)單，屬于淺層學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，在特征分類方面存在明顯的不足，導(dǎo)致目標(biāo)識(shí)別準(zhǔn)確率低。和 SOM 相比， CNN 運(yùn)算結(jié)構(gòu)更為復(fù)雜，特征提取層次更多，并且能夠通過(guò)訓(xùn)練自動(dòng)提取特征模型，因 此能夠提供 SOM 無(wú)法比擬的分類準(zhǔn)確度。希望借用其研究成果對(duì)每天成百上千萬(wàn)張發(fā)布到平臺(tái)上的照片圖像數(shù)據(jù)進(jìn)行識(shí)別，以提供更強(qiáng)大的標(biāo)簽和相關(guān)的圖片搜索功能。美國(guó)著名的顯卡制造公司， NVIDIA 最新的 Drive PX 平臺(tái)擁有深度學(xué)習(xí)能力，可將現(xiàn)實(shí)環(huán)境學(xué)習(xí)結(jié)果反饋回資料中心。我國(guó)的曙光公司、中科院計(jì)算技術(shù)研究所和 NVIDIA 公司開(kāi)展了深度學(xué)習(xí)戰(zhàn)略合作，并發(fā)布了XSystem 深度學(xué)習(xí)產(chǎn)品。 由于 CNN 等深度學(xué)習(xí)算法對(duì)于計(jì)算資源的消耗較大，一般都采用服務(wù)器集群或者基于 GPU 的平臺(tái)進(jìn)行計(jì)算，系統(tǒng)的功耗很大。 二、 技術(shù)方案 視覺(jué)芯片的架構(gòu) 傳統(tǒng)的視覺(jué)芯片架構(gòu)如圖 所示， 該架構(gòu)主要包括以下三個(gè)部分： 1）高速圖像傳感器 接口 以及控制器組成，用于高速采集數(shù)字圖像并輸出到后續(xù)處理器；2）多級(jí)并行馮諾依曼處理器：主要包括像素級(jí)并行的 N N PE 陣列處理器， N個(gè)行并行的 RP 陣列處理器，以及線程級(jí)并行的雙核 MPU 處理器，分別用于完成低級(jí)、中級(jí)和高級(jí)圖像處理； 3）非馮諾依曼 SOM 神經(jīng)網(wǎng)絡(luò)：該神經(jīng)網(wǎng)絡(luò)含有N1 N2 個(gè) SOM 神經(jīng)元，是模仿人類大腦識(shí)別功能的一個(gè)簡(jiǎn)化模型，用于以矢量級(jí)并行方式加速高級(jí)圖像處理中最復(fù)雜、最常見(jiàn)的特征識(shí)別任務(wù)。 圖 傳統(tǒng)的視覺(jué)芯片架構(gòu) 為了克服傳統(tǒng)視覺(jué)芯片的不足我們提出了如圖 所示的具有“塊”處理功能的視覺(jué)芯片架構(gòu)。傳感器緩存用于存儲(chǔ)來(lái)自圖像傳感器的數(shù)據(jù)，以便于處理器多次訪問(wèn)。網(wǎng)絡(luò)接口用于與 PC 通信。根據(jù) MPU 的控制指令，四個(gè)計(jì)算核心之間可以進(jìn)行相同或者完全不同的操作。它們都由塊處理單元（ Patch Processing Unit, PPU）、 32 個(gè)車道組成的車道陣列（ Lane Array， LA）以及 16 32 個(gè) PE 組成的 PE 子陣列（ Processing Element Sub Array, PESA）。兩個(gè)相鄰的 PE 子陣列構(gòu)成了 32 32 的 PE 陣列。同一個(gè)計(jì)算核心中只有 MP 中的 PPU 具有取指令能力， VP 中的 PPU 執(zhí)行和它相同的程序。 圖 視覺(jué)芯片的計(jì)算核心 圖 為視覺(jué)芯片的 中主處理器示意圖，其中 PPU 采用了五級(jí)流水的 MIPS 處理器架構(gòu)，包含取值（ Instruction Fetch， IF）、指令解碼（ Instruction Decode，ID）、執(zhí)行（ Execution， EXE）、存儲(chǔ)器周期（ Memory， Mem） 以及寫回（ Write Back， WB）五個(gè)流水級(jí)。車道陣列由 32 個(gè)一維局域相連的 Lane 組成，其執(zhí)行的指令由 PPU 指令解 碼獲得。 PE 陣列所執(zhí)行的指令也是由 PPU 指令解碼后獲得的。通過(guò)時(shí)分復(fù)用，像素級(jí)并行處理和分布式并行處理使用相同的硬件來(lái)完成， PPU 處理器主要用于完成塊級(jí)并行處理中所需的大量程序控制以及復(fù)雜計(jì)算。與先前報(bào)道的視覺(jué)芯片類似， 項(xiàng)目提出的結(jié)構(gòu) 可以完成完成像素級(jí)并行處理。這些算法在很多的檢測(cè)、識(shí)別應(yīng)用中極為重要。通過(guò)使用大量并行（ Massively Parallel）的二維陣列，可以大大減少處理此類算 法的時(shí)間。 在架構(gòu)中，我們基于 MIPS 處理器架構(gòu)設(shè)計(jì)了更加具有可編程性的 PPU 處理器。 局部特征在計(jì)算機(jī)視覺(jué)中扮演著重要角色，局部特征主要是指圖像局部某種統(tǒng)計(jì)特征，一般是在圖像局部塊中通過(guò)提 取直方圖等操作來(lái)完成。 PPU 和 PE 陣列共享存儲(chǔ)器，這也就意味著在 PE 陣列完成了像素級(jí)并行處理之后， PPU 就可以 訪問(wèn) PE 陣列中所對(duì)應(yīng)的圖像塊而進(jìn)行局部特征構(gòu)建，這樣的設(shè)計(jì)消除了以往視覺(jué)芯片中 PERP 設(shè)計(jì)存在的數(shù)據(jù)傳輸瓶頸。所有 PPU 可工作于 SIMD 模式下，也就是通過(guò)同時(shí)對(duì)所有圖像塊進(jìn)行處理來(lái)實(shí)現(xiàn)塊并 行。在串行處理模式下，圖像塊按順序被處理，算法必須遍歷整個(gè)圖像中所有的圖像塊，因此完成算法的時(shí)間與圖像塊的數(shù)目成正比。進(jìn)一步的，在檢測(cè)和識(shí)別任務(wù)中，相鄰圖像塊之間往往要求有一定的交疊以保證任何位置的特征都能被檢測(cè)到，如圖 （ b）中所示，倆相鄰的塊之間存在 dx 像素的交疊。只需要數(shù)個(gè)時(shí)鐘周期，我們就能實(shí)現(xiàn)所有圖像塊中的數(shù)據(jù)移動(dòng) dx 像素。 圖 塊串行處理與塊并行處理的比較 分布式并行分類 ： 分類是圖像處理與計(jì)算機(jī)視覺(jué)中的最為重要的問(wèn)題之一，兼具高正確分類率和高性能的分類器實(shí)現(xiàn)對(duì)視覺(jué)系統(tǒng)至關(guān)重要。硬件專用分類器往往消耗可觀的面積， 而在本 架構(gòu)中， AdaBoost 和 SOM 神經(jīng)網(wǎng)絡(luò)分類器在沒(méi)用使用任何額外硬件的情況下即可實(shí)現(xiàn)。如果需要進(jìn)行準(zhǔn)確的正負(fù)類別分類，架構(gòu)可以使用 AdaBoost 分類器，而 SOM 神經(jīng)網(wǎng)絡(luò)則可以用來(lái)進(jìn)行多類別分類和在線更新。然而，該結(jié)構(gòu)仍然存在以下不足：在這些視覺(jué)芯片中，一個(gè) M M 的 PE 陣列每次僅能采樣圖像傳感器中 M M 像素。顯而易見(jiàn)，所處理的圖像大小受制于 PE 陣列大小是不合理的，這種方式限制了系統(tǒng)的靈活性并且嚴(yán)重減低了處理性能。如圖 （ a）所示，對(duì)于任意大小的像素陣列，可以通過(guò) 1:1 采樣的方式得到圖像傳感器中的圖像塊 0 和圖像塊 1，這兩局部圖像塊可以存儲(chǔ)在兩個(gè) PPU 的局部存儲(chǔ)器中并被并行處理。每個(gè) PPU 的存儲(chǔ)器中存儲(chǔ)的圖像塊數(shù)目和圖像塊大小主每個(gè)處理核處理 2 個(gè)圖像塊 要受 限于局部存儲(chǔ)器的的大小。 圖 圖像塊處理 MIMD 工作模式 ：在 架構(gòu)中，所有的計(jì)算簇具有獨(dú)立的取指令能力，通過(guò) MPU 對(duì)各個(gè)計(jì)算核心中 MP 的配置， 使每個(gè)計(jì)算核心可以進(jìn)行不同的工作。每個(gè)計(jì)算