【正文】 度集成，與傳統(tǒng)視覺處 理系統(tǒng)相比，其體積不足前者的百分之一。 低功耗 ：視覺芯片具有低功耗的特點(diǎn)，其采用大量并行電路并行進(jìn)行數(shù)字信號處理，與傳統(tǒng)串行處理方式相比，并行處理電路通過大量減少處理中所需的系統(tǒng)控制操作（循環(huán)、跳轉(zhuǎn)操作，甚至是操作系統(tǒng)）來減低功耗。傳統(tǒng)的視覺處理系統(tǒng)采用分離的圖像采集部件（ CMOS 或者 CCD 圖像傳感器）和圖像處理部件（ PC、 DSP、 MCU），其處理速度受限于圖像采集和處理部件之間數(shù)據(jù)傳輸?shù)乃俣纫约安⑿刑幚聿考乃俣?。更為重要的是，視覺芯片對視覺信息的處理采用并行處理，這一點(diǎn)與生物神經(jīng)系統(tǒng)類似。 圖 所示為典型視覺芯片的邏輯構(gòu)成，它集成了圖像傳感器的像素陣列和多個(gè)不同功能的多個(gè)處理器。高層次處理器則模仿人類大腦功能，實(shí) 現(xiàn)對特征的進(jìn)一步分析和識別，通常不具備明顯的并行處理能力。除了模仿眼球晶狀體的聚焦透鏡之外，其余所有的視覺功能都可以集成在一塊單芯片上實(shí)現(xiàn)。因此，人類視覺系統(tǒng)為高性能圖像信息采集處理系統(tǒng)提供了很好的設(shè)計(jì)借鑒。之后，大腦基于以往學(xué)習(xí)到的經(jīng)驗(yàn)知識，快速直觀地對圖像特征進(jìn)行分析和識別，從而讓我們能迅速識別和理解所看到的場景和物體。外部場景及物體以光信號的形式，通過眼球前端的晶狀體，聚焦投影在眼球后部的視網(wǎng)膜上。經(jīng)過數(shù)百萬年的自然進(jìn)化，目前的人類擁有發(fā)達(dá)的視覺系統(tǒng)，具有快速、靈活、高效的視覺圖像處理能力。一、 可行性論證 視覺芯片的原理 和特點(diǎn) 視覺芯片是一種模仿人類視覺功能，可高速完成圖像采集和處理的新型片上系統(tǒng)芯片。要充分理解視覺芯片的工作原理，必須先了解人類的視覺系統(tǒng)。如圖 左側(cè)所示，人類視覺系統(tǒng)主要包括眼球、大腦視覺中樞和一些信號傳輸神經(jīng)。視網(wǎng)膜主要完成兩個(gè)功能，一是接收投影過來的圖像光信號并轉(zhuǎn)化為電信號，二是并行實(shí)現(xiàn)圖像特征提取，將攜帶大量冗余信息的原始圖像壓縮為少量的特征信息，然后通過傳遞神經(jīng)傳輸?shù)酱竽X的視覺中樞。在人類視覺系統(tǒng)中，圖像信息是并行傳輸、并行處理的，具有很高的實(shí) 時(shí)響應(yīng)速度。 圖 人類視覺系統(tǒng)和視覺芯片 而視覺芯片正是一種模仿人類視覺系統(tǒng)功能，集高速圖像采集和并行圖像處理能力于一體的數(shù)模混合系統(tǒng)級芯片，如圖 右側(cè)所示。其中像素陣列模仿眼球視網(wǎng)膜的圖像采集功能，大規(guī)模并行處理陣列模仿視網(wǎng)膜的并行特征提取功能，圖像數(shù)據(jù)在像素陣列和大規(guī)模并行處理陣列之間的傳輸也是大規(guī)模并行的。最后，視覺芯片輸出這些特征數(shù)據(jù)或識別結(jié)果到片外，完成對其他設(shè)備的反饋控制。在系統(tǒng)邏輯結(jié)構(gòu)上視覺芯片非常類似于層次化異構(gòu)的人類視覺系統(tǒng)，圖像傳感器類似于視網(wǎng)膜的成像功能，而其后不同功能的處理器則類似于不同層次的視覺皮層，比如陣列處理器的功能和 V1 皮層類似，用于感知邊緣以及強(qiáng)度信息，而后續(xù)的處理器功能則類似于次級皮層，用于對初級皮層提取的邊緣信息進(jìn)行整合和抽 象。 圖 視覺芯片的基本原理 通過上面的簡單分析，我們很容易發(fā)現(xiàn)，視覺芯片借鑒了很多生物系統(tǒng)特性，并且在現(xiàn)代半導(dǎo)體工藝快速發(fā)展的推動下，視覺芯片具有了以下特點(diǎn)： 實(shí)時(shí)以及高速特性 ：視覺芯片具有并行計(jì)算和并行傳輸?shù)奶匦?，而該特性使其在?jì)算速度上優(yōu)于傳統(tǒng)視覺處理系統(tǒng)。視覺芯片的數(shù)據(jù)傳輸以及處理皆采用并行方式，使處理速度大大提升，很多采用視覺芯片的系統(tǒng)都能使響應(yīng)速度達(dá)到 1000 幀 /秒以上。同時(shí)，片內(nèi)數(shù)據(jù)傳輸與傳統(tǒng)圖像傳感器和 PC 間數(shù)據(jù)傳輸相比功耗也減少很多。它不僅適用于傳統(tǒng)視覺系統(tǒng)所擅長的一般場合，在車載、移動、物聯(lián)網(wǎng)、機(jī)器人視覺等多種小型化平臺上同樣適用。隨著集成電路技術(shù)的進(jìn)一步發(fā)展，相同數(shù)量晶體管的設(shè)計(jì)所消耗的硅面積還在進(jìn)一步縮小，因此視覺芯片的成本還可以繼續(xù)下降。 視覺芯片的 研究現(xiàn)狀 視覺芯片的概念最早于上個(gè)世紀(jì) 90 年代末提出，由于其結(jié)構(gòu)和功能新穎，在短時(shí)間內(nèi)即成為研究熱點(diǎn)，并伴隨出現(xiàn)了很多的研究小組，其中有的小組對其進(jìn)行了長達(dá)數(shù)十年的研究。圖 總結(jié)了從 1990 年開始至 2021年為止，具有代表性的視覺芯片研究。比如 Koch Christof 在 90 年代初期就利用模擬電路進(jìn)行了大量的嘗試，這類芯片能夠在某種程度上模擬神經(jīng)系統(tǒng)中的一些特性并且可以完成早期視覺處理（ Early Vision Processing）。 圖 視覺芯片的發(fā)展脈絡(luò) 90 年代初期受神經(jīng)形態(tài)學(xué)啟發(fā)而來的視覺芯片無法完成復(fù)雜的視覺處理，顯然，僅僅進(jìn)行視覺預(yù)處理并不能滿足人們對視覺系統(tǒng)的要求。在該方向研究工作較為突出的為東京大學(xué)、意大利 FBK（ Fondazione Bruno Kessler）、新加坡國立大學(xué)以及中科院半導(dǎo)體研究所等研究機(jī)構(gòu)與大學(xué)。然而，即使是在這些固定的應(yīng)用場景下，專用視覺芯片的表現(xiàn)可以說仍然不盡人意，究其原因，主要是芯片內(nèi)所固化的算法魯棒性不高。最終結(jié)果就是這類芯片都無法用于光照變化、背景復(fù)雜且灰度與目標(biāo)相近的追蹤任務(wù)當(dāng)中。 2021 年以來，出現(xiàn)了一種新型的視覺芯片（圖 中虛線所示），該類型的視覺芯片基于事件驅(qū)動（ Eventdriven）進(jìn)行信息處理，沒有幀的概念（ framefree），具有低功耗特點(diǎn)，并且可以在事件發(fā)生過程中進(jìn)行處理，其工作原理完全不同于其他視覺芯片。 可編程視覺芯片是為了解決專用功能芯片所存在的問題而發(fā)展 而來的。同時(shí)，系統(tǒng)的魯棒性更多的決定于視覺芯片所運(yùn)行的算法，因此我們可以通過不斷的提出新的算法并改進(jìn)算法來提高系統(tǒng)的魯棒性。美國麻省理工大學(xué)、英國曼切斯特大學(xué)、國立臺灣大學(xué)、美國喬治亞理工 [29]、以及中科院半導(dǎo)體研究所皆為較有代表性的課題組。近期出現(xiàn)的一些研究成果中使用了行 /列處理器（ Row Processor, RP）陣列和微處理器（ Micro Processing Unit, MPU）相結(jié)合的方式來進(jìn)一步完善圖像特征提取和識別功能。 2021 年半導(dǎo)體所 提出了基于馮諾依曼多級并行處理器和非馮諾依曼自組織映射（ SelfOrganizing Map, SOM）神經(jīng)網(wǎng)絡(luò)混合處理的新型視覺芯片體系架構(gòu)。 2021 年半導(dǎo)體所進(jìn)一步 提出了適用于計(jì)算機(jī)視覺算法處理的基于多級異構(gòu)并行處理的視覺芯片架構(gòu) —HERO。 該架構(gòu)可以完成從特征檢測、特征提取到特征分類的完整視覺處理流程， 整體系 統(tǒng)性能超過目前世界先進(jìn)水平。 2021 年以來， 國際學(xué)術(shù)界出現(xiàn)了一種新型的視覺芯片 ，該類型的