【正文】 的 PEPPU 對(duì)應(yīng)關(guān)系就是為了提高視覺芯片局部特征描述能力而提出來的。在像素級(jí)并行處理和塊并行處理之間存在如圖 ：塊處理是在像素級(jí)并行處理的結(jié)果之上進(jìn)行的，所處理的圖像為局部圖像塊， 有利于計(jì)算圖像的局部特征。 塊并行處理時(shí)，需要執(zhí)行包括方向判斷（ Orientation Assignment），局部特征提取，塊匹配（ Block Matching）以及直方圖統(tǒng)計(jì)等多種復(fù)雜運(yùn)算，因此需要更高的靈活性和復(fù)雜度。如果它們在并行度較低的通用處理器上實(shí)現(xiàn)的話會(huì)消耗相對(duì)較長的時(shí)間。這種二維并行處理方式在完成 2D 圖像濾波、背景減除、FAST、 SIFT 特征點(diǎn) ]、 LBP 算子等算法時(shí)體現(xiàn)出強(qiáng)大的性能。 PE， Lane 和 PPU 之間共享存儲(chǔ)空間，MPU 主要用于系統(tǒng)管理。 如圖 所示，該視覺芯片 架構(gòu)可完成的不同粒度的處理，其中包括像素級(jí)并行處理，塊并行處理，以及分布式并行處理。 PE 陣列可以完成圖像濾波、形態(tài)學(xué)、特征生成等算法并且可以訪問 PPU 的數(shù)據(jù)存 儲(chǔ)器。 PPU 支持大部分 MIPS 指令。由于 PPU 具有獨(dú)立的寄存器組，因此雖然它們執(zhí)行的指令一樣， 但是所操作的數(shù)據(jù)卻完全不同。 MP 中的 PPU 不僅包含了解碼器、寄存器組、邏輯運(yùn)算單元（ ALU）、數(shù)據(jù)存儲(chǔ)器（ MEM）還集成了一個(gè)指令緩存和程序計(jì)數(shù)器（ Program Counter， PC）用于取值和程序計(jì)數(shù)。如圖中所示，每個(gè) Lane 電路中包含了 16 個(gè) PE 處理單元， 32 個(gè) Lane 中所有 PE 共同組成了 16 32 的子 PE。 圖 項(xiàng)目擬采用的視覺芯片架構(gòu) 計(jì)算核心如圖 所示 ， 由一個(gè)主要處理器（ Main Processor, MP）和三個(gè)虛擬處理器（ Virtual Processor， VP）組成。 4 個(gè)計(jì)算核心為 HERO 架構(gòu)提供了主要的計(jì)算性能并且可以實(shí)現(xiàn)多指令多數(shù)據(jù)（ Multiple Instruction Multiple Data，MIMD）工作。程序緩存中存儲(chǔ)了用于視覺處理的算法程序。 如圖 所示，該架構(gòu)包括圖像傳感器 接口 ，系統(tǒng)總線，傳感器控制模塊，傳感器緩 存、程序緩存、網(wǎng)絡(luò)接口， 4 個(gè)用于大規(guī)模并行處理的計(jì)算核心（ Computation Core， CC）以及一個(gè) MPU 微處理器。 該架構(gòu)的不足之處在于低級(jí)處理器是由大量的僅能進(jìn)行 1bit 計(jì)算的簡單處理器構(gòu)成，雖然計(jì)算并行度很高，適合對(duì)圖像進(jìn)行快速的低級(jí)處理，但是由于每個(gè)單元的處理能力較差，無法實(shí)現(xiàn)的復(fù)雜的圖像處理算法的計(jì)算。基于視覺芯片計(jì)算架構(gòu)巧妙地借鑒了人類視覺系統(tǒng)的仿生架構(gòu)，在計(jì)算效率上更勝一籌，是未來實(shí)現(xiàn)小型化 CNN 處理專用芯片以及平臺(tái)的可選結(jié)構(gòu)之一，集成 CNN 的視覺芯片是未來的重要發(fā)展方向。百度、騰訊等公司更是將 CNN 等深度學(xué)習(xí)算法作為戰(zhàn)略性的研發(fā)方向，并投入巨大的資金力量。 NVIDIA 官網(wǎng)許多系統(tǒng)單芯片 (SoC)大廠已開始投入具備深度學(xué)習(xí) (deep learning)技術(shù)的產(chǎn)品。Google、雅虎、 Dropbox 和 Pinterest 也在開展相關(guān)收購，以提高公司在這方面的技術(shù)力量。國內(nèi)外許多公司和研究機(jī)構(gòu)對(duì) CNN 的關(guān)注度與日俱增：著名的 Twitter 公司收購了一家基于深度學(xué)習(xí)的機(jī)器視覺公司 Madbits。 目前的 卷積神經(jīng)網(wǎng)絡(luò)（ CNN）是近年來在人工智能領(lǐng)域新興的一個(gè)研究方向。為視覺芯片的研究開辟了新的研究道路。 另一種更為主流的提升視覺芯片智能化程度的方法是將神經(jīng)網(wǎng)絡(luò)集成在視覺芯片內(nèi)。 事件驅(qū)動(dòng)視覺芯片可以自動(dòng)感知圖像內(nèi)的變化部分，并且只對(duì)變化的動(dòng)態(tài)部分進(jìn)行處理，這種處理方式與生物的視覺 系統(tǒng)更為類似。 未來研究方向 視覺芯片未來將向著更加智能化的方向發(fā)展。該架構(gòu)集成多級(jí)異構(gòu)并行處理器，有效地提高了特征描述和特征分類處理性能。該架構(gòu)支持包括特征識(shí)別在內(nèi)的完整片上圖像系統(tǒng)功能，具備像素級(jí)、行 /列級(jí)、矢量級(jí)和線程級(jí)多級(jí)并行處理能力，可高速完成從圖像采集、圖像特征提取到特征識(shí)別的全過程，滿足 1000 fps 的系統(tǒng)級(jí)性能要求。 自身研究水平 中國科學(xué)院半導(dǎo)體研究所長期開展視覺芯片的研究， 課題組在該領(lǐng)域 的學(xué)術(shù)積累 長達(dá)十年?？删幊桃曈X芯片仍然保留了早期仿生機(jī)理以 及專用視覺芯片中所采用的像素級(jí)并行處理單元（ Processing Element, PE）陣列以保證整個(gè)系統(tǒng)的處理速度。因?yàn)樯鲜鰞?yōu)勢，可編程視覺芯片在最近幾年成為視覺芯片領(lǐng)域最為活躍的研究方向之一。它不再局限于某個(gè)固定的應(yīng)用，利用其可編程性，針對(duì)不同的視覺處理，我們可以設(shè)計(jì)并在視覺芯片上運(yùn)行不同的算法，這樣同樣一個(gè)視覺芯片就可以在不同的場合下使用。然而，這類芯片只能對(duì)動(dòng)態(tài)場景進(jìn)行處理，無法感知靜態(tài)圖像，因此仍然只能應(yīng)用于某些特殊場合。專用功能芯片的另一大局限性在于其不能應(yīng)用到新的 應(yīng)用中，針對(duì)不同應(yīng)用必須重復(fù)開發(fā)，因此其上市時(shí)間（ Time To Market）相對(duì)較長，并且消耗人力物力。這一問題我們很容易從用于目標(biāo)追蹤的視覺芯片中看出來，這類芯片盡管采用了高速設(shè)計(jì)，但是其核心的算法卻是基于二值圖像進(jìn)行的。專用視覺芯片的優(yōu)點(diǎn)是能夠根據(jù)具體應(yīng)用優(yōu)化系統(tǒng)架構(gòu)和電路結(jié)構(gòu)，使芯片面積、功耗等做到最優(yōu)。為此進(jìn)入 21 世紀(jì)之后，很多學(xué)者設(shè)計(jì)了具有某些特殊功能的視覺芯片，比如用于運(yùn)動(dòng)檢測、目標(biāo)跟蹤、目標(biāo)判別等應(yīng)用的專用（ Application Specific）視覺芯片。后來這類研究進(jìn)一步發(fā)展為專門的神經(jīng)形態(tài)學(xué)（ Neuromorphic）研究，近年來如 IBM， Stanford 以及曼切斯特大學(xué)等所進(jìn)行的諸多研究項(xiàng)目皆于 此有深厚淵源。早期的研究者多直接利用仿生機(jī)理來設(shè)計(jì)視覺芯片，這類芯片可以將光信號(hào)轉(zhuǎn)化為電信號(hào)，并且對(duì)所獲得電信號(hào)進(jìn)行類似視網(wǎng)膜功能的圖像預(yù)處理。伴隨半導(dǎo)體技術(shù)成熟以及各國學(xué)者對(duì)視覺處理的認(rèn)識(shí)加深，已形成了多個(gè)視覺芯片的研究分支。 可以看到的是，視覺芯片具有傳統(tǒng)視覺處理系統(tǒng)所不具備的諸多優(yōu)勢，如果我們能夠?qū)⑦@些優(yōu)勢逐一發(fā)揮，那么視覺芯片必將在我國的國防安全、國 民生產(chǎn)、人民生活的方方面面發(fā)揮重要作用。 低成本 ：視覺芯片具有低成本的特點(diǎn)，與傳統(tǒng)視覺處理系統(tǒng)相比，幾乎所有的系統(tǒng)部件都集成在單一硅片上，所以視覺芯片的成本要低得多。 緊湊小型系統(tǒng) ：視覺芯片高