視覺(jué)芯片材料可行性論證(存儲(chǔ)版)
【正文】 征提取到特征識(shí)別的全過(guò)程，滿(mǎn)足 1000 fps 的系統(tǒng)級(jí)性能要求。 另一種更為主流的提升視覺(jué)芯片智能化程度的方法是將神經(jīng)網(wǎng)絡(luò)集成在視覺(jué)芯片內(nèi)。Google、雅虎、 Dropbox 和 Pinterest 也在開(kāi)展相關(guān)收購(gòu)，以提高公司在這方面的技術(shù)力量。 該架構(gòu)的不足之處在于低級(jí)處理器是由大量的僅能進(jìn)行 1bit 計(jì)算的簡(jiǎn)單處理器構(gòu)成，雖然計(jì)算并行度很高，適合對(duì)圖像進(jìn)行快速的低級(jí)處理，但是由于每個(gè)單元的處理能力較差，無(wú)法實(shí)現(xiàn)的復(fù)雜的圖像處理算法的計(jì)算。 圖 項(xiàng)目擬采用的視覺(jué)芯片架構(gòu) 計(jì)算核心如圖 所示 ， 由一個(gè)主要處理器（ Main Processor, MP）和三個(gè)虛擬處理器（ Virtual Processor， VP）組成。 PPU 支持大部分 MIPS 指令。這種二維并行處理方式在完成 2D 圖像濾波、背景減除、FAST、 SIFT 特征點(diǎn) ]、 LBP 算子等算法時(shí)體現(xiàn)出強(qiáng)大的性能。本架構(gòu)中 的 PEPPU 對(duì)應(yīng)關(guān)系就是為了提高視覺(jué)芯片局部特征描述能力而提出來(lái)的。在 本 架構(gòu)中，借助 PE 之間的數(shù)據(jù)移動(dòng)能力，可以高 效的實(shí)現(xiàn)塊交疊處理。 靈活的圖像塊選取方式 ： 為解決圖像傳感器成像質(zhì)量差、像素和 PE 單元之間映射方式單一的問(wèn)題，較為先進(jìn)的視覺(jué)芯片都采用了像素 PE 分離陣列結(jié)構(gòu)。我們可以使用圖 中紅線(xiàn)所示 Z 字形掃描的方法，將圖像中的圖像塊均勻的分配到架構(gòu)中的 8 個(gè) PPU 的存儲(chǔ)器中，因此只需要一次圖像讀出，整個(gè)像素陣列的數(shù)據(jù)都可以被處理，而不再局限于某一個(gè)區(qū)域或者某一大小。借助計(jì)算核心可 MIMD 工作的特點(diǎn)，架構(gòu)采用了如圖 所示的傳感器 處理器流水處理方式來(lái)掩蓋圖像傳感器曝光和讀出的時(shí)間。從表 可以看出，立即數(shù)的最大長(zhǎng)達(dá)為 16 位。 表 視覺(jué)芯片指令集 4. 視覺(jué)芯片的關(guān)鍵模塊設(shè)計(jì) Lane 的設(shè)計(jì)： 如圖 所示為 視覺(jué) 架構(gòu)中所采用的 Lane 設(shè)計(jì)電路圖。每個(gè) Lane 的操作都必須經(jīng)過(guò)取指令、指令解碼、以及執(zhí)行三級(jí)流水來(lái)，其中取指、以及解碼兩級(jí)流水線(xiàn)在 PPU 中完成。如圖 所示， Cache 為一小塊能被處理器快速訪問(wèn)的存儲(chǔ)器，其中存儲(chǔ)了處理器近期訪問(wèn)的程序段以及該程序段附近的程序段。如果 Tag 值和地址高位（ 11 至 13 比特）相同并且 Valid 等于 1，那么該數(shù)據(jù)為有效數(shù)據(jù)，處理器將取走該數(shù)據(jù)。 四、 研究基礎(chǔ) 課題組 成功研制出 超高速 圖像處理視覺(jué)芯片 ，芯片版圖如圖 (a)所示，芯片封裝照片如圖 (b)所示。當(dāng)前采用對(duì)128 128 圖像進(jìn)行統(tǒng)一編號(hào) 1~4000。我們 目前采用 4000張 128 128 圖像進(jìn)行測(cè)試，提前將 BMP 圖像格式數(shù)據(jù)轉(zhuǎn)化為裸數(shù)據(jù)進(jìn)行存儲(chǔ)，并對(duì)圖像進(jìn)行編號(hào)。 圖 緩存設(shè)計(jì) 圖 緩存 器的狀態(tài)機(jī)設(shè)計(jì) 三、 項(xiàng)目的目標(biāo)和技術(shù)指標(biāo) 基于 FPGA 實(shí)現(xiàn)基于視覺(jué)芯片，針對(duì) xx 圖像進(jìn)行云判、檢測(cè)和目標(biāo)定位等處理，實(shí)現(xiàn)應(yīng)用演示。該 Cache 中每個(gè) Block 包含 4 個(gè)字， Cache 大小為 512 字節(jié)，也就是 512/4=128 個(gè) Block。程序的空間局部性是指某一段程序在某一時(shí)刻被執(zhí)行之后，其附近的程序段有很高的幾率在后續(xù)的執(zhí)行中被訪問(wèn)。 Lane 的 16 比特 ALU 具有完善的邏輯功能，可以完成邏輯左移，邏輯右移，加減以及一些特殊運(yùn)算，可以在每 個(gè)時(shí)鐘周期該完成一次計(jì)算。立即數(shù)類(lèi)型指令與此類(lèi)似，其中立即數(shù)長(zhǎng)度為 16 比特。寄存器類(lèi)型的指令是指 MIPS 處理器進(jìn)行運(yùn)算的時(shí)候，兩個(gè)操作數(shù)都來(lái)自于寄存器組中， R類(lèi)型的指令在三種指令類(lèi)型中最為復(fù)雜。 使用 MIMD 還可以實(shí)現(xiàn)傳感器和處理器之間的流水工作。如圖 （ b）和（ c）所示，使用不同的采樣間隔并選取不同的圖像塊，可以獲得不同的圖像塊以滿(mǎn)足視覺(jué) 處理的要求。 AdaBoost 和 SOM 神經(jīng)網(wǎng)絡(luò)可以在不同的場(chǎng)景中使用。在塊并行的處理模式下，所有的圖像塊被同時(shí)處理，算法只需要被執(zhí)行一次就結(jié)束了對(duì)整個(gè)圖像的處理，而該過(guò)程實(shí)現(xiàn)了于并行處理圖像塊數(shù)目相同的加速比。在像素級(jí)并行處理和塊并行處理之間存在如圖 ：塊處理是在像素級(jí)并行處理的結(jié)果之上進(jìn)行的，所處理的圖像為局部圖像塊， 有利于計(jì)算圖像的局部特征。 PE， Lane 和 PPU 之間共享存儲(chǔ)空間，MPU 主要用于系統(tǒng)管理。由于 PPU 具有獨(dú)立的寄存器組，因此雖然它們執(zhí)行的指令一樣， 但是所操作的數(shù)據(jù)卻完全不同。 4 個(gè)計(jì)算核心為 HERO 架構(gòu)提供了主要的計(jì)算性能并且可以實(shí)現(xiàn)多指令多數(shù)據(jù)（ Multiple Instruction Multiple Data，MIMD）工作?；谝曈X(jué)芯片計(jì)算架構(gòu)巧妙地借鑒了人類(lèi)視覺(jué)系統(tǒng)的仿生架構(gòu)，在計(jì)算效率上更勝一籌，是未來(lái)實(shí)現(xiàn)小型化 CNN 處理專(zhuān)用芯片以及平臺(tái)的可選結(jié)構(gòu)之一，集成 CNN 的視覺(jué)芯片是未來(lái)的重要發(fā)展方向。國(guó)內(nèi)外許多公司和研究機(jī)構(gòu)對(duì) CNN 的關(guān)注度與日俱增：著名的 Twitter 公司收購(gòu)了一家基于深度學(xué)習(xí)的機(jī)器視覺(jué)公司 Madbits。 事件驅(qū)動(dòng)視覺(jué)芯片可以自動(dòng)感知圖像內(nèi)的變化部分，并且只對(duì)變化的動(dòng)態(tài)部分進(jìn)行處理，這種處理方式與生物的視覺(jué) 系統(tǒng)更為類(lèi)似。 自身研究水平 中國(guó)科學(xué)院半導(dǎo)體研究所長(zhǎng)期開(kāi)展視覺(jué)芯片的研究， 課題組在該領(lǐng)域 的學(xué)術(shù)積累 長(zhǎng)達(dá)十年。然而，這類(lèi)芯片只能對(duì)動(dòng)態(tài)場(chǎng)景進(jìn)行處理，無(wú)法感知靜態(tài)圖像，因此仍然只能應(yīng)用于某些特殊場(chǎng)合。為此進(jìn)入 21 世紀(jì)之后，很多學(xué)者設(shè)計(jì)了具有某些特殊功能的視覺(jué)芯片，比如用于運(yùn)動(dòng)檢測(cè)、目標(biāo)跟蹤、目標(biāo)判別等應(yīng)用的專(zhuān)用（ Application Specific）視覺(jué)芯片。 可以看到的是，視覺(jué)芯片具有傳統(tǒng)視覺(jué)處理系統(tǒng)所不具備的諸多優(yōu)勢(shì)，如果我們能夠?qū)⑦@些優(yōu)勢(shì)逐一發(fā)揮，那么視覺(jué)芯片必將在我國(guó)的國(guó)防安全、國(guó) 民生產(chǎn)、人民生活的方方面面發(fā)揮重要作用。傳統(tǒng)的視覺(jué)處理系統(tǒng)采用分離的圖像采集部件（ CMOS 或者 CCD 圖像傳感器）和圖像處理部件（ PC、 DSP、 MCU），其處理速度受限于圖像采集和處理部件之間數(shù)據(jù)傳輸?shù)乃俣纫约安⑿刑幚聿考乃俣?。除了模仿眼球晶狀體的聚焦透鏡之外，其余所有的視覺(jué)功能都可以集成在一塊單芯片上實(shí)現(xiàn)。經(jīng)過(guò)數(shù)百萬(wàn)年的自然進(jìn)化，目前的人類(lèi)擁有發(fā)達(dá)的視覺(jué)系統(tǒng)，具有快速、靈活、高效的視覺(jué)圖像處理能力。視
高考資料相關(guān)推薦
鄂ICP備17016276號(hào)-1