視覺芯片材料可行性論證(存儲版)
【正文】 征提取到特征識別的全過程，滿足 1000 fps 的系統(tǒng)級性能要求。 另一種更為主流的提升視覺芯片智能化程度的方法是將神經(jīng)網(wǎng)絡(luò)集成在視覺芯片內(nèi)。Google、雅虎、 Dropbox 和 Pinterest 也在開展相關(guān)收購，以提高公司在這方面的技術(shù)力量。 該架構(gòu)的不足之處在于低級處理器是由大量的僅能進行 1bit 計算的簡單處理器構(gòu)成，雖然計算并行度很高，適合對圖像進行快速的低級處理，但是由于每個單元的處理能力較差，無法實現(xiàn)的復(fù)雜的圖像處理算法的計算。 圖 項目擬采用的視覺芯片架構(gòu) 計算核心如圖 所示 ， 由一個主要處理器（ Main Processor, MP）和三個虛擬處理器（ Virtual Processor， VP）組成。 PPU 支持大部分 MIPS 指令。這種二維并行處理方式在完成 2D 圖像濾波、背景減除、FAST、 SIFT 特征點 ]、 LBP 算子等算法時體現(xiàn)出強大的性能。本架構(gòu)中 的 PEPPU 對應(yīng)關(guān)系就是為了提高視覺芯片局部特征描述能力而提出來的。在 本 架構(gòu)中，借助 PE 之間的數(shù)據(jù)移動能力，可以高 效的實現(xiàn)塊交疊處理。 靈活的圖像塊選取方式 ： 為解決圖像傳感器成像質(zhì)量差、像素和 PE 單元之間映射方式單一的問題，較為先進的視覺芯片都采用了像素 PE 分離陣列結(jié)構(gòu)。我們可以使用圖 中紅線所示 Z 字形掃描的方法，將圖像中的圖像塊均勻的分配到架構(gòu)中的 8 個 PPU 的存儲器中，因此只需要一次圖像讀出，整個像素陣列的數(shù)據(jù)都可以被處理，而不再局限于某一個區(qū)域或者某一大小。借助計算核心可 MIMD 工作的特點，架構(gòu)采用了如圖 所示的傳感器 處理器流水處理方式來掩蓋圖像傳感器曝光和讀出的時間。從表 可以看出，立即數(shù)的最大長達為 16 位。 表 視覺芯片指令集 4. 視覺芯片的關(guān)鍵模塊設(shè)計 Lane 的設(shè)計： 如圖 所示為 視覺 架構(gòu)中所采用的 Lane 設(shè)計電路圖。每個 Lane 的操作都必須經(jīng)過取指令、指令解碼、以及執(zhí)行三級流水來，其中取指、以及解碼兩級流水線在 PPU 中完成。如圖 所示， Cache 為一小塊能被處理器快速訪問的存儲器，其中存儲了處理器近期訪問的程序段以及該程序段附近的程序段。如果 Tag 值和地址高位（ 11 至 13 比特）相同并且 Valid 等于 1，那么該數(shù)據(jù)為有效數(shù)據(jù)，處理器將取走該數(shù)據(jù)。 四、 研究基礎(chǔ) 課題組 成功研制出 超高速 圖像處理視覺芯片 ，芯片版圖如圖 (a)所示，芯片封裝照片如圖 (b)所示。當(dāng)前采用對128 128 圖像進行統(tǒng)一編號 1~4000。我們 目前采用 4000張 128 128 圖像進行測試，提前將 BMP 圖像格式數(shù)據(jù)轉(zhuǎn)化為裸數(shù)據(jù)進行存儲，并對圖像進行編號。 圖 緩存設(shè)計 圖 緩存 器的狀態(tài)機設(shè)計 三、 項目的目標(biāo)和技術(shù)指標(biāo) 基于 FPGA 實現(xiàn)基于視覺芯片，針對 xx 圖像進行云判、檢測和目標(biāo)定位等處理，實現(xiàn)應(yīng)用演示。該 Cache 中每個 Block 包含 4 個字， Cache 大小為 512 字節(jié)，也就是 512/4=128 個 Block。程序的空間局部性是指某一段程序在某一時刻被執(zhí)行之后，其附近的程序段有很高的幾率在后續(xù)的執(zhí)行中被訪問。 Lane 的 16 比特 ALU 具有完善的邏輯功能，可以完成邏輯左移，邏輯右移，加減以及一些特殊運算，可以在每 個時鐘周期該完成一次計算。立即數(shù)類型指令與此類似，其中立即數(shù)長度為 16 比特。寄存器類型的指令是指 MIPS 處理器進行運算的時候，兩個操作數(shù)都來自于寄存器組中， R類型的指令在三種指令類型中最為復(fù)雜。 使用 MIMD 還可以實現(xiàn)傳感器和處理器之間的流水工作。如圖 （ b）和（ c）所示，使用不同的采樣間隔并選取不同的圖像塊，可以獲得不同的圖像塊以滿足視覺 處理的要求。 AdaBoost 和 SOM 神經(jīng)網(wǎng)絡(luò)可以在不同的場景中使用。在塊并行的處理模式下，所有的圖像塊被同時處理，算法只需要被執(zhí)行一次就結(jié)束了對整個圖像的處理，而該過程實現(xiàn)了于并行處理圖像塊數(shù)目相同的加速比。在像素級并行處理和塊并行處理之間存在如圖 ：塊處理是在像素級并行處理的結(jié)果之上進行的，所處理的圖像為局部圖像塊， 有利于計算圖像的局部特征。 PE， Lane 和 PPU 之間共享存儲空間，MPU 主要用于系統(tǒng)管理。由于 PPU 具有獨立的寄存器組，因此雖然它們執(zhí)行的指令一樣， 但是所操作的數(shù)據(jù)卻完全不同。 4 個計算核心為 HERO 架構(gòu)提供了主要的計算性能并且可以實現(xiàn)多指令多數(shù)據(jù)（ Multiple Instruction Multiple Data，MIMD）工作?；谝曈X芯片計算架構(gòu)巧妙地借鑒了人類視覺系統(tǒng)的仿生架構(gòu)，在計算效率上更勝一籌，是未來實現(xiàn)小型化 CNN 處理專用芯片以及平臺的可選結(jié)構(gòu)之一，集成 CNN 的視覺芯片是未來的重要發(fā)展方向。國內(nèi)外許多公司和研究機構(gòu)對 CNN 的關(guān)注度與日俱增：著名的 Twitter 公司收購了一家基于深度學(xué)習(xí)的機器視覺公司 Madbits。 事件驅(qū)動視覺芯片可以自動感知圖像內(nèi)的變化部分，并且只對變化的動態(tài)部分進行處理，這種處理方式與生物的視覺 系統(tǒng)更為類似。 自身研究水平 中國科學(xué)院半導(dǎo)體研究所長期開展視覺芯片的研究， 課題組在該領(lǐng)域 的學(xué)術(shù)積累 長達十年。然而，這類芯片只能對動態(tài)場景進行處理，無法感知靜態(tài)圖像，因此仍然只能應(yīng)用于某些特殊場合。為此進入 21 世紀之后，很多學(xué)者設(shè)計了具有某些特殊功能的視覺芯片，比如用于運動檢測、目標(biāo)跟蹤、目標(biāo)判別等應(yīng)用的專用（ Application Specific）視覺芯片。 可以看到的是，視覺芯片具有傳統(tǒng)視覺處理系統(tǒng)所不具備的諸多優(yōu)勢，如果我們能夠?qū)⑦@些優(yōu)勢逐一發(fā)揮，那么視覺芯片必將在我國的國防安全、國 民生產(chǎn)、人民生活的方方面面發(fā)揮重要作用。傳統(tǒng)的視覺處理系統(tǒng)采用分離的圖像采集部件（ CMOS 或者 CCD 圖像傳感器）和圖像處理部件（ PC、 DSP、 MCU），其處理速度受限于圖像采集和處理部件之間數(shù)據(jù)傳輸?shù)乃俣纫约安⑿刑幚聿考乃俣?。除了模仿眼球晶狀體的聚焦透鏡之外，其余所有的視覺功能都可以集成在一塊單芯片上實現(xiàn)。經(jīng)過數(shù)百萬年的自然進化，目前的人類擁有發(fā)達的視覺系統(tǒng)，具有快速、靈活、高效的視覺圖像處理能力。視
高考資料相關(guān)推薦
鄂ICP備17016276號-1