視覺(jué)芯片材料可行性論證-免費(fèi)閱讀
【正文】 采用 1 word 數(shù)據(jù)對(duì)圖像進(jìn)行編號(hào)，高 16bit 可對(duì)完整大圖進(jìn)行編號(hào)，低 16 位可對(duì)完整大圖分割出來(lái)的 128 128 圖像進(jìn)行編號(hào)。具體的技術(shù)指標(biāo)為 : 讀入圖像數(shù)據(jù)率： ； 圖像處理性能： 25GOPS； 系統(tǒng)時(shí)鐘頻率： 50MHz。在接收到處理器發(fā)送過(guò)來(lái)的地址數(shù)據(jù)后，首先通過(guò) Index（地址第 4 至 10 比特）選擇 128 個(gè) Block 中的一個(gè) Block，并且取得該 Block 對(duì)應(yīng)的 Tag 值和 Valid 值。程序的時(shí)間局部性是指一段程序在某一時(shí)刻被執(zhí)行之后，往往在短暫時(shí)間之后將有極大的可能會(huì)被再執(zhí)行一次。寄存器組每個(gè)周期根據(jù)指令中 Rs 以及 Rt 的值，可以相應(yīng)的讀出兩個(gè)數(shù)據(jù) RsData 和 RtData，同時(shí)每個(gè)周期可以從 PPU 廣播值、存儲(chǔ)器以及 ALU 輸出中選擇一個(gè)值寫入寄存器。 我們的視覺(jué)芯片 作為 SoC 系統(tǒng)，其程序存儲(chǔ)器的空間不會(huì)非常大，所以指令集中沒(méi)有設(shè)計(jì)長(zhǎng)跳轉(zhuǎn)指令，所有的程序跳轉(zhuǎn)都通過(guò)可以使用分支跳轉(zhuǎn)語(yǔ)句來(lái)實(shí)現(xiàn)。如表 所示， R 類型的指令將 32 比特的指令分割為多個(gè)指令字段（ Field），其中每個(gè)指令字段所代表的含義如下： ? op：指令執(zhí)行的基本操作，也被稱為 opcode，指令操作碼； ? rs：第一寄存器源操 作數(shù)； ? rt：第二寄存器源操作數(shù)； ? rd：目的寄存器； ? shamt：指令進(jìn)行邏輯算術(shù)移位時(shí)的位移量； ? funct：指令執(zhí)行進(jìn)行的運(yùn)算，功能碼； 立即數(shù)類型的指令是指 MIPS 處理器處理的兩個(gè)操作數(shù)中一個(gè)來(lái)自于寄存器組，而另一個(gè)則為立即數(shù)。一般而言，圖像傳感器曝光和讀出會(huì)消耗數(shù)毫秒的時(shí)間，即使對(duì)于 1000 幀每秒的高速圖像傳感器而言，讀出過(guò)程也需要 1 ms，然而很多視覺(jué)芯片的應(yīng)用算法運(yùn)行時(shí)間小于 1ms，如果必須等待圖像傳感器曝光和讀出完成之后才能開(kāi)始處理，那么視覺(jué)芯片的系統(tǒng)性能將大大降低。每個(gè) PPU 的存儲(chǔ)器中存儲(chǔ)的圖像塊數(shù)目和圖像塊大小主每個(gè)處理核處理 2 個(gè)圖像塊 要受 限于局部存儲(chǔ)器的的大小。如果需要進(jìn)行準(zhǔn)確的正負(fù)類別分類，架構(gòu)可以使用 AdaBoost 分類器，而 SOM 神經(jīng)網(wǎng)絡(luò)則可以用來(lái)進(jìn)行多類別分類和在線更新。進(jìn)一步的，在檢測(cè)和識(shí)別任務(wù)中，相鄰圖像塊之間往往要求有一定的交疊以保證任何位置的特征都能被檢測(cè)到，如圖 （ b）中所示，倆相鄰的塊之間存在 dx 像素的交疊。 局部特征在計(jì)算機(jī)視覺(jué)中扮演著重要角色，局部特征主要是指圖像局部某種統(tǒng)計(jì)特征，一般是在圖像局部塊中通過(guò)提 取直方圖等操作來(lái)完成。與先前報(bào)道的視覺(jué)芯片類似， 項(xiàng)目提出的結(jié)構(gòu) 可以完成完成像素級(jí)并行處理。 圖 視覺(jué)芯片的計(jì)算核心 圖 為視覺(jué)芯片的 中主處理器示意圖，其中 PPU 采用了五級(jí)流水的 MIPS 處理器架構(gòu)，包含取值（ Instruction Fetch， IF）、指令解碼（ Instruction Decode，ID）、執(zhí)行（ Execution， EXE）、存儲(chǔ)器周期（ Memory， Mem） 以及寫回（ Write Back， WB）五個(gè)流水級(jí)。根據(jù) MPU 的控制指令，四個(gè)計(jì)算核心之間可以進(jìn)行相同或者完全不同的操作。 二、 技術(shù)方案 視覺(jué)芯片的架構(gòu) 傳統(tǒng)的視覺(jué)芯片架構(gòu)如圖 所示， 該架構(gòu)主要包括以下三個(gè)部分： 1）高速圖像傳感器 接口 以及控制器組成，用于高速采集數(shù)字圖像并輸出到后續(xù)處理器；2）多級(jí)并行馮諾依曼處理器：主要包括像素級(jí)并行的 N N PE 陣列處理器， N個(gè)行并行的 RP 陣列處理器，以及線程級(jí)并行的雙核 MPU 處理器，分別用于完成低級(jí)、中級(jí)和高級(jí)圖像處理； 3）非馮諾依曼 SOM 神經(jīng)網(wǎng)絡(luò)：該神經(jīng)網(wǎng)絡(luò)含有N1 N2 個(gè) SOM 神經(jīng)元，是模仿人類大腦識(shí)別功能的一個(gè)簡(jiǎn)化模型，用于以矢量級(jí)并行方式加速高級(jí)圖像處理中最復(fù)雜、最常見(jiàn)的特征識(shí)別任務(wù)。希望借用其研究成果對(duì)每天成百上千萬(wàn)張發(fā)布到平臺(tái)上的照片圖像數(shù)據(jù)進(jìn)行識(shí)別，以提供更強(qiáng)大的標(biāo)簽和相關(guān)的圖片搜索功能。但是不足之處在于， 這類芯片只能對(duì)動(dòng)態(tài)場(chǎng)景進(jìn)行處理，無(wú)法感知靜態(tài)圖像， 也無(wú)法對(duì)緩慢變化的場(chǎng)景進(jìn)行處理， 因此仍然只能應(yīng)用于某些特殊場(chǎng)合。 2021 年半導(dǎo)體所 提出了基于馮諾依曼多級(jí)并行處理器和非馮諾依曼自組織映射（ SelfOrganizing Map, SOM）神經(jīng)網(wǎng)絡(luò)混合處理的新型視覺(jué)芯片體系架構(gòu)。 可編程視覺(jué)芯片是為了解決專用功能芯片所存在的問(wèn)題而發(fā)展 而來(lái)的。在該方向研究工作較為突出的為東京大學(xué)、意大利 FBK（ Fondazione Bruno Kessler）、新加坡國(guó)立大學(xué)以及中科院半導(dǎo)體研究所等研究機(jī)構(gòu)與大學(xué)。 視覺(jué)芯片的 研究現(xiàn)狀 視覺(jué)芯片的概念最早于上個(gè)世紀(jì) 90 年代末提出，由于其結(jié)構(gòu)和功能新穎，在短時(shí)間內(nèi)即成為研究熱點(diǎn)，并伴隨出現(xiàn)了很多的研究小組，其中有的小組對(duì)其進(jìn)行了長(zhǎng)達(dá)數(shù)十年的研究。視覺(jué)芯片的數(shù)據(jù)傳輸以及處理皆采用并行方式，使處理速度大大提升，很多采用視覺(jué)芯片的系統(tǒng)都能使響應(yīng)速度達(dá)到 1000 幀 /秒以上。其中像素陣列模仿眼球視網(wǎng)膜的圖像采集功能，大規(guī)模并行處理陣列模仿視網(wǎng)膜的并行特征提取功能，圖像數(shù)據(jù)在像素陣列和大規(guī)模并行處理陣列之間的傳輸也是大規(guī)模并行的。如圖 左側(cè)所示，人類視覺(jué)系統(tǒng)主要包括眼球、大腦視覺(jué)中樞和一些信號(hào)傳輸神經(jīng)。外部場(chǎng)景及物體以光信號(hào)的形式，通過(guò)眼球前端的晶狀體，聚焦投影在眼球后部的視網(wǎng)膜上。高層次處理器則模仿人類大腦功能，實(shí) 現(xiàn)對(duì)特征的進(jìn)一步分析和識(shí)別，通常不具備明顯的并行處理能力。 低功耗 ：視覺(jué)芯片具有低功耗的特點(diǎn)，其采用大量并行電路并行進(jìn)行數(shù)字信號(hào)處理，與傳統(tǒng)串行處理方式相比，并行處理電路通過(guò)大量減少處理中所需的系統(tǒng)控制操作（循環(huán)、跳轉(zhuǎn)操作，甚至是操作系統(tǒng)）來(lái)減低功耗。伴隨半導(dǎo)體技術(shù)成熟以及各國(guó)學(xué)者對(duì)視覺(jué)處理的認(rèn)識(shí)加深，已形成了多個(gè)視覺(jué)芯片的研究分支。專用視覺(jué)芯片的優(yōu)點(diǎn)是能夠根據(jù)具體應(yīng)用優(yōu)化系統(tǒng)架構(gòu)和電路結(jié)構(gòu)，使芯片面積、功耗等做到最優(yōu)。它不再局限于某個(gè)固定的應(yīng)用，利用其可編程性，針對(duì)不同的視覺(jué)處理，我們可以設(shè)計(jì)并在視覺(jué)芯片上運(yùn)行不同的算法，這樣同樣一個(gè)視覺(jué)芯片就可以在不同的場(chǎng)合下使用。該架構(gòu)支持包括特征識(shí)別在內(nèi)的完整片上圖像系統(tǒng)功能，具備像素級(jí)、行 /列級(jí)、矢量級(jí)和線程級(jí)多級(jí)并行處理能力，可高速完成從圖像采集、圖像特
高考資料相關(guān)推薦
鄂ICP備17016276號(hào)-1