【正文】 而獲取眼球運(yùn)動(dòng)信息的設(shè)備除了紅外設(shè)備之外，還可以是圖像采集設(shè)備，甚至一般電腦或手機(jī)上的攝像頭，其在軟件的支持下也可以實(shí)現(xiàn)眼球跟蹤。眼球追蹤是一項(xiàng)科學(xué)應(yīng)用技術(shù)，用戶無(wú)需觸摸屏幕即可翻動(dòng)頁(yè)面。OLED顯示器技術(shù)的出現(xiàn)，給圖像的顏色設(shè)計(jì)引入了節(jié)能導(dǎo)向，而超大屏幕可視化的因其功率管理的復(fù)雜性，使節(jié)能顯示的研究具有更大的挑戰(zhàn)。有數(shù)據(jù)顯示，液晶拼接如今幾乎已經(jīng)占據(jù)整個(gè)大屏幕拼接市場(chǎng)的半壁江山，液晶拼接產(chǎn)品更是受到了各個(gè)行業(yè)的青睞和認(rèn)可。另一方面，考慮到大屏幕的普及，我們也將繼續(xù)對(duì)本文方法的可擴(kuò)展性進(jìn)行實(shí)驗(yàn)論證，通過(guò)算法的改進(jìn)和優(yōu)化，進(jìn)一步提高大分辨率圖像的處理性能。 未來(lái)工作展望基于目前國(guó)內(nèi)外相關(guān)研究的發(fā)展現(xiàn)狀與我們的工作進(jìn)度，未來(lái)我們計(jì)劃將本文方法擴(kuò)展應(yīng)用到視頻中。本文在第3章實(shí)現(xiàn)了一個(gè)簡(jiǎn)單的圖像處理原型軟件，便于在算法實(shí)現(xiàn)驗(yàn)證過(guò)程中對(duì)參數(shù)的調(diào)節(jié)進(jìn)行實(shí)時(shí)的結(jié)果預(yù)覽和比較。在顯示器的節(jié)能手段中，亮度降低一直是最直接有效的方法之一，然而會(huì)帶來(lái)顯示內(nèi)容的特征的弱化甚至丟失，因此我們提出了基于圖像特征重要性的自適應(yīng)亮度優(yōu)化方法。在未來(lái)工作中，我們希望找到一種更加健壯的重要特征檢測(cè)算法。由于我們的方法引入雙邊濾波和邊界檢測(cè)算子計(jì)算了基于邊特征的重要性場(chǎng)，因此存在固有的限制。我們的方法在圖像上得到驗(yàn)證，同時(shí)本方法可以很好地?cái)U(kuò)展到時(shí)序數(shù)據(jù)，比如在游戲場(chǎng)景中的應(yīng)用?；谔卣髦匾詧?chǎng)的自適應(yīng)亮度降低方法（即本文方法）由于增強(qiáng)了邊界區(qū)域的對(duì)比度，因此獲得了較好的用戶評(píng)價(jià)。不過(guò)仍有5位測(cè)試對(duì)象認(rèn)為處理方法會(huì)降低原始圖像的精確性。在考慮電池續(xù)航時(shí)間的前提下，他們認(rèn)為處理方法C對(duì)于地圖信息的處理結(jié)果比較認(rèn)可，畢竟當(dāng)前手機(jī)等移動(dòng)設(shè)備通常會(huì)被用于地圖查詢、路線導(dǎo)航等“兼職”。 討論分析基于測(cè)試對(duì)象的在任務(wù)時(shí)的評(píng)價(jià)反饋，我們發(fā)現(xiàn)用戶還是希望在圖像亮度降低的時(shí)候，能夠增強(qiáng)重要的邊界信息和結(jié)構(gòu)信息的表現(xiàn)。大部分測(cè)試對(duì)象都選擇了處理C最優(yōu)。圖8展示了測(cè)試對(duì)象對(duì)于可視搜索任務(wù)的平均完成時(shí)間和標(biāo)準(zhǔn)，可以看到第一次測(cè)試的完成時(shí)間均要多余第二次測(cè)試的完成時(shí)間，而方法C的測(cè)試完成時(shí)間顯著比其他方法更少。在第一次測(cè)試中，方法A沒(méi)有錯(cuò)誤，%（1位錯(cuò)誤/共8位測(cè)試對(duì)象），而方法B的錯(cuò)誤率為25% （2位錯(cuò)誤/共8位測(cè)試對(duì)象）。 實(shí)驗(yàn)結(jié)果在用戶研究后，我們統(tǒng)計(jì)了測(cè)試對(duì)象在執(zhí)行可視搜索任務(wù)時(shí)的錯(cuò)誤率。在評(píng)價(jià)打分任務(wù)中，我們使用二維地圖信息的結(jié)果，所有的結(jié)果同樣被三種處理方法（即不處理、均勻亮度降低方法和我們的方法）進(jìn)行處理。該任務(wù)使用主體間測(cè)試方法進(jìn)行，即所有測(cè)試對(duì)象將被分成3 組，且每個(gè)測(cè)試對(duì)象僅對(duì)同一個(gè)結(jié)果進(jìn)行兩次測(cè)試（記作R1和R2）。在可視搜索任務(wù)中，測(cè)試對(duì)象被要求從“街道地圖”中找出一些特定的模式。在告知用戶這三種圖像在OLED顯示器顯示時(shí)需要的平均功率的前提下，我們要求用戶對(duì)這三個(gè)圖像進(jìn)行比較和主觀評(píng)價(jià)。我們使用一般圖像和地圖應(yīng)用的圖像作為實(shí)驗(yàn)數(shù)據(jù)。所有參與者都沒(méi)有色盲或色弱癥狀，且與我們的研究工作無(wú)關(guān)。 實(shí)驗(yàn)設(shè)計(jì)在用戶研究中，我們邀請(qǐng)了24位測(cè)試對(duì)象對(duì)我們的方法生成的圖像結(jié)果進(jìn)行比較與評(píng)價(jià)。要實(shí)現(xiàn)以人為本的設(shè)計(jì)，必須把相關(guān)工作與技術(shù)與用戶的關(guān)系作為一個(gè)重要研究?jī)?nèi)容，先設(shè)計(jì)技術(shù)與用戶的關(guān)系，設(shè)計(jì)人機(jī)界面，按照要求再設(shè)計(jì)功能，同時(shí)二者要協(xié)調(diào)配合。對(duì)用戶來(lái)說(shuō)，用戶研究使得產(chǎn)品更加貼近他們的真實(shí)需求。用戶研究的價(jià)值在于，他不僅對(duì)方法評(píng)估有幫助，而且讓技術(shù)的使用者受益，是對(duì)兩者互利的。表格 1處理不同分辨率圖像時(shí)的性能統(tǒng)計(jì)（時(shí)間單位：毫秒）圖像分辨率256 256512 5121024 10242048 2048運(yùn)行時(shí)間 用戶研究用戶研究是一種理解用戶，將他們的目標(biāo)、需求與相關(guān)技術(shù)方法相匹配的理想方法。為了完整統(tǒng)計(jì)算法的運(yùn)行性能，我們采用了不同分辨率進(jìn)行算法運(yùn)行平均時(shí)間的統(tǒng)計(jì)。在實(shí)驗(yàn)測(cè)試中，我們使用1024 1024分辨率的輸入圖像時(shí)，算法的運(yùn)行時(shí)間大約都能在5毫秒以內(nèi)，也就是說(shuō)處理幀率能夠達(dá)到200fps。 性能統(tǒng)計(jì)一般而言，基于圖像像素的處理都可以并行執(zhí)行。圖 44(e)和(f)展示了特征重要性場(chǎng)構(gòu)建過(guò)程中，參數(shù)θ對(duì)結(jié)果的影響。圖 44 (c)和(d)展示了特征重要性場(chǎng)構(gòu)建過(guò)程中，參數(shù)λ對(duì)結(jié)果的影響。圖 44(a)和(b)展示了在距離場(chǎng)圖像變換過(guò)程中參數(shù)W對(duì)結(jié)果的影響。注意到在圖中，由于特征重要性場(chǎng)導(dǎo)致的光暈效果使得玩家更容易理解場(chǎng)景中景物的深度關(guān)系，如城墻邊緣等處，同時(shí)也降低了顯示器的功率消耗。由于游戲場(chǎng)景中使用了大量的紋理貼圖，會(huì)被檢測(cè)出大量的邊界，而深度緩存圖像本身具有的噪點(diǎn)也較少，因此在這個(gè)例子中，我們直接利用游戲場(chǎng)景的深度圖像作為輸入，跳過(guò)雙邊濾波，通過(guò)第2章的方法計(jì)算獲得場(chǎng)景的特征重要性場(chǎng)。(a) 一般圖像輸入（）(b) 均勻亮度降低方法的結(jié)果（）(c) 我們的結(jié)果（）圖 41 方法應(yīng)用到普通圖像的結(jié)果對(duì)比(a)輸入的地圖圖像（）(b)均勻降低亮度方法的結(jié)果（）(c)使用我們的方法降低亮度后的結(jié)果（）圖 42 方法應(yīng)用到地圖圖像的結(jié)果對(duì)比我們的方法也同樣適用于游戲場(chǎng)景，特別地在手機(jī)等移動(dòng)設(shè)備上，長(zhǎng)時(shí)間的游戲非常容易降低電池的使用時(shí)間。從圖 42中可以看到，應(yīng)用均勻亮度降低方法降低了地圖中物體之間的可辨認(rèn)性，因此限制了地圖的可用性。谷歌地圖API是一系列使用面向?qū)ο蠓绞浇M織的JavaScript類和靜態(tài)方法（我有時(shí)候也統(tǒng)稱為地圖API類庫(kù)），通過(guò)創(chuàng)建這些類的實(shí)例（對(duì)象）或調(diào)用 API 中提供的靜態(tài)方法，可以在頁(yè)面上創(chuàng)建和控制地圖，也可以在地圖上展示任何非谷歌提供的數(shù)據(jù)/信息。圖 42展示了將我們的自適應(yīng)亮度降低方法應(yīng)用于典型的地理信息圖像的例子。圖 41顯示了一個(gè)將我們的方法直接應(yīng)用于一般圖像的例子。但是對(duì)于OLED顯示器而言，由于我們的特征增強(qiáng)主要通過(guò)特征像素的不均勻亮度降低得到的，在一定程度上可以提升在OLED顯示器顯示時(shí)的節(jié)能效率。我們的方法通過(guò)對(duì)圖像根據(jù)其像素的特征重要性進(jìn)行亮度的優(yōu)化處理，因此可以使圖像在亮度降低以節(jié)約電能消耗的同時(shí)，盡可能多地表現(xiàn)圖像的重要特征信息（如邊界）。我們?cè)谝慌_(tái)配置為Intel Core （4GB內(nèi)存）和NVIDIA GeForce GTX 580 （ 顯存）的機(jī)器上完成了本章中的所有實(shí)驗(yàn)測(cè)試。此外，該原型軟件通過(guò)合理的需求分析，設(shè)計(jì)了具有針對(duì)性的交互操作，方便用戶對(duì)各種圖像處理結(jié)果進(jìn)行分析和比較。本章主要描述了一個(gè)圖像處理原型軟件，在實(shí)現(xiàn)圖像的基本操作的同時(shí)，集成了本文第2章提出的基于節(jié)能的圖像自適應(yīng)亮度優(yōu)化算法。然后通過(guò)Sobel邊界檢測(cè)算子從圖像中獲取顯著邊界作為圖像主要特征，隨后構(gòu)造特征重要性場(chǎng)，用于指導(dǎo)圖像的特征增強(qiáng)，并實(shí)現(xiàn)自適應(yīng)亮度優(yōu)化以補(bǔ)償圖像亮度降低引起的特征弱化。在顯示器的節(jié)能方法中，亮度降低是最直接有效的方法之一，然而會(huì)帶來(lái)顯示內(nèi)容感知特征的弱化甚至丟失，降低用戶的感知體驗(yàn)。降低圖像亮度后，圖像的亮度動(dòng)態(tài)范圍也被降低，從而造成特征細(xì)節(jié)的減弱或丟失。越來(lái)越多的移動(dòng)設(shè)備的普及，對(duì)節(jié)能顯示技術(shù)提出了更多的要求。圖 315展示了對(duì)圖像進(jìn)行自適應(yīng)亮度優(yōu)化以實(shí)現(xiàn)節(jié)能的操作界面。因此在實(shí)現(xiàn)上，也分為三個(gè)操作，分別對(duì)應(yīng)交互界面（圖 312）中的3個(gè)命令按鈕，其中每個(gè)命令都需要讀取用戶給定的一組參數(shù)。hsbluminance = ((l1)? 1 : ((l0)?0:l))*100圖 314展示了采用本原型軟件系統(tǒng)對(duì)圖像進(jìn)行亮度和對(duì)比度調(diào)節(jié)的結(jié)果。 //(maxValminVal 0)?hsbhue = (h360)? 360 : ((h0)?0:h)。else if(l0)s = (maxValminVal)/(maxVal+minVal)。// Brightnessl = (maxVal+minVal)/。else if(maxVal==g) h = *(br)/(maxValminVal) + 。amp。 g=b) h = *(gb)/(maxValminVal)。 else if(maxVal==r amp。 //獲取r、g、b三者的最大值float minVal = min3v(r, g, b)。float b = rgbblue/。RGB模式轉(zhuǎn)化HSB模式的實(shí)現(xiàn)代碼如下：float r = rgbred/。這里主要實(shí)現(xiàn)了傳統(tǒng)的圖像亮度和對(duì)比度調(diào)節(jié)方法。int b = qBlue(pixel)。int r = qRed(pixel)。 j height。 i width。int height = imageheight()。在軟件實(shí)現(xiàn)中，我們遍歷圖像的每個(gè)像素，采用Qt工具包中的QRgb類來(lái)獲取圖像每個(gè)像素的紅、綠、藍(lán)三個(gè)顏色通道的值。 圖像通道操作則可以方便用戶通過(guò)選擇單一的顏色通道對(duì)圖像內(nèi)容進(jìn)行檢視。 //創(chuàng)建一個(gè)QImage對(duì)象以載入圖像imageload(“ImageFileName”)。通過(guò)QImage類對(duì)圖像進(jìn)行載入之后，需要使用QPixmap類對(duì)QImage對(duì)象中保存的圖像數(shù)據(jù)進(jìn)行顯示。QImage提供的圖像的載入與保存函數(shù)使用方便，并且支持大多數(shù)主流的圖像存儲(chǔ)格式（如BMP，JPG，PNG，GIF等）。圖 312 圖像處理原型軟件的“自適應(yīng)亮度優(yōu)化”選項(xiàng)卡中的參數(shù)與命令 基本處理功能的實(shí)現(xiàn)圖像載入與保存是圖像處理的基礎(chǔ)操作?！巴ǖ馈边x項(xiàng)卡提供用戶選擇查看彩色圖像的紅、綠、藍(lán)等單一顏色通道的功能，也是圖像處理中的基本操作之一。其中“文件操作”選項(xiàng)卡包含圖像文件的打開和保持兩個(gè)基本操作。本文目前實(shí)現(xiàn)的原型軟件窗口尺寸是固定的，為了方便用戶對(duì)大尺寸圖像進(jìn)行瀏覽和處理，在結(jié)果顯示區(qū)域的“原始圖像”區(qū)域和“結(jié)果圖像”區(qū)域兩部分子窗口中，用戶可以通過(guò)鼠標(biāo)對(duì)圖像進(jìn)行縮放與平移操作，并且用戶對(duì)一個(gè)子窗口圖像的交互操作都可以實(shí)時(shí)地反映到另一個(gè)子窗口的圖像中，以方便用戶對(duì)結(jié)果的對(duì)比分析。為了方便用戶對(duì)圖像處理的結(jié)果進(jìn)行預(yù)覽和比較，主界面的結(jié)果顯示區(qū)域分為“原始圖像”區(qū)域和“結(jié)果圖像”區(qū)域兩部分，分別顯示用戶載入的原始圖像和當(dāng)前處理所得到的結(jié)果圖像。原型系統(tǒng)圖像載入與保存圖像通道選擇亮度對(duì)比度調(diào)節(jié)自適應(yīng)亮度優(yōu)化能耗評(píng)估圖 310原型軟件的功能模塊圖 主界面和交互設(shè)計(jì)本章描述的圖像處理原型軟件的主界面如圖 311所示。針對(duì)本論文的研究問(wèn)題，本文需要實(shí)現(xiàn)的圖像處理原型軟件的主要需求如下：l 基本的圖像載入與保存功能；l 圖像的對(duì)比度、亮度等基本參數(shù)調(diào)節(jié)功能；l 基于本論文研究算法的參數(shù)調(diào)節(jié)與命令控制功能；l 原始圖像與結(jié)果圖像實(shí)時(shí)對(duì)比功能；l 能耗評(píng)估，用于計(jì)算給定圖像的所需的顯示功耗。圖 39展示了方法應(yīng)用于圖 37中實(shí)例圖像得到的節(jié)能顯示結(jié)果。本文所述方案被用于基于節(jié)能的圖像自適應(yīng)顏色亮度優(yōu)化時(shí)，主要通過(guò)提高邊界及其鄰域等特征區(qū)域的對(duì)比度的方式，確保圖像亮度降低時(shí)圖像特征的保持。用戶在進(jìn)行參數(shù)調(diào)整的時(shí)候首先調(diào)整全局亮度參數(shù)，然后調(diào)整特征區(qū)域的局部亮度參數(shù)。但是，當(dāng)圖像亮度被降低后，它們反而可能會(huì)導(dǎo)致其他特征細(xì)節(jié)被弱化，這個(gè)時(shí)候用戶可以通過(guò)調(diào)節(jié)參數(shù)b的值以獲得較滿意的結(jié)果。同時(shí)，將原始圖像與經(jīng)過(guò)迭代雙邊濾波得到的圖像結(jié)果進(jìn)行融合后作為輸入圖像，一定程度上也能夠降低輸出圖像的非特征的細(xì)節(jié)或噪聲干擾。根據(jù)前面對(duì)圖像的處理，我們已經(jīng)得到了圖像的特征重要性場(chǎng)的圖像，因此結(jié)合該數(shù)據(jù)可以指導(dǎo)一個(gè)自適應(yīng)的圖像亮度優(yōu)化。首先對(duì)輸入圖像進(jìn)行雙邊濾波后，執(zhí)行邊緣檢測(cè)，然后采用PBA生成距離場(chǎng)，進(jìn)而構(gòu)建出輸入圖像的特征重要性描述場(chǎng)。因此，M(p)定義了一個(gè)有向的特征場(chǎng)，可以描述邊界兩側(cè)不同的特征表現(xiàn)能力，所用示例圖像的結(jié)果如圖 36所示。因此，我們將特征重要性場(chǎng)M定義如下，其中sign為求符號(hào)函數(shù)，p’=Dxy(p)，是距離像素p的最近的邊界像素。例如，由于像素明暗變化形成的一條邊界，在邊界一側(cè)為明亮區(qū)域而另一側(cè)為暗區(qū)域，那么將明亮區(qū)域定性為正值而暗區(qū)域定性為負(fù)值，則可以在后續(xù)的圖像處理操作中方便的進(jìn)行亮度優(yōu)化。然而用戶在圖像理解過(guò)程中，對(duì)于處于邊界特征兩側(cè)的圖像內(nèi)容會(huì)區(qū)別對(duì)待，本文采用特征重要性場(chǎng)描述這一行為。特征場(chǎng)相比于邊界場(chǎng)的優(yōu)勢(shì)在于，它提供了每個(gè)像素所具有的特征重要性的連續(xù)數(shù)值表達(dá)，因此比較適合用于后期的圖像優(yōu)化處理。上述公式的求導(dǎo)在Dd(p)=W連續(xù)，保證了特征區(qū)域向非特征區(qū)域過(guò)渡的連續(xù)性。在邊界像素及其W寬度之內(nèi)的區(qū)域，稱為特征區(qū)域。其中示例圖像的邊界距離場(chǎng)圖像如圖 34所示，亮度越低表示離邊界像素距離越近。其中PBA算法是一種精確計(jì)算圖像距離場(chǎng)的算法，其算法復(fù)雜度僅與圖像尺寸有關(guān)，而與邊界像素的數(shù)量無(wú)關(guān)。因此，我們通過(guò)邊界距離場(chǎng)的某種變換描述并構(gòu)造圖像的特征場(chǎng)。雖然梯度模描述了圖像中一個(gè)像素相對(duì)于周圍像素的亮度變化，但是直接用梯度模構(gòu)造特征場(chǎng)仍然會(huì)受到圖像噪聲的影響。首先，我們采用Sobel邊界檢測(cè)算子[14]對(duì)雙邊濾波處理后的圖像I’進(jìn)行處理，獲得圖像的邊界場(chǎng)圖像，記作E=Sobel(I’)。經(jīng)過(guò)雙邊濾波處理后的圖像很好地保留了圖像的邊界和區(qū)域信息，并且抑制了原有圖像的非特征細(xì)節(jié)和噪聲，是對(duì)圖像的一種保特征抽象。在本文方案中，我們?nèi)匀徽J(rèn)為邊界信息屬于重要的特征信息，且邊界鄰域像素則提供了同樣有意義的上下文信息。然而，傳統(tǒng)的邊界檢測(cè)算法一般只能返回二值的結(jié)果，即指示當(dāng)前的像素是否屬于邊界。運(yùn)用雙邊濾波之后，圖像會(huì)呈現(xiàn)出一種保留重要結(jié)構(gòu)信息的繪畫卡通的風(fēng)格，如圖 32所示。對(duì)于給定的灰度圖像I，雙邊濾波定義為：其中，其中W(p)是歸一化因子，N(p)表示像素p的鄰域像素的集合，σs和σc分別表示空域?yàn)V波半徑和值域?yàn)V波半徑，Gσ是高斯核函數(shù)。雙邊濾波[13]是一種非線性的圖像濾波算法。特征抽象是一個(gè)典型的圖像處理算法，通過(guò)抑制圖像中的非特征區(qū)域而保留特征細(xì)節(jié)的方式，使得圖像特征能更加方便的被捕捉?；诹愦┰降姆椒ㄍㄟ^(guò)尋找圖像二階導(dǎo)數(shù)零穿越來(lái)尋找邊界，通常是Laplacian過(guò)零點(diǎn)或者非線性差分表示的過(guò)零點(diǎn)。有許多方法用于邊界檢測(cè)，它