【正文】 從原理上看，眼球追蹤主要是研究眼球運(yùn)動(dòng)信息的獲取、建模和模擬，用途頗廣。越大的屏幕承載越多的數(shù)據(jù)信息，同時(shí)也意味著更多的能源消耗。視頻的處理并非圖像處理的簡(jiǎn)單疊加，需要解決視頻在幀間切換的一致性問(wèn)題，因此我們希望提出魯棒且有效的方法解決一致性問(wèn)題。在該工作中，我們應(yīng)用Sobel邊界檢測(cè)算子對(duì)降噪后的圖像進(jìn)行邊界場(chǎng)計(jì)算，并提出特征重要性場(chǎng)量化圖像像素的特征表現(xiàn)能力；在亮度優(yōu)化階段，該特征重要性場(chǎng)被用于指導(dǎo)圖像的特征增強(qiáng)以補(bǔ)償圖像亮度降低引起的特征弱化。比如邊界檢測(cè)算子得到的邊界是根據(jù)圖像像素的梯度模和檢測(cè)閾值確定的，因此缺少智能性，從而易導(dǎo)致一些具有較低全局對(duì)比度而較高局部對(duì)比度的重要特征被忽略，而某些包含較高對(duì)比度的背景則被作為顯著特征強(qiáng)調(diào)或突出。 本章小結(jié)我們將圖像的亮度降低的同時(shí)，通過(guò)雙邊濾波算法抑制一些分散用戶注意力的非特征細(xì)節(jié)，而保留圖像的主要特征，使得處理后的圖像結(jié)果在達(dá)到節(jié)能顯示的目標(biāo)的同時(shí)，比均勻亮度降低方法更容易被人接受。他們認(rèn)為增強(qiáng)邊界信息有助于他們?cè)诘貓D應(yīng)用中更快地區(qū)分街道和住宅區(qū)域，同時(shí)確保設(shè)備的續(xù)航時(shí)間。表明測(cè)試對(duì)象對(duì)處理方法的選擇存在明顯的傾向性。在第二次測(cè)試測(cè)試中，所有測(cè)試對(duì)象都正確完成了任務(wù)。在被告知后兩種處理方法（均勻亮度降低方法和我們的方法）獲得的節(jié)能效率的前提下，所有測(cè)試對(duì)象都要求綜合各種因素對(duì)這三種處理方法進(jìn)行優(yōu)選排序?！敖值赖貓D”被三種處理方法（即不處理、均勻亮度降低方法和我們的方法）進(jìn)行處理。在用戶研究實(shí)驗(yàn)中，我們對(duì)實(shí)驗(yàn)數(shù)據(jù)分別進(jìn)行均勻亮度降低處理和本文第2章描述的方法的處理，生成的結(jié)果圖像分別記為I1和I2，未做處理的原始圖像記作I0。參與對(duì)象的專(zhuān)業(yè)包括了計(jì)算機(jī)、數(shù)學(xué)和工業(yè)設(shè)計(jì)學(xué)。通過(guò)對(duì)用戶的理解，我們可以將用戶需要的功能設(shè)計(jì)得有用、易用并且強(qiáng)大，能解決實(shí)際問(wèn)題。用戶研究的首要目的是通過(guò)對(duì)用戶的任務(wù)操作特性、知覺(jué)特征、認(rèn)知心理特征的研究，使用戶的實(shí)際需求成為方法的導(dǎo)向，使相關(guān)方法更符合用戶的習(xí)慣、經(jīng)驗(yàn)和期待。算法的主要耗時(shí)操作是雙邊濾波計(jì)算。從結(jié)果中可以了解到，θ越小，感知重要性區(qū)域內(nèi)的對(duì)比度將越小，視覺(jué)上表現(xiàn)出陰影區(qū)域越淡。從結(jié)果中不難發(fā)現(xiàn)，W越大，則特征區(qū)域越大，最終的處理結(jié)果中邊界區(qū)域則越寬。為實(shí)現(xiàn)快速建模，我們使用一個(gè)開(kāi)源的三維游戲引擎Irrlicht（中文名：鬼火，是著名的3D開(kāi)源引擎之一）構(gòu)建我們實(shí)驗(yàn)所需的游戲場(chǎng)景，其截圖結(jié)果如圖 43所示。而我們的基于特征重要性場(chǎng)的亮度降低方法通過(guò)增強(qiáng)圖像的重要特征區(qū)域（物體辨認(rèn)邊界及邊界附近的區(qū)域）的對(duì)比度的方式，增強(qiáng)了地圖在節(jié)能模式下的可用性。在這個(gè)例子中，我們利用Google Map API1抓取到圖 42所示的地圖數(shù)據(jù)。在下列結(jié)果展示中，我們將標(biāo)示出每幅圖像的根據(jù)我們實(shí)驗(yàn)中所使用的OLED顯示器的功率模型計(jì)算的實(shí)際顯示功率。我們實(shí)驗(yàn)所用的數(shù)據(jù)包括一般圖像和地理信息圖像等。該原型軟件的交互界面使用Qt工具包實(shí)現(xiàn)，并利用Qt工具包提供的QImage類(lèi)庫(kù)實(shí)現(xiàn)了圖像的載入與保存等基本功能。在將圖像的亮度降低的同時(shí)，該方法首先用雙邊濾波對(duì)顏色緩存圖像進(jìn)行去噪，抑制一些分散用戶注意力的非特征細(xì)節(jié)，而保留圖像的主要特征。對(duì)于OLED顯示技術(shù)而言，節(jié)能的顏色設(shè)計(jì)非常重要，而基于亮度降低的策略仍然是節(jié)能顯示領(lǐng)域一個(gè)重要的研究方向。圖像自適應(yīng)亮度優(yōu)化過(guò)程中產(chǎn)生了多個(gè)中間結(jié)果（參考圖 31），為了便于用戶對(duì)中間結(jié)果進(jìn)行分析，在交互界面的“自適應(yīng)亮度優(yōu)化”選項(xiàng)卡（圖 312）中，用戶可以使用單選按鈕選擇在右上“結(jié)果圖像”區(qū)域內(nèi)顯示的圖像內(nèi)容。hsbsaturation = ((s1)? 1 : ((s0)?0:s))*100。// Saturationif(l == 0 || maxVal == minVal) s = 0。 g) h = *(gb)/(maxValminVal) + 。amp。float maxVal = max3v(r, g, b)。首先通過(guò)QRgb獲取圖像上每個(gè)像素的紅、綠、藍(lán)三個(gè)通道的值，然后將圖像顏色的RGB模式轉(zhuǎn)化成HSB模式，對(duì)HSB模式中的亮度（Brightness）進(jìn)行調(diào)整與設(shè)置，從而改變?cè)袼刂?。int g = qGreen(pixel)。 i++) for (int j = 0。實(shí)現(xiàn)代碼如下：int width = imagewidth()。 //根據(jù)圖像名載入圖像//使用QPixmap對(duì)象在顯示窗口displayPanel中顯示圖像dispalyPanelsetPixmap(QPixmap::fromImage(*img))。基于此，我們?cè)趯?shí)現(xiàn)圖像處理原型軟件時(shí)，直接使用了類(lèi)庫(kù)QImage提供的圖像操作，圖像的載入通過(guò)QImage類(lèi)的構(gòu)造函數(shù)或load函數(shù)實(shí)現(xiàn)，而圖像的保存則通過(guò)QImage類(lèi)的save函數(shù)實(shí)現(xiàn)?！白赃m應(yīng)亮度優(yōu)化”選項(xiàng)卡給用戶提供了針對(duì)本文第2章提出的算法的主要參數(shù)調(diào)節(jié)的功能以及控制命令（如圖 312所示）。圖 311 圖像處理原型軟件的主界面軟件的參數(shù)控制區(qū)域主要包括圖像處理的一些基本操作及第2章提出基于節(jié)能的圖像亮度自適應(yīng)優(yōu)化方法的參數(shù)調(diào)節(jié)控制等命令，通過(guò)選項(xiàng)卡的形式集成在主界面的下方。該主界面主要由結(jié)果顯示區(qū)域和參數(shù)控制區(qū)域兩部分組成。圖 38 對(duì)示例圖像進(jìn)行自適應(yīng)亮度優(yōu)化的結(jié)果示意圖，注意到圖像中元素邊界部分的對(duì)比度相比于原圖像的變化圖 39 對(duì)圖 37中實(shí)例圖像進(jìn)行自適應(yīng)亮度優(yōu)化的結(jié)果示意圖 圖像處理原型軟件 需求分析本論文主要研究面向節(jié)能的圖像顏色亮度優(yōu)化方法，其基礎(chǔ)是圖像處理，因此一個(gè)具有較完整的圖像處理基本功能的軟件是研究本文方法的重要基礎(chǔ)。注意到當(dāng)θ時(shí)，該方案即為線性亮度調(diào)整方案，即所謂的均勻亮度調(diào)整；當(dāng)λ=1，且θ≠0時(shí)，該方案可以獲得一個(gè)類(lèi)似于Unsharp Masking[34]處理的效果。因此最后本文的研究方案可以表述為如下公式：其中，I、I’和I*分別為輸入圖像、雙邊濾波后圖像和輸出圖像，參數(shù)b控制控制非特征細(xì)節(jié)的保留程度，b越大，則非特征細(xì)節(jié)越多；當(dāng)b= 0時(shí)，雙邊濾波圖像作為輸入圖像，因此相當(dāng)于丟棄了非特征細(xì)節(jié)，當(dāng)b=1時(shí)，則相反；在原始圖像中，這些所謂的非特征細(xì)節(jié)刻畫(huà)了圖像內(nèi)容的豐富性。 (a) 原始輸入圖像 (b) 邊緣檢測(cè)結(jié)果 (c) PBA算法得到的距離場(chǎng) (d) 特征重要性場(chǎng)圖 37 一個(gè)實(shí)際圖像的特征場(chǎng)構(gòu)建過(guò)程 基于特征重要性場(chǎng)的圖像優(yōu)化線性降低圖像的亮度可以獲得節(jié)能的顯示效果，但同時(shí)也使得圖像內(nèi)容的可讀性和圖像質(zhì)量下降，造成用戶識(shí)別和理解的困難。圖 35示意了上述公式中各個(gè)參數(shù)的含義。簡(jiǎn)單而言，特征重要性場(chǎng)被定義為一個(gè)有向的特征場(chǎng)，以區(qū)別對(duì)待邊界兩側(cè)的區(qū)域。在這里，對(duì)于彩色圖像則直接將其轉(zhuǎn)換為灰度圖像后進(jìn)行特征邊界檢測(cè)和特征場(chǎng)計(jì)算。圖 33 本小節(jié)使用的示例輸入圖像圖 34 PBA算法得到示例圖像的邊界圖像的距離場(chǎng)，像素亮度表示距離邊界像素的歐式距離最后，我們對(duì)邊界距離場(chǎng)D進(jìn)行如下數(shù)學(xué)變換，獲得圖像的特征場(chǎng)S:其中Dd(p)表示像素p在距離場(chǎng)圖像D中的離最近邊界像素的距離值，W為一個(gè)寬度參數(shù)，表示該數(shù)學(xué)變換相對(duì)于邊界像素的作用范圍，用于控制特征區(qū)域的大?。ㄈ鐖D 35）。為了加速圖像邊界距離場(chǎng)的計(jì)算，我們采用Cao等人提出的基于GPU的并行條帶算法（PBA算法）[33]實(shí)現(xiàn)快速的距離場(chǎng)的計(jì)算，得到邊界圖像E的邊界距離場(chǎng)，記作D=PBA(E)。為了后續(xù)的特征場(chǎng)構(gòu)造，邊界場(chǎng)圖像E的每個(gè)元素被構(gòu)造為一個(gè)三元組(Ix, Iy, b)，分別記錄了圖像的每個(gè)像素的梯度(Ix, Iy)和邊界像素指示值b，其中b是根據(jù)給定閾值參數(shù)和梯度模的比較確定該像素是否為邊界像素。因此，我們?cè)谔崛D像的邊界場(chǎng)信息后，根據(jù)像素與邊界的位置關(guān)系構(gòu)造圖像的特征重要性場(chǎng)，用以描述圖像中像素的特征性。(a) 輸入圖像(b) 2次雙邊濾波算子迭代后的輸出圖像圖 32 雙邊濾波效果 特征檢測(cè)及特征重要性場(chǎng)構(gòu)造對(duì)于一個(gè)圖像，用戶通常根據(jù)圖像的特征邊界信息對(duì)圖像的內(nèi)容進(jìn)行理解和認(rèn)識(shí)。從定義上，雙邊濾波組合了兩種不同性質(zhì)的濾波方法，即低通濾波(lowpass filtering)和范圍濾波(range filtering)，分別對(duì)應(yīng)了圖像處理中的空域?yàn)V波和值域?yàn)V波，因此雙邊濾波是一種邊界保持的去噪方法，能夠平滑圖像中非特征區(qū)域的同時(shí)保持其中重要的邊界信息。然而在實(shí)際圖像處理中，非特征細(xì)節(jié)與噪聲的存在會(huì)干擾算法對(duì)圖像邊界的檢測(cè)和提取，因此本文首先對(duì)圖像進(jìn)行基于雙邊濾波的特征抽象處理。圖像邊界檢測(cè)大幅度地減少了數(shù)據(jù)量，并且剔除了可以認(rèn)為不相關(guān)的信息，保留了圖像重要的結(jié)構(gòu)屬性。一般而言，圖像的主要特征可以用圖像中的抽象邊界等特征進(jìn)行描述，圖像中具有較高顏色、亮度或?qū)Ρ榷茸兓膮^(qū)域都是用戶認(rèn)識(shí)圖像的重要區(qū)域。本文從圖像處理角度出發(fā)，為避免圖像的亮度降低后信息表達(dá)和顯示質(zhì)量的損失，通過(guò)邊界特征檢測(cè)的方法獲得圖像內(nèi)容的重要特征，然后通過(guò)構(gòu)建圖像的特征重要性場(chǎng)的方式，指導(dǎo)圖像的自適應(yīng)亮度與顏色的優(yōu)化，最終生成適合OLED顯示器節(jié)能顯示的優(yōu)化圖像。最新的OLED顯示器由于每個(gè)像素都可以獨(dú)立的顯示顏色，因此對(duì)顯示內(nèi)容即圖像的顏色和亮度修改就能直接獲得不同的顯示功率。前者節(jié)能技術(shù)一般依賴(lài)于顯示圖像的內(nèi)容像素的強(qiáng)度，當(dāng)顯示圖像整體亮度比較均勻且具有較高的亮度時(shí)，此類(lèi)方法所獲得的節(jié)能效率是非常有限的。綜合考慮各種邊界檢測(cè)算子的特點(diǎn)，本文采用Sobel邊界檢測(cè)算子獲得圖像的重要邊界特征及特征區(qū)域。Prewitt算子和Sobel算子都是一階的微分算子，而前者是平均濾波，后者是加權(quán)平均濾波且檢測(cè)的圖像邊界可能大于2個(gè)像素，這兩者對(duì)灰度漸變低噪聲的圖像有較好的檢測(cè)效果，但對(duì)于混合多復(fù)雜噪聲的圖像，處理效果則不理想。由于Laplacian算子利用的是二階導(dǎo)數(shù)信息，對(duì)噪聲比較敏感，所以分割結(jié)果中在一些像素上出現(xiàn)了散碎的邊界像素點(diǎn)。但是這種抗噪能力是通過(guò)像素平均來(lái)實(shí)現(xiàn)的，相當(dāng)于低通濾波，所以圖像有一定模糊。Roberts算子（x, y方向） Prewitt算子（x, y方向）Laplacian算子 Sobel算子（x, y方向）圖 22不同邊緣檢測(cè)算子的離散形式（圖像卷積算子） 邊界檢測(cè)算法比較從加法的角度來(lái)看，Roberts算子的運(yùn)算速度較快，從乘法的角度看Laplacian算子的運(yùn)算速度較快。因?yàn)槠交幚硪彩怯媚０暹M(jìn)行的，所以，通常的分割算法都是把Laplacian算子和平滑算子結(jié)合起來(lái)生成一個(gè)新的模板。Laplacian算子是近似地只給出梯度模的二階導(dǎo)數(shù)的流行方法，通常使用3*3的掩模，根據(jù)鄰域不同可以分為4鄰域和8鄰域。l Laplacian算子為了突出增強(qiáng)圖像中的孤立點(diǎn)、孤立線或孤立端點(diǎn)，在某些實(shí)際用途中常采用Laplacian算子，這個(gè)算子是旋轉(zhuǎn)不變算子。Sobel算子的模板也是3*3的，只是它的模板元素與Prewitt算子有所不同。Prewitt算子對(duì)噪聲有抑制作用，抑制噪聲的原理是通過(guò)像素平均。近似圖像函數(shù)一階導(dǎo)數(shù)的算子由于具有確定梯度方向的能力，有時(shí)被稱(chēng)作羅盤(pán)算子。Roberts算子計(jì)算時(shí)利用的像素?cái)?shù)一共有4個(gè)，可以用模板對(duì)應(yīng)4個(gè)像素與模板相應(yīng)的元素相乘相加得到。圖像處理發(fā)展到今天人們已經(jīng)提出了很多算子，其中一階導(dǎo)數(shù)算子Roberts[29]、Prewitt[30]、Sobel[31]和二階導(dǎo)數(shù)算子Laplacian[32]等4種是最為常用的圖像邊界檢測(cè)算子。兩個(gè)具有不同灰度值的相鄰區(qū)域之間總存在邊界，邊界是灰度值不連續(xù)的表現(xiàn)，其是原圖像上灰度變化最劇烈的地方。 邊界檢測(cè)的基本步驟邊界檢測(cè)的基本步驟包括濾波、增強(qiáng)、檢測(cè)和定位。對(duì)于自然圖像，檢測(cè)的主要困難在于這些變化發(fā)生在一個(gè)很寬的尺度范圍內(nèi)。邊界廣泛地存在于物體與背景之間、物體與物體之間、基元與基元之間，它的存在是灰度不連續(xù)造成的。圖像理解和分析的第一步往往就是邊界檢測(cè)，目前它已成為機(jī)器視覺(jué)研究領(lǐng)域最活躍的課題之一，在工程應(yīng)用中占有十分重要的地位。圖 21展示了亮度調(diào)節(jié)對(duì)圖像質(zhì)量的影響，直接降低圖像的亮度會(huì)潛在地造成圖像中信息的損失，如圖 21(b)所示。快速求解這一問(wèn)題有非常重要的現(xiàn)實(shí)意義，有不少工作研究了其快速求解。通常的方法是求一個(gè)近似解，使得(Axb)的絕對(duì)值最小化，該近似解滿足下面的方程：由于ATA是稀疏的帶狀方陣，每行最多5個(gè)非零元素，可以證明這樣的線性方程組是可以求解的。▽Ix，▽Iy的給定根據(jù)不同的應(yīng)用可以有不同的方法。除了圖像和視頻的合成，梯度域處理方法還有很廣泛的應(yīng)用。該方法最早由Fattal等人[19]在高動(dòng)態(tài)范圍的圖像處理中提出，先對(duì)圖像的梯度進(jìn)行多尺度變換，然后反求出亮度映射后的圖像。Reinhard等人[18]根據(jù)攝影中的“dodge and burning”技術(shù)在02年Siggraph上提出了一種類(lèi)似的色調(diào)映射方法。他們根據(jù)人眼對(duì)亮度和對(duì)比度的敏感程度，提出了一個(gè)全局映射函數(shù)。最后，本文第5章進(jìn)行了總結(jié)與展望。本文所使用的實(shí)驗(yàn)數(shù)據(jù)包括一般圖像和具有重要信息的二維地圖圖像。 本章小結(jié)綜上所述，目前在圖像的節(jié)能顯示處理方面，存在一些尚未解決的顏色設(shè)計(jì)與亮度優(yōu)化問(wèn)題。早期的亮度調(diào)整算法如直方圖定制[14]、增益2偏差調(diào)整(Gain2offset)[15]等算子處理局部，這些算法大都使用一個(gè)類(lèi)似于γ函數(shù)的全局色調(diào)映射函數(shù)非線性地拉伸圖像亮度，使得圖像整體對(duì)比度得到增強(qiáng)，從生理學(xué)角度講，人類(lèi)的感知能力與外界的刺激對(duì)數(shù)成比例，因此這些調(diào)整算法都是在亮度的對(duì)數(shù)域上進(jìn)行操作。由于各種各樣的原因，人們經(jīng)常會(huì)拍攝到一些曝光不足、效果不好的照片，因此需要有一種方法，可以提高照片的質(zhì)量以滿足人們的需求。圖像處理技術(shù)的主要內(nèi)容包括圖像壓縮，增強(qiáng)和復(fù)原，匹配、描述和識(shí)別3個(gè)部分。數(shù)字圖像是指用數(shù)字?jǐn)z像機(jī)、掃描儀等設(shè)備經(jīng)過(guò)采樣和數(shù)字化得到的一個(gè)大的二維數(shù)組，該數(shù)組的元素稱(chēng)為像素，其值為一整數(shù)，稱(chēng)為灰度值。圖像處理是信號(hào)處理在圖像域上的一