【正文】 we propose an adaptive dimming approach for display energy saving. In this approach, bilateral filtering is performed upon the original image firstly to smooth the noise while preserving evident features. Then we construct a saliency map by extracting edge features from the image using Sobel operator. The saliency map describes the region of interest which plays an important role in users’ understanding of an image. In the optimizing process, we perform a saliency guided feature enhancement by using the saliency map. With the proposed approach, we can generate a dimmed image which can be displayed with less energy consumption. Additionally, we describe a software prototype which implements our method and some elemental image operations. Users can preview the intermediate results while they are tuning the relevant parameters, as well as analysis and paring of the results.We apply our approach on several applications, including map images and natual images. A pilot user study demonstrate that our approach achieve better performance in preserving perceptionbased features in the dimmed images than uniform dimming under the same energy consumption.Keywords：Energy saving, Color optimization, Visual perception, Edge detection ii浙江大學(xué)碩士學(xué)位論文 目錄目錄摘要 iAbstract ii第1章 緒論 1 課題背景 1 顯示器節(jié)能顯示相關(guān)方法 3 圖像顏色與亮度優(yōu)化 5 本章小結(jié) 6 內(nèi)容安排 7第2章 研究中需要的工具綜述 8 圖像亮度優(yōu)化 8 圖像邊界檢測 10 邊界檢測的基本步驟 11 邊界檢測算法 11 邊界檢測算法比較 13第3章 基于節(jié)能的圖像顏色優(yōu)化算法研究 16 方法研究目標(biāo) 16 方法技術(shù)細(xì)節(jié) 16 基于雙邊濾波的圖像降噪處理 17 特征檢測及特征重要性場構(gòu)造 19 基于特征重要性場的圖像優(yōu)化 23 圖像處理原型軟件 26 需求分析 26 主界面和交互設(shè)計 26 基本處理功能的實(shí)現(xiàn) 28 圖像自適應(yīng)亮度優(yōu)化的實(shí)現(xiàn) 31 本章小結(jié) 32第4章 實(shí)驗(yàn)結(jié)果與分析 34 實(shí)驗(yàn)結(jié)果 34 性能統(tǒng)計 40 用戶研究 40 實(shí)驗(yàn)設(shè)計 41 實(shí)驗(yàn)過程 41 實(shí)驗(yàn)結(jié)果 41 討論分析 42 本章小結(jié) 43第5章 總結(jié)與展望 44 本文工作總結(jié) 44 未來工作展望 44參考文獻(xiàn) 46致謝 49II浙江大學(xué)碩士學(xué)位論文 表目錄圖目錄圖 11 OLED顯示屏 2圖 12 OLED顯示器對于紅、綠、藍(lán)純色的功率消耗曲線 4圖 21 圖像亮度調(diào)節(jié)實(shí)例 10圖 22不同邊緣檢測算子的離散形式（圖像卷積算子） 13圖 23不同邊緣檢測算子結(jié)果對比 14圖 31 圖像自適應(yīng)亮度優(yōu)化算法的流程圖（字母表示本章中所用符號） 17圖 32 雙邊濾波效果 19圖 33 本小節(jié)使用的示例輸入圖像 20圖 34 PBA算法得到示例圖像的邊界圖像的距離場，像素亮度表示距離邊界像素的歐式距離 21圖 35 示例圖像的特征場示意圖，及文中各參數(shù)的含義 22圖 36 示例圖像的特征重要性場 22圖 37 一個實(shí)際圖像的特征場構(gòu)建過程 23圖 38 對示例圖像進(jìn)行自適應(yīng)亮度優(yōu)化的結(jié)果示意圖，注意到圖像中元素邊界部分的對比度相比于原圖像的變化 25圖 39 對圖 37中實(shí)例圖像進(jìn)行自適應(yīng)亮度優(yōu)化的結(jié)果示意圖 25圖 310原型軟件的功能模塊圖 26圖 311 圖像處理原型軟件的主界面 27圖 312 圖像處理原型軟件的“自適應(yīng)亮度優(yōu)化”選項卡中的參數(shù)與命令 28圖 313 圖像通道選擇界面 29圖 314 圖形亮度和對比度調(diào)節(jié)界面 31圖 315 圖像自適應(yīng)亮度優(yōu)化操作界面 32圖 41 方法應(yīng)用到普通圖像的結(jié)果對比 35圖 42 方法應(yīng)用到地圖圖像的結(jié)果對比 36圖 43 在游戲場景中使用深度圖進(jìn)行自適應(yīng)亮度優(yōu)化的結(jié)果對比 38圖 44 不同參數(shù)配置對結(jié)果的影響 39圖 45 可視搜索任務(wù)的平均完成時間和標(biāo)準(zhǔn)差 42圖 51 三菱OLED大屏顯示系統(tǒng) 45表目錄表格 1處理不同分辨率圖像時的性能統(tǒng)計（時間單位：毫秒） 40II浙江大學(xué)碩士學(xué)位論文 第2章 研究中需要的工具綜述第1章 緒論 課題背景液晶顯示器，或稱LCD（Liquid Crystal Display），是一種平面超薄的顯示設(shè)備，它由一定數(shù)量的彩色或黑白像素組成，放置于光源或者反射面前方。由于OLED顯示器具的像素是自發(fā)光的，因此OLED顯示器具有很多特點(diǎn)，其顯示屏幕的可視角度幾乎可以達(dá)到極限，屏幕黑色顯示非常純正，因此OLED顯示器具備了許多傳統(tǒng)LCD顯示器不可比擬的優(yōu)勢。雖然數(shù)據(jù)的真實(shí)性可能是基于訪問其頁面的用戶都使用了OLED顯示器進(jìn)行計算得到的，但也正說明了基于OLED顯示器進(jìn)行節(jié)能設(shè)計的重要性。在硬件實(shí)現(xiàn)層次上，Shin等人受到傳統(tǒng)背光功率管理模型的技術(shù)的啟發(fā)，將其應(yīng)用到了OLED 顯示器中，并提出了動態(tài)電壓調(diào)整（dynamic voltage scaling，DVS）的新技術(shù)，該技術(shù)允許在幾乎不產(chǎn)生人眼感知差別的前提下，% 的功率節(jié)約[10]。圖像處理技術(shù)的主要內(nèi)容包括圖像壓縮，增強(qiáng)和復(fù)原，匹配、描述和識別3個部分。本文所使用的實(shí)驗(yàn)數(shù)據(jù)包括一般圖像和具有重要信息的二維地圖圖像。該方法最早由Fattal等人[19]在高動態(tài)范圍的圖像處理中提出，先對圖像的梯度進(jìn)行多尺度變換，然后反求出亮度映射后的圖像?？焖偾蠼膺@一問題有非常重要的現(xiàn)實(shí)意義，有不少工作研究了其快速求解。對于自然圖像，檢測的主要困難在于這些變化發(fā)生在一個很寬的尺度范圍內(nèi)。Roberts算子計算時利用的像素數(shù)一共有4個，可以用模板對應(yīng)4個像素與模板相應(yīng)的元素相乘相加得到。l Laplacian算子為了突出增強(qiáng)圖像中的孤立點(diǎn)、孤立線或孤立端點(diǎn)，在某些實(shí)際用途中常采用Laplacian算子，這個算子是旋轉(zhuǎn)不變算子。但是這種抗噪能力是通過像素平均來實(shí)現(xiàn)的，相當(dāng)于低通濾波，所以圖像有一定模糊。前者節(jié)能技術(shù)一般依賴于顯示圖像的內(nèi)容像素的強(qiáng)度，當(dāng)顯示圖像整體亮度比較均勻且具有較高的亮度時，此類方法所獲得的節(jié)能效率是非常有限的。圖像邊界檢測大幅度地減少了數(shù)據(jù)量，并且剔除了可以認(rèn)為不相關(guān)的信息，保留了圖像重要的結(jié)構(gòu)屬性。因此，我們在提取圖像的邊界場信息后，根據(jù)像素與邊界的位置關(guān)系構(gòu)造圖像的特征重要性場，用以描述圖像中像素的特征性。在這里，對于彩色圖像則直接將其轉(zhuǎn)換為灰度圖像后進(jìn)行特征邊界檢測和特征場計算。因此最后本文的研究方案可以表述為如下公式：其中，I、I’和I*分別為輸入圖像、雙邊濾波后圖像和輸出圖像，參數(shù)b控制控制非特征細(xì)節(jié)的保留程度，b越大，則非特征細(xì)節(jié)越多；當(dāng)b= 0時，雙邊濾波圖像作為輸入圖像，因此相當(dāng)于丟棄了非特征細(xì)節(jié)，當(dāng)b=1時，則相反；在原始圖像中，這些所謂的非特征細(xì)節(jié)刻畫了圖像內(nèi)容的豐富性。圖 311 圖像處理原型軟件的主界面軟件的參數(shù)控制區(qū)域主要包括圖像處理的一些基本操作及第2章提出基于節(jié)能的圖像亮度自適應(yīng)優(yōu)化方法的參數(shù)調(diào)節(jié)控制等命令，通過選項卡的形式集成在主界面的下方。實(shí)現(xiàn)代碼如下：int width = imagewidth()。float maxVal = max3v(r, g, b)。hsbsaturation = ((s1)? 1 : ((s0)?0:s))*100。該原型軟件的交互界面使用Qt工具包實(shí)現(xiàn)，并利用Qt工具包提供的QImage類庫實(shí)現(xiàn)了圖像的載入與保存等基本功能。而我們的基于特征重要性場的亮度降低方法通過增強(qiáng)圖像的重要特征區(qū)域（物體辨認(rèn)邊界及邊界附近的區(qū)域）的對比度的方式，增強(qiáng)了地圖在節(jié)能模式下的可用性。算法的主要耗時操作是雙邊濾波計算。在用戶研究實(shí)驗(yàn)中，我們對實(shí)驗(yàn)數(shù)據(jù)分別進(jìn)行均勻亮度降低處理和本文第2章描述的方法的處理，生成的結(jié)果圖像分別記為I1和I2，未做處理的原始圖像記作I0。表明測試對象對處理方法的選擇存在明顯的傾向性。在該工作中，我們應(yīng)用Sobel邊界檢測算子對降噪后的圖像進(jìn)行邊界場計算，并提出特征重要性場量化圖像像素的特征表現(xiàn)能力；在亮度優(yōu)化階段，該特征重要性場被用于指導(dǎo)圖像的特征增強(qiáng)以補(bǔ)償圖像亮度降低引起的特征弱化。從原理上看，眼球追蹤主要是研究眼球運(yùn)動信息的獲取、建模和模擬，用途頗廣。比如邊界檢測算子得到的邊界是根據(jù)圖像像素的梯度模和檢測閾值確定的，因此缺少智能性，從而易導(dǎo)致一些具有較低全局對比度而較高局部對比度的重要特征被忽略，而某些包含較高對比度的背景則被作為顯著特征強(qiáng)調(diào)或突出。在第二次測試測試中，所有測試對象都正確完成了任務(wù)。參與對象的專業(yè)包括了計算機(jī)、數(shù)學(xué)和工業(yè)設(shè)計學(xué)。從結(jié)果中可以了解到，θ越小，感知重要性區(qū)域內(nèi)的對比度將越小，視覺上表現(xiàn)出陰影區(qū)域越淡。在這個例子中，我們利用Google Map API1抓取到圖 42所示的地圖數(shù)據(jù)。在將圖像的亮度降低的同時，該方法首先用雙邊濾波對顏色緩存圖像進(jìn)行去噪，抑制一些分散用戶注意力的非特征細(xì)節(jié)，而保留圖像的主要特征。// Saturationif(l == 0 || maxVal == minVal) s = 0。首先通過QRgb獲取圖像上每個像素的紅、綠、藍(lán)三個通道的值，然后將圖像顏色的RGB模式轉(zhuǎn)化成HSB模式，對HSB模式中的亮度（Brightness）進(jìn)行調(diào)整與設(shè)置，從而改變原像素值。 //根據(jù)圖像名載入圖像//使用QPixmap對象在顯示窗口displayPanel中顯示圖像dispalyPanelsetPixmap(QPixmap::fromImage(*img))。該主界面主要由結(jié)果顯示區(qū)域和參數(shù)控制區(qū)域兩部分組成。 (a) 原始輸入圖像 (b) 邊緣檢測結(jié)果 (c) PBA算法得到的距離場 (d) 特征重要性場圖 37 一個實(shí)際圖像的特征場構(gòu)建過程 基于特征重要性場的圖像優(yōu)化線性降低圖像的亮度可以獲得節(jié)能的顯示效果，但同時也使得圖像內(nèi)容的可讀性和圖像質(zhì)量下降，造成用戶識別和理解的困難。圖 33 本小節(jié)使用的示例輸入圖像圖 34 PBA算法得到示例圖像的邊界圖像的距離場，像素亮度表示距離邊界像素的歐式距離最后，我們對邊界距離場D進(jìn)行如下數(shù)學(xué)變換，獲得圖像的特征場S:其中Dd(p)表示像素p在距離場圖像D中的離最近邊界像素的距離值，W為一個寬度參數(shù)，表示該數(shù)學(xué)變換相對于邊界像素的作用范圍，用于控制特征區(qū)域的大小（如圖 35）。(a) 輸入圖像(b) 2次雙邊濾波算子迭代后的輸出圖像圖 32 雙邊濾波效果 特征檢測及特征重要性場構(gòu)造對于一個圖像，用戶通常根據(jù)圖像的特征邊界信息對圖像的內(nèi)容進(jìn)行理解和認(rèn)識。一般而言，圖像的主要特征可以用圖像中的抽象邊界等特征進(jìn)行描述，圖像中具有較高顏色、亮度或?qū)Ρ榷茸兓膮^(qū)域都是用戶認(rèn)識圖像的重要區(qū)域。綜合考慮各種邊界檢測算子的特點(diǎn)，本文采用Sobel邊界檢測算子獲得圖像的重要邊界特征及特征區(qū)域。Roberts算子（x, y方向） Prewitt算子（x, y方向）Laplacian算子 Sobel算子（x, y方向）圖 22不同邊緣檢測算子的離散形式（圖像卷積算子） 邊界檢測算法比較從加法的角度來看，Roberts算子的運(yùn)算速度較快，從乘法的角度看Laplacian算子的運(yùn)算速度較快。Sobel算子的模板也是3*3的，只是它的模板元素與Prewitt算子有所不同。圖像處理發(fā)展到今天人們已經(jīng)提出了很多算子，其中一階導(dǎo)數(shù)算子Roberts[29]、Prewitt[30]、Sobel[31]和二階導(dǎo)數(shù)算子Laplacian[32]等4種是最為常用的圖像邊界檢測算子。邊界廣泛地存在于物體與背景之間、物體與物體之間、基元與基元之