【正文】 度，從而導(dǎo)致曝光充分區(qū)域的對(duì)比度有所降低，以致丟失原圖中所具有的亮度層次感，這是全局映射算子的共有缺點(diǎn)。本文主要面向OLED顯示器，對(duì)圖像的基于節(jié)能的自適應(yīng)亮度優(yōu)化進(jìn)行了相關(guān)研究，提出并實(shí)現(xiàn)圖像的自適應(yīng)亮度優(yōu)化算法。為了方便用戶使用本文提出的算法進(jìn)行圖像處理，并對(duì)圖像處理結(jié)果進(jìn)行比較與保存操作，本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)通用的圖像處理原型軟件，提供圖像處理的基本操作，并集成本文提出的圖像自適應(yīng)亮度優(yōu)化算法。第2章 研究中需要的工具綜述本章對(duì)論文研究所需要的理論工具作一個(gè)綜述，包括圖像亮度優(yōu)化、圖像邊界檢測等核心圖像處理算法[35]。接著Larson等[16]根據(jù)直方圖，提出了一種改進(jìn)的直方圖定制方法，可以更充分地利用亮度的動(dòng)態(tài)范圍。最近幾年，梯度域上的處理方法變得非常流行。Preze等人[26]借助梯度域的處理方法，可以無縫地將一個(gè)圖像中的區(qū)域粘貼到另一個(gè)圖像中去。例如本質(zhì)圖的恢復(fù)，陰影的去除，閃光照片瑕疵的去除，圖像的色調(diào)遷移，alpha matting等。例如，將圖像A的一塊區(qū)域復(fù)制到圖像B，區(qū)域內(nèi)部的梯度是來自復(fù)制的圖像塊，而邊界上的顏色則固定為B中對(duì)應(yīng)點(diǎn)的顏色。由于上述線性方程組中方程數(shù)較多，通常達(dá)到幾百萬，相應(yīng)地系數(shù)矩陣ATA中元素的個(gè)數(shù)會(huì)達(dá)到萬億的數(shù)量級(jí)，要對(duì)這樣的矩陣求逆是非常困難的，所以一般采用用迭代法求解。Szeliski最近提出了一個(gè)基于預(yù)計(jì)算的共軛梯度法，可以很大程度上加快共軛梯度法的收斂速度，不過他們的算法對(duì)內(nèi)存的需求比較大。 (a) 原始圖像 (b) 亮度降低之后的結(jié)果圖 21 圖像亮度調(diào)節(jié)實(shí)例 圖像邊界檢測邊界檢測是圖像處理領(lǐng)域的重要內(nèi)容之一，是進(jìn)行模式識(shí)別和圖像信息提取的基本手段[28]。本文提出的圖像自適應(yīng)亮度優(yōu)化方法的第一個(gè)步驟也是通過邊界檢測獲得圖像的重要特征區(qū)域。即使很簡單的景物中也包含著大量的細(xì)節(jié)，在圖像中表現(xiàn)為強(qiáng)度的非連續(xù)性。如果分別地看每個(gè)圖像的像素，就會(huì)發(fā)現(xiàn)像素之間的灰度級(jí)在變化。1）邊界檢測算法主要是基于圖像強(qiáng)度的一階和二階導(dǎo)數(shù)，但導(dǎo)數(shù)的計(jì)算對(duì)噪聲敏感，因此必須使用濾波器來改善與噪聲有關(guān)的邊界檢測器的性能；2）增強(qiáng)邊界的基礎(chǔ)是確定圖像各點(diǎn)鄰域強(qiáng)度的變化值，增強(qiáng)算法可以將鄰域強(qiáng)度值有顯著變化的點(diǎn)突出顯示出來，邊界增強(qiáng)一般是通過計(jì)算梯度模來完成的；3）在圖像中有許多點(diǎn)的梯度模比較大，而這些點(diǎn)在特定的應(yīng)用領(lǐng)域中并不是邊界，所有應(yīng)該用某種方法確定哪些點(diǎn)是邊界，其中最簡單的邊界檢測判斷是梯度模閥值判斷；4）如果某一應(yīng)用場合要求確定邊界位置，則邊界的位置在子像素分辨率上來估計(jì)，邊界的方位也可以被估計(jì)出來。傳統(tǒng)的邊界檢測正是利用了這一點(diǎn)，對(duì)圖像的各個(gè)像素進(jìn)行一階微分或二階微分確定邊界像素點(diǎn)。構(gòu)造這些算子的基本思想是統(tǒng)一的，它們的區(qū)別主要是模板的大小和元素值的不同。Roberts算子邊界定位準(zhǔn)，然而主要缺點(diǎn)是其對(duì)噪聲的高度敏感性，原因在于僅使用了很少幾個(gè)像素來近似梯度，適用于邊界明顯而且噪聲較少的圖像分割。對(duì)于每個(gè)算子我們只給出前面三個(gè)3*3掩模，其他的可以通過簡單旋轉(zhuǎn)得到。但是像素平均相當(dāng)于對(duì)圖像的低通濾波，所以Prewitt算子對(duì)邊界的定位不如Roberts算子。Sobel算子和Prewitt算子都是加權(quán)平均，但是Sobel算子認(rèn)為，鄰域的像素對(duì)當(dāng)前像素產(chǎn)生的影響不是等價(jià)的，而在Prewitt算子中像素鄰域?qū)Ξ?dāng)前像素產(chǎn)生的影響是等價(jià)的。之前的這些算子都是一階導(dǎo)數(shù)算子，在圖像處理中經(jīng)常使用的還有二階導(dǎo)數(shù)算子，例如Laplacian算子就是二階微分算子。Laplacian算子對(duì)于邊界是敏感的。Laplace算子有一個(gè)缺點(diǎn)是它對(duì)圖像中的某些邊界產(chǎn)生雙重響應(yīng)。Roberts算子對(duì)邊界定位比較準(zhǔn)，所以分割結(jié)果的邊界寬度比Prewitt分割的窄。Sobel算子對(duì)噪聲有抑制作用，因此不會(huì)出現(xiàn)很多孤立的邊界像素點(diǎn)。不過Laplacian算子對(duì)邊界的定位還是比較準(zhǔn)的。如圖 23所示，Roberts邊界檢測的圖像紋理較清楚,但整個(gè)圖像過于模糊。15浙江大學(xué)碩士學(xué)位論文 第3章 基于節(jié)能的圖像顏色優(yōu)化算法研究第3章 基于節(jié)能的圖像顏色優(yōu)化算法研究 方法研究目標(biāo)正如在緒論中提到的，傳統(tǒng)顯示器節(jié)能的硬件實(shí)現(xiàn)方法需要對(duì)顯示內(nèi)容的圖像處理進(jìn)行配合，通過獲取圖像內(nèi)容的亮度分布進(jìn)行分析，而最直接的方法就是線性地均勻降低圖像的整體亮度，這樣就能獲得直接的節(jié)能效果。因此，通過算法調(diào)整輸入的圖像的亮度，可以獲得額外的能量節(jié)約。針對(duì)節(jié)能顯示的需求和OLED顯示器的這一特點(diǎn)，本章提出的面向節(jié)能的圖像顏色和亮度優(yōu)化設(shè)計(jì)方法同樣適用。本文采用的整體設(shè)計(jì)方案如下：首先，使用雙邊濾波對(duì)圖像進(jìn)行邊界特征保持的降噪處理，以消除一些無用的非特征細(xì)節(jié)和干擾噪聲；繼而，使用Sobel算子對(duì)降噪后圖像進(jìn)行邊界檢測，并計(jì)算邊界的距離場，然后通過合適的變換獲得圖像的特征重要性場，描述每個(gè)像素在用戶理解圖像時(shí)的重要性；最后，根據(jù)特征重要性場指導(dǎo)圖像進(jìn)行自適應(yīng)的亮度降低優(yōu)化，得到適合OLED顯示器節(jié)能顯示的優(yōu)化圖像結(jié)果。在圖像中，與顏色或亮度變化相關(guān)一些特征通常在人對(duì)圖像內(nèi)容的認(rèn)識(shí)和理解中起到非常重要的作用，這些特征在圖像處理領(lǐng)域一般被稱為邊界或邊緣，因此邊界檢測是圖像處理和計(jì)算機(jī)視覺中，尤其是特征提取中的一個(gè)重要研究內(nèi)容。有許多方法用于邊界檢測，它們的絕大部分可以劃分為兩類：基于查找一類和基于零穿越的一類。特征抽象是一個(gè)典型的圖像處理算法，通過抑制圖像中的非特征區(qū)域而保留特征細(xì)節(jié)的方式，使得圖像特征能更加方便的被捕捉。對(duì)于給定的灰度圖像I，雙邊濾波定義為：其中，其中W(p)是歸一化因子，N(p)表示像素p的鄰域像素的集合，σs和σc分別表示空域?yàn)V波半徑和值域?yàn)V波半徑，Gσ是高斯核函數(shù)。然而，傳統(tǒng)的邊界檢測算法一般只能返回二值的結(jié)果，即指示當(dāng)前的像素是否屬于邊界。經(jīng)過雙邊濾波處理后的圖像很好地保留了圖像的邊界和區(qū)域信息，并且抑制了原有圖像的非特征細(xì)節(jié)和噪聲，是對(duì)圖像的一種保特征抽象。雖然梯度模描述了圖像中一個(gè)像素相對(duì)于周圍像素的亮度變化，但是直接用梯度模構(gòu)造特征場仍然會(huì)受到圖像噪聲的影響。其中PBA算法是一種精確計(jì)算圖像距離場的算法，其算法復(fù)雜度僅與圖像尺寸有關(guān)，而與邊界像素的數(shù)量無關(guān)。在邊界像素及其W寬度之內(nèi)的區(qū)域，稱為特征區(qū)域。特征場相比于邊界場的優(yōu)勢(shì)在于，它提供了每個(gè)像素所具有的特征重要性的連續(xù)數(shù)值表達(dá)，因此比較適合用于后期的圖像優(yōu)化處理。例如，由于像素明暗變化形成的一條邊界，在邊界一側(cè)為明亮區(qū)域而另一側(cè)為暗區(qū)域，那么將明亮區(qū)域定性為正值而暗區(qū)域定性為負(fù)值，則可以在后續(xù)的圖像處理操作中方便的進(jìn)行亮度優(yōu)化。因此，M(p)定義了一個(gè)有向的特征場，可以描述邊界兩側(cè)不同的特征表現(xiàn)能力，所用示例圖像的結(jié)果如圖 36所示。根據(jù)前面對(duì)圖像的處理，我們已經(jīng)得到了圖像的特征重要性場的圖像，因此結(jié)合該數(shù)據(jù)可以指導(dǎo)一個(gè)自適應(yīng)的圖像亮度優(yōu)化。但是，當(dāng)圖像亮度被降低后，它們反而可能會(huì)導(dǎo)致其他特征細(xì)節(jié)被弱化，這個(gè)時(shí)候用戶可以通過調(diào)節(jié)參數(shù)b的值以獲得較滿意的結(jié)果。本文所述方案被用于基于節(jié)能的圖像自適應(yīng)顏色亮度優(yōu)化時(shí)，主要通過提高邊界及其鄰域等特征區(qū)域的對(duì)比度的方式，確保圖像亮度降低時(shí)圖像特征的保持。針對(duì)本論文的研究問題，本文需要實(shí)現(xiàn)的圖像處理原型軟件的主要需求如下：l 基本的圖像載入與保存功能；l 圖像的對(duì)比度、亮度等基本參數(shù)調(diào)節(jié)功能；l 基于本論文研究算法的參數(shù)調(diào)節(jié)與命令控制功能；l 原始圖像與結(jié)果圖像實(shí)時(shí)對(duì)比功能；l 能耗評(píng)估，用于計(jì)算給定圖像的所需的顯示功耗。為了方便用戶對(duì)圖像處理的結(jié)果進(jìn)行預(yù)覽和比較，主界面的結(jié)果顯示區(qū)域分為“原始圖像”區(qū)域和“結(jié)果圖像”區(qū)域兩部分，分別顯示用戶載入的原始圖像和當(dāng)前處理所得到的結(jié)果圖像。其中“文件操作”選項(xiàng)卡包含圖像文件的打開和保持兩個(gè)基本操作。圖 312 圖像處理原型軟件的“自適應(yīng)亮度優(yōu)化”選項(xiàng)卡中的參數(shù)與命令 基本處理功能的實(shí)現(xiàn)圖像載入與保存是圖像處理的基礎(chǔ)操作。通過QImage類對(duì)圖像進(jìn)行載入之后，需要使用QPixmap類對(duì)QImage對(duì)象中保存的圖像數(shù)據(jù)進(jìn)行顯示。 圖像通道操作則可以方便用戶通過選擇單一的顏色通道對(duì)圖像內(nèi)容進(jìn)行檢視。int height = imageheight()。 j height。int b = qBlue(pixel)。RGB模式轉(zhuǎn)化HSB模式的實(shí)現(xiàn)代碼如下：float r = rgbred/。 //獲取r、g、b三者的最大值float minVal = min3v(r, g, b)。 g=b) h = *(gb)/(maxValminVal)。else if(maxVal==g) h = *(br)/(maxValminVal) + 。else if(l0)s = (maxValminVal)/(maxVal+minVal)。hsbluminance = ((l1)? 1 : ((l0)?0:l))*100圖 314展示了采用本原型軟件系統(tǒng)對(duì)圖像進(jìn)行亮度和對(duì)比度調(diào)節(jié)的結(jié)果。圖 315展示了對(duì)圖像進(jìn)行自適應(yīng)亮度優(yōu)化以實(shí)現(xiàn)節(jié)能的操作界面。降低圖像亮度后，圖像的亮度動(dòng)態(tài)范圍也被降低，從而造成特征細(xì)節(jié)的減弱或丟失。然后通過Sobel邊界檢測算子從圖像中獲取顯著邊界作為圖像主要特征，隨后構(gòu)造特征重要性場，用于指導(dǎo)圖像的特征增強(qiáng)，并實(shí)現(xiàn)自適應(yīng)亮度優(yōu)化以補(bǔ)償圖像亮度降低引起的特征弱化。此外，該原型軟件通過合理的需求分析，設(shè)計(jì)了具有針對(duì)性的交互操作，方便用戶對(duì)各種圖像處理結(jié)果進(jìn)行分析和比較。我們的方法通過對(duì)圖像根據(jù)其像素的特征重要性進(jìn)行亮度的優(yōu)化處理，因此可以使圖像在亮度降低以節(jié)約電能消耗的同時(shí)，盡可能多地表現(xiàn)圖像的重要特征信息（如邊界）。圖 41顯示了一個(gè)將我們的方法直接應(yīng)用于一般圖像的例子。谷歌地圖API是一系列使用面向?qū)ο蠓绞浇M織的JavaScript類和靜態(tài)方法（我有時(shí)候也統(tǒng)稱為地圖API類庫），通過創(chuàng)建這些類的實(shí)例（對(duì)象）或調(diào)用 API 中提供的靜態(tài)方法，可以在頁面上創(chuàng)建和控制地圖，也可以在地圖上展示任何非谷歌提供的數(shù)據(jù)/信息。(a) 一般圖像輸入（）(b) 均勻亮度降低方法的結(jié)果（）(c) 我們的結(jié)果（）圖 41 方法應(yīng)用到普通圖像的結(jié)果對(duì)比(a)輸入的地圖圖像（）(b)均勻降低亮度方法的結(jié)果（）(c)使用我們的方法降低亮度后的結(jié)果（）圖 42 方法應(yīng)用到地圖圖像的結(jié)果對(duì)比我們的方法也同樣適用于游戲場景，特別地在手機(jī)等移動(dòng)設(shè)備上，長時(shí)間的游戲非常容易降低電池的使用時(shí)間。注意到在圖中，由于特征重要性場導(dǎo)致的光暈效果使得玩家更容易理解場景中景物的深度關(guān)系，如城墻邊緣等處，同時(shí)也降低了顯示器的功率消耗。圖 44 (c)和(d)展示了特征重要性場構(gòu)建過程中，參數(shù)λ對(duì)結(jié)果的影響。 性能統(tǒng)計(jì)一般而言，基于圖像像素的處理都可以并行執(zhí)行。為了完整統(tǒng)計(jì)算法的運(yùn)行性能，我們采用了不同分辨率進(jìn)行算法運(yùn)行平均時(shí)間的統(tǒng)計(jì)。用戶研究的價(jià)值在于，他不僅對(duì)方法評(píng)估有幫助，而且讓技術(shù)的使用者受益，是對(duì)兩者互利的。要實(shí)現(xiàn)以人為本的設(shè)計(jì)，必須把相關(guān)工作與技術(shù)與用戶的關(guān)系作為一個(gè)重要研究內(nèi)容，先設(shè)計(jì)技術(shù)與用戶的關(guān)系，設(shè)計(jì)人機(jī)界面，按照要求再設(shè)計(jì)功能，同時(shí)二者要協(xié)調(diào)配合。所有參與者都沒有色盲或色弱癥狀，且與我們的研究工作無關(guān)。在告知用戶這三種圖像在OLED顯示器顯示時(shí)需要的平均功率的前提下，我們要求用戶對(duì)這三個(gè)圖像進(jìn)行比較和主觀評(píng)價(jià)。該任務(wù)使用主體間測試方法進(jìn)行，即所有測試對(duì)象將被分成3 組，且每個(gè)測試對(duì)象僅對(duì)同一個(gè)結(jié)果進(jìn)行兩次測試（記作R1和R2）。 實(shí)驗(yàn)結(jié)果在用戶研究后，我們統(tǒng)計(jì)了測試對(duì)象在執(zhí)行可視搜索任務(wù)時(shí)的錯(cuò)誤率。圖8展示了測試對(duì)象對(duì)于可視搜索任務(wù)的平均完成時(shí)間和標(biāo)準(zhǔn)，可以看到第一次測試的完成時(shí)間均要多余第二次測試的完成時(shí)間，而方法C的測試完成時(shí)間顯著比其他方法更少。 討論分析基于測試對(duì)象的在任務(wù)時(shí)的評(píng)價(jià)反饋，我們發(fā)現(xiàn)用戶還是希望在圖像亮度降低的時(shí)候，能夠增強(qiáng)重要的邊界信息和結(jié)構(gòu)信息的表現(xiàn)。不過仍有5位測試對(duì)象認(rèn)為處理方法會(huì)降低原始圖像的精確性。我們的方法在圖像上得到驗(yàn)證，同時(shí)本方法可以很好地?cái)U(kuò)展到時(shí)序數(shù)據(jù)，比如在游戲場景中的應(yīng)用。在未來工作中，我們希望找到一種更加健壯的重要特征檢測算法。本文在第3章實(shí)現(xiàn)了一個(gè)簡單的圖像處理原型軟件，便于在算法實(shí)現(xiàn)驗(yàn)證過程中對(duì)參數(shù)的調(diào)節(jié)進(jìn)行實(shí)時(shí)的結(jié)果預(yù)覽和比較。另一方面，考慮到大屏幕的普及，我們也將繼續(xù)對(duì)本文方法的可擴(kuò)展性進(jìn)行實(shí)驗(yàn)論證，通過算法的改進(jìn)和優(yōu)化，進(jìn)一步提高大分辨率圖像的處理性能。OLED顯示器技術(shù)的出現(xiàn)，給圖像的顏色設(shè)計(jì)引入了節(jié)能導(dǎo)向，而超大屏幕可視化的因其功率管理的復(fù)雜性，使節(jié)能顯示的研究具有更大的挑戰(zhàn)。而獲取眼球運(yùn)動(dòng)信息的設(shè)備除了紅外設(shè)備之外，還可以是圖像采集設(shè)備，甚至一般電腦或手機(jī)上的攝像頭，其在軟件的支持下也可以實(shí)現(xiàn)眼球跟蹤。眼球追蹤是一項(xiàng)科學(xué)應(yīng)用技術(shù)，用戶無需觸摸屏幕即可翻動(dòng)頁面。有數(shù)據(jù)顯示，液晶拼接如今幾乎已經(jīng)占據(jù)整個(gè)大屏幕拼接市場的半壁江山，液晶拼接產(chǎn)品更是受到了各個(gè)行業(yè)的青睞和認(rèn)可。 未來工作展望基于目前國內(nèi)外相關(guān)研究的發(fā)展現(xiàn)狀與我們的工作進(jìn)度，未來我們計(jì)劃將本文方法擴(kuò)展應(yīng)用到視頻中。在顯示器的節(jié)能手段中，亮度降低一直是最直接有效的方法之一，然而會(huì)帶來顯示內(nèi)容的特征的弱化甚至丟失，因此我們提出了基于圖像特征重要性的自適應(yīng)亮度優(yōu)化方法。由于我們的方法引入雙邊濾波和邊界檢測算子計(jì)算了基于邊特征的重要性場，因此存在固有的限制?；谔卣髦匾詧龅淖赃m應(yīng)亮度降低方法（即本文方法）由于增強(qiáng)了邊界區(qū)域的對(duì)比度，因此獲得了較好的用戶評(píng)價(jià)。在考慮電池續(xù)航時(shí)間的前提下，他們認(rèn)為處理方法C對(duì)于地圖信息的處理結(jié)果比較認(rèn)可，畢竟當(dāng)前手機(jī)等移動(dòng)設(shè)備通常會(huì)被用于地圖查詢、路線導(dǎo)航等“兼職”。大部分測試對(duì)象都選擇了處理C最優(yōu)。在第一次測試中，方法A沒有錯(cuò)誤，%（1位錯(cuò)誤/共8位測試對(duì)象），而方法B的錯(cuò)誤率為25% （2位錯(cuò)誤/共8位測試對(duì)象）。在評(píng)價(jià)打分任務(wù)中，我們使用二維地圖信息的結(jié)果，所有的結(jié)果同樣被三種處理方法（即不處理、均勻亮度降低方法和我們的方法）進(jìn)行處理。在可視搜索任