【正文】 們的絕大部分可以劃分為兩類：基于查找一類和基于零穿越的一類。圖像屬性中的顯著變化通常反映了屬性的重要事件和變化，包括（i）深度上的不連續(xù)、（ii）表面方向不連續(xù)、（iii）物質(zhì)屬性變化和（iv）場景照明變化等。在圖像中，與顏色或亮度變化相關(guān)一些特征通常在人對圖像內(nèi)容的認(rèn)識和理解中起到非常重要的作用，這些特征在圖像處理領(lǐng)域一般被稱為邊界或邊緣，因此邊界檢測是圖像處理和計算機(jī)視覺中，尤其是特征提取中的一個重要研究內(nèi)容。圖 31 圖像自適應(yīng)亮度優(yōu)化算法的流程圖（字母表示本章中所用符號） 基于雙邊濾波的圖像降噪處理通常，用戶通過對圖像的認(rèn)識主要基于對圖像主要特征的感知與理解。本文采用的整體設(shè)計方案如下：首先，使用雙邊濾波對圖像進(jìn)行邊界特征保持的降噪處理，以消除一些無用的非特征細(xì)節(jié)和干擾噪聲；繼而，使用Sobel算子對降噪后圖像進(jìn)行邊界檢測，并計算邊界的距離場，然后通過合適的變換獲得圖像的特征重要性場，描述每個像素在用戶理解圖像時的重要性；最后，根據(jù)特征重要性場指導(dǎo)圖像進(jìn)行自適應(yīng)的亮度降低優(yōu)化，得到適合OLED顯示器節(jié)能顯示的優(yōu)化圖像結(jié)果。 方法技術(shù)細(xì)節(jié)傳統(tǒng)LCD顯示器節(jié)能顯示的方法中，降低顯示內(nèi)容亮度的方法仍是非常有效的方法之一，能獲得最直接的節(jié)能效果。針對節(jié)能顯示的需求和OLED顯示器的這一特點，本章提出的面向節(jié)能的圖像顏色和亮度優(yōu)化設(shè)計方法同樣適用。本章主要提出了一種通過分析圖像的重要特征，自適應(yīng)的進(jìn)行圖像亮度優(yōu)化的方法。因此，通過算法調(diào)整輸入的圖像的亮度，可以獲得額外的能量節(jié)約。將圖像的亮度降低的實現(xiàn)主要分為兩種，一種是由軟件降低顯示內(nèi)容的亮度后，然后設(shè)備根據(jù)顯示內(nèi)容進(jìn)行動態(tài)的調(diào)整背光的亮度，從而實現(xiàn)動態(tài)的顯示器功耗管理；另一種則是自動或人為地降低顯示器的亮度，輸入的顯示內(nèi)容本身不進(jìn)行處理，比如在移動電子設(shè)備上，目前幾乎所有的手機(jī)都支持環(huán)境光自動感應(yīng)而進(jìn)行亮度調(diào)整。15浙江大學(xué)碩士學(xué)位論文 第3章 基于節(jié)能的圖像顏色優(yōu)化算法研究第3章 基于節(jié)能的圖像顏色優(yōu)化算法研究 方法研究目標(biāo)正如在緒論中提到的，傳統(tǒng)顯示器節(jié)能的硬件實現(xiàn)方法需要對顯示內(nèi)容的圖像處理進(jìn)行配合，通過獲取圖像內(nèi)容的亮度分布進(jìn)行分析，而最直接的方法就是線性地均勻降低圖像的整體亮度，這樣就能獲得直接的節(jié)能效果。Laplacian邊界檢測的效果較為適中，但其采用二階導(dǎo)數(shù)形式，因此極易受到噪聲的影響。如圖 23所示，Roberts邊界檢測的圖像紋理較清楚,但整個圖像過于模糊。本節(jié)中討論和比較了幾種常用的邊界檢測算子，一階導(dǎo)數(shù)算子Roberts、Prewitt、Sobel和二階導(dǎo)數(shù)算子Laplacian等4種常用的圖像邊界檢測算子。不過Laplacian算子對邊界的定位還是比較準(zhǔn)的。與Prewitt相似，Sobel算子也是通過像素平均來實現(xiàn)的，也有一定的抗噪能力，同時圖像也產(chǎn)生了一定的模糊。Sobel算子對噪聲有抑制作用，因此不會出現(xiàn)很多孤立的邊界像素點。Prewitt算子有一定的抗噪能力。Roberts算子對邊界定位比較準(zhǔn)，所以分割結(jié)果的邊界寬度比Prewitt分割的窄。在實際實現(xiàn)中，圖像的每個像素與這些卷積核逐個進(jìn)行卷積，生成圖像邊界檢測的結(jié)果圖像。Laplace算子有一個缺點是它對圖像中的某些邊界產(chǎn)生雙重響應(yīng)。Laplacian算子對噪聲比較敏感，所以圖像一般先經(jīng)過平滑處理。Laplacian算子對于邊界是敏感的。Laplacian算子就利用了二階導(dǎo)數(shù)信息。之前的這些算子都是一階導(dǎo)數(shù)算子，在圖像處理中經(jīng)常使用的還有二階導(dǎo)數(shù)算子，例如Laplacian算子就是二階微分算子。Sobel算子通常用于水平和垂直邊界的一個簡單檢測算子。Sobel算子和Prewitt算子都是加權(quán)平均，但是Sobel算子認(rèn)為，鄰域的像素對當(dāng)前像素產(chǎn)生的影響不是等價的，而在Prewitt算子中像素鄰域?qū)Ξ?dāng)前像素產(chǎn)生的影響是等價的。Sobel算子不像普通梯度算子那樣用兩個像素的差值，這就使Sobel算子具備了兩個優(yōu)點：首先，由于引入了平均因素，因而對圖像中的隨機(jī)噪聲有一定的平滑作用；其次，由于它是相隔兩行或兩列之差分，故邊界兩側(cè)元素得到了增強(qiáng)，邊界顯得粗而亮。但是像素平均相當(dāng)于對圖像的低通濾波，所以Prewitt算子對邊界的定位不如Roberts算子。對于每一個方向的梯度，可以用模板對應(yīng)的9個像素與模板相應(yīng)的元素相乘相加得到，其計算過程與Roberts算子相似。對于每個算子我們只給出前面三個3*3掩模，其他的可以通過簡單旋轉(zhuǎn)得到。對于3*3的卷積掩模，在8個可能方向估計梯度，具有最大梯度模的卷積給出梯度方向。Roberts算子邊界定位準(zhǔn)，然而主要缺點是其對噪聲的高度敏感性，原因在于僅使用了很少幾個像素來近似梯度，適用于邊界明顯而且噪聲較少的圖像分割。由于它只使用當(dāng)前像素的2*2鄰域，是最簡單的梯度算子，所以計算非常簡單。構(gòu)造這些算子的基本思想是統(tǒng)一的，它們的區(qū)別主要是模板的大小和元素值的不同。通常是對二維圖像的x方向y方向分別用不同的模板，這兩個模板組合起來可以構(gòu)成一個梯度算子。傳統(tǒng)的邊界檢測正是利用了這一點，對圖像的各個像素進(jìn)行一階微分或二階微分確定邊界像素點。經(jīng)典的邊界檢測方法是考察圖像的每個像素的某個鄰域內(nèi)灰度的變化，利用邊界鄰近一階或二階導(dǎo)數(shù)變化規(guī)律，用簡單的方法檢測邊界，這種方法稱為邊界檢測局部算子法。1）邊界檢測算法主要是基于圖像強(qiáng)度的一階和二階導(dǎo)數(shù)，但導(dǎo)數(shù)的計算對噪聲敏感，因此必須使用濾波器來改善與噪聲有關(guān)的邊界檢測器的性能；2）增強(qiáng)邊界的基礎(chǔ)是確定圖像各點鄰域強(qiáng)度的變化值，增強(qiáng)算法可以將鄰域強(qiáng)度值有顯著變化的點突出顯示出來，邊界增強(qiáng)一般是通過計算梯度模來完成的；3）在圖像中有許多點的梯度模比較大，而這些點在特定的應(yīng)用領(lǐng)域中并不是邊界，所有應(yīng)該用某種方法確定哪些點是邊界，其中最簡單的邊界檢測判斷是梯度模閥值判斷；4）如果某一應(yīng)用場合要求確定邊界位置，則邊界的位置在子像素分辨率上來估計，邊界的方位也可以被估計出來。還有一些邊界是模糊的，其對應(yīng)的灰度變化是大量的像素值緩慢改變引起的，這些不同類型的灰度變化在圖像中是不可分的。如果分別地看每個圖像的像素，就會發(fā)現(xiàn)像素之間的灰度級在變化。然而，在實際圖像處理中，精確檢測邊界具有相當(dāng)?shù)碾y度。即使很簡單的景物中也包含著大量的細(xì)節(jié)，在圖像中表現(xiàn)為強(qiáng)度的非連續(xù)性。所謂邊界是指其周圍像素灰度有階躍變化或屋頂變化的那些像素的集合。本文提出的圖像自適應(yīng)亮度優(yōu)化方法的第一個步驟也是通過邊界檢測獲得圖像的重要特征區(qū)域。邊界檢測是圖像分割、目標(biāo)區(qū)域識別、區(qū)域形狀提取等圖像分析領(lǐng)域十分重要的基礎(chǔ), 是圖像識別中提取圖像特征的一個重要內(nèi)容。 (a) 原始圖像 (b) 亮度降低之后的結(jié)果圖 21 圖像亮度調(diào)節(jié)實例 圖像邊界檢測邊界檢測是圖像處理領(lǐng)域的重要內(nèi)容之一，是進(jìn)行模式識別和圖像信息提取的基本手段[28]。但是該方法有一定的局限性，只能處理部分的梯度域問題，如泊松圖像合成或Panorama等具有較好的初始解僅需在邊界上進(jìn)行優(yōu)化的問題。Szeliski最近提出了一個基于預(yù)計算的共軛梯度法，可以很大程度上加快共軛梯度法的收斂速度，不過他們的算法對內(nèi)存的需求比較大。由于在內(nèi)部循環(huán)處理了ATAx的計算，而ATA相當(dāng)于一個拉普拉斯算子，所以系數(shù)矩陣ATA不需要顯式地存儲下來，大大減小了算法對內(nèi)存的需求。由于上述線性方程組中方程數(shù)較多，通常達(dá)到幾百萬，相應(yīng)地系數(shù)矩陣ATA中元素的個數(shù)會達(dá)到萬億的數(shù)量級，要對這樣的矩陣求逆是非常困難的，所以一般采用用迭代法求解。梯度域問題一般最后可以抽象為一個過約束問題（如泊松方程），假設(shè)X是n維向量，那么就有n個未知量(每個像素對應(yīng)一個變量)，由于每個像素上有垂直和水平梯度的雙重約束，分別對應(yīng)兩個線性方程，那么一共有2n個線性方程，可以表示為：A是2n*n維矩陣，很顯然這是一個過約束問題，一般情況下，不存在滿足上式的解。例如，將圖像A的一塊區(qū)域復(fù)制到圖像B，區(qū)域內(nèi)部的梯度是來自復(fù)制的圖像塊，而邊界上的顏色則固定為B中對應(yīng)點的顏色。問題一般可以描述為：求解x，使得x的垂直梯度和水平梯度跟給定的▽Ix，▽Iy最吻合。例如本質(zhì)圖的恢復(fù)，陰影的去除，閃光照片瑕疵的去除，圖像的色調(diào)遷移，alpha matting等。Agarwala等人[25]先后將梯度域處理應(yīng)用到了圖像和視頻的合成(Panorama)中去。Preze等人[26]借助梯度域的處理方法，可以無縫地將一個圖像中的區(qū)域粘貼到另一個圖像中去。在給出梯度域上的約束后，反求圖像，使得圖像的梯度與給定的梯度約束盡可能一致[37]。最近幾年，梯度域上的處理方法變得非常流行。Dargo等人[19]在03年歐洲圖形學(xué)年會上提出了自適應(yīng)的log映射方法，作為全局映射算子，可以方便有效地進(jìn)行色調(diào)映射。接著Larson等[16]根據(jù)直方圖，提出了一種改進(jìn)的直方圖定制方法，可以更充分地利用亮度的動態(tài)范圍。Tumblin[27]等最早提出了色調(diào)映射的問題，即如何在動態(tài)范圍比較小的設(shè)備上顯示高動態(tài)范圍的圖像。第2章 研究中需要的工具綜述本章對論文研究所需要的理論工具作一個綜述，包括圖像亮度優(yōu)化、圖像邊界檢測等核心圖像處理算法[35]。 內(nèi)容安排本文的主要內(nèi)容安排如下：第2章綜述了本文研究中用到的圖像處理相關(guān)的工具；第3章詳細(xì)描述了基于節(jié)能的圖像亮度自適應(yīng)優(yōu)化方法，并描述了一個配合方法使用驗證的圖像處理軟件原型的交互界面和技術(shù)實現(xiàn)；第4章介紹了本文的方法在一般圖像上進(jìn)行的實驗并展示了實驗結(jié)果和用戶研究。為了方便用戶使用本文提出的算法進(jìn)行圖像處理，并對圖像處理結(jié)果進(jìn)行比較與保存操作，本文設(shè)計并實現(xiàn)了一個通用的圖像處理原型軟件，提供圖像處理的基本操作，并集成本文提出的圖像自適應(yīng)亮度優(yōu)化算法。本文主要采用客觀實驗和用戶測試的方法實現(xiàn)面向節(jié)能的圖像顏色和亮度優(yōu)化方法。本文主要面向OLED顯示器，對圖像的基于節(jié)能的自適應(yīng)亮度優(yōu)化進(jìn)行了相關(guān)研究，提出并實現(xiàn)圖像的自適應(yīng)亮度優(yōu)化算法。Fattal等人[19]在處理高動態(tài)范圍圖像時基于交互指定區(qū)域的亮度理想值構(gòu)造調(diào)整后圖像的梯度約束[18]，使得結(jié)果圖像的梯度與給定約束盡可能一致，從而求得圖像亮度. Perez等人[26]借助梯度域的處理方法，可以無縫地將一幅圖像中的區(qū)域組合到另一幅圖像中。但該類算法一般需要相對復(fù)雜的參數(shù)設(shè)置[16] 或用戶交互[17]，使用不夠方便；另外由于圖像不同區(qū)域之間存在一定的制約關(guān)系，采用全局映射函數(shù)往往需要犧牲高亮區(qū)域的對比度來增強(qiáng)欠曝區(qū)域的對比度，從而導(dǎo)致曝光充分區(qū)域的對比度有所降低，以致丟失原圖中所具有的亮度層次感，這是全局映射算子的共有缺點。研究自動快速的圖像增強(qiáng)算法，特別是自適應(yīng)的亮度調(diào)整算法有非常重要的理論和現(xiàn)實意義。早期的一些亮度調(diào)整的算法過于簡單，自動調(diào)整的效果并不是很理想，稍后也出現(xiàn)了一些較為復(fù)雜的算法，但其計算的復(fù)雜度相對較高，且需要一定的用戶交互，使用不夠方便。近年來，隨著科技的發(fā)展和人們生活水平的提高，數(shù)碼產(chǎn)品尤其是數(shù)碼相機(jī)得到了廣泛應(yīng)用。常見的處理有圖像數(shù)字化、圖像編碼、圖像增強(qiáng)、圖像復(fù)原、圖像分割和圖像分析等。然而，圖像屬于二維信號，和一維信號相比，它有自己特殊的一面，處理的方式和角度也有所不同。常見的處理有圖像數(shù)字化、圖像編碼、圖像增強(qiáng)、圖像復(fù)原、圖像分割和圖像分析等。圖像處理是信號處理的子類，圖像處理一般指數(shù)字圖像處理[23,24]。目前大多數(shù)的圖像是以數(shù)字形式存儲，因而圖像處理很多情況下指數(shù)字圖像處理。 圖像顏色與亮度優(yōu)化圖像處理，是對圖像進(jìn)行分析、加工和處理，使其滿足視覺、心理以及其他要求的技術(shù)[20,21,22]。此外，線性地降低顯示器亮度仍然被認(rèn)為是一種節(jié)能顯示的重要策略，然而這樣可能會造成圖像顯示質(zhì)量的下降，使得用戶不容易分辨圖像的重要內(nèi)容，因此也需要從圖像基礎(chǔ)上解決這一問題。比如，Dalton等人提出了一種利用底層的人臉跟蹤的方法，當(dāng)用戶離開顯示器時自動降低其亮度或直接關(guān)閉顯示器[7]。由于OLED顯示器的顯示功率和顏色直接相關(guān)，因此Dong 等人提出了一種基于貪婪算法的顏色映射的顏色設(shè)計方法，使得OLED顯示器在顯示用戶交互界面的時候能獲得電能消耗的最優(yōu)化，并通過約束條件保證了用戶交互效率，他們通過實驗證明顏色映射方法在用戶交互界面的應(yīng)用中可以獲得最高75%的功率節(jié)約[8]。因為在一般的用戶與系統(tǒng)進(jìn)行界面交互的行為中，通常只對當(dāng)前的活動窗口保持較高的注意力，而對其他非活動窗口幾乎不關(guān)心，因此降低非活動窗口的亮度不會影響到用戶交互行為。一個經(jīng)過實際測量的、其中不同的色調(diào)（紅色、綠色、藍(lán)色）的功率消耗不同[8]。Dong等人在文獻(xiàn)[8]中給出了OLED顯示器的一般功率消耗模型如下：其中，函數(shù)f(x)，g(x)和h(x)分別表示單個像素中，紅、綠、藍(lán)發(fā)光單元在亮度為x時候的功率值，E0表示顯示器的基礎(chǔ)功率，而L則表示顯示內(nèi)容圖像的像素總量。OLED顯示器的功率消耗模型與其顯示內(nèi)容的顏色成分相關(guān)，可以通過對圖像顏色與亮度的優(yōu)化設(shè)計，達(dá)到顯示內(nèi)容的節(jié)能顯示。Harter等人則提出將屏幕區(qū)域進(jìn)行分塊，每個分塊區(qū)域內(nèi)使用一個背光光源，顯示器內(nèi)建一個分區(qū)功率管理模塊，通過對顯示內(nèi)容的分析實現(xiàn)分區(qū)域的背光功率調(diào)節(jié)，從而實現(xiàn)LCD顯示器的節(jié)能顯示[6]，不過這種方法需要對顯示的圖像內(nèi)容進(jìn)行顏色成分的分析，市場上具有這一技術(shù)的顯示器比較少。由于發(fā)光二極管提供了更加均勻的白色光源，亮度輸出效率也比較高，因此使顯示器獲得更好的對比度和更均勻的亮度，在獲得相同顯示效果的前提下降低了顯示器的功率。對于這類LCD顯示器，由于背光光源的電能消耗在整個顯示器系統(tǒng)中占絕對的優(yōu)勢，因此也就決定了其功率消耗相對恒定，主要與背光光源的電流呈正比的關(guān)系。目前，顯示器的主要技術(shù)是基于薄膜場效應(yīng)晶體管的液晶顯示器（Thin Film Transistor Liquid Crystal Display, TFTLCD），通過改變每個像素中顏色單元的透光率獲得不同顏色的顯示，因此其一般需要一個背光光源。通過鏈接的方式返回Google搜索結(jié)果，其主頁宣稱節(jié)約電能已達(dá)3800千瓦時。舉個例子，著名的搜索引擎的主頁面一般都非常簡單，比如Google的頁面是純白色背景上的一個搜索框和少量鏈接