【正文】 TFTLCD），通過改變每個像素中顏色單元的透光率獲得不同顏色的顯示，因此其一般需要一個背光光源。TFTLCD顯示器在當(dāng)前和過去的十幾年中一直比較流行，大部分使用了冷陰極熒光燈作為背光光源為顯示器提供背光照明。對于這類LCD顯示器，由于背光光源的電能消耗在整個顯示器系統(tǒng)中占絕對的優(yōu)勢，因此也就決定了其功率消耗相對恒定，主要與背光光源的電流呈正比的關(guān)系。隨著技術(shù)進(jìn)步，背光光源可以通過發(fā)光二極管產(chǎn)生。由于發(fā)光二極管提供了更加均勻的白色光源，亮度輸出效率也比較高，因此使顯示器獲得更好的對比度和更均勻的亮度，在獲得相同顯示效果的前提下降低了顯示器的功率。針對TFTLCD 的一般節(jié)能措施通常是通過材料、制造等技術(shù)的提高增加像素的透光率，從而可以降低顯示器的背光光源而降低顯示功率[4,5]。Harter等人則提出將屏幕區(qū)域進(jìn)行分塊，每個分塊區(qū)域內(nèi)使用一個背光光源，顯示器內(nèi)建一個分區(qū)功率管理模塊，通過對顯示內(nèi)容的分析實(shí)現(xiàn)分區(qū)域的背光功率調(diào)節(jié)，從而實(shí)現(xiàn)LCD顯示器的節(jié)能顯示[6]，不過這種方法需要對顯示的圖像內(nèi)容進(jìn)行顏色成分的分析，市場上具有這一技術(shù)的顯示器比較少。最近，一種基于有機(jī)發(fā)光二極管（Organic lightingemitting diode，OLED）的顯示器通過像素中的顏色單元自發(fā)光的形式顯示顏色，因此避免了使用背光光源 [3]。OLED顯示器的功率消耗模型與其顯示內(nèi)容的顏色成分相關(guān)，可以通過對圖像顏色與亮度的優(yōu)化設(shè)計(jì)，達(dá)到顯示內(nèi)容的節(jié)能顯示。OLED顯示器的每個像素均包含了R（Red）、G（Green）、B（Blue）色彩模型中三個原色的發(fā)光單元，通過不同的亮度調(diào)節(jié)形成不同的顏色變化。Dong等人在文獻(xiàn)[8]中給出了OLED顯示器的一般功率消耗模型如下：其中，函數(shù)f(x)，g(x)和h(x)分別表示單個像素中，紅、綠、藍(lán)發(fā)光單元在亮度為x時候的功率值，E0表示顯示器的基礎(chǔ)功率，而L則表示顯示內(nèi)容圖像的像素總量。也就是說，除了一個基礎(chǔ)功率E0，OLED顯示器的功率是所有像素獨(dú)立功率的和。一個經(jīng)過實(shí)際測量的、其中不同的色調(diào)（紅色、綠色、藍(lán)色）的功率消耗不同[8]。圖 12 OLED顯示器對于紅、綠、藍(lán)純色的功率消耗曲線OLED顯示器的這個特性，使得針對其的節(jié)能顯示方案的研究更加具有挑戰(zhàn)和靈活性，因此Iyer等人直接通過降低用戶交互界面中非活動窗口的亮度的方式，實(shí)現(xiàn)針對OLED顯示器的節(jié)能顯示 [9]。因?yàn)樵谝话愕挠脩襞c系統(tǒng)進(jìn)行界面交互的行為中，通常只對當(dāng)前的活動窗口保持較高的注意力，而對其他非活動窗口幾乎不關(guān)心，因此降低非活動窗口的亮度不會影響到用戶交互行為。在硬件實(shí)現(xiàn)層次上，Shin等人受到傳統(tǒng)背光功率管理模型的技術(shù)的啟發(fā)，將其應(yīng)用到了OLED 顯示器中，并提出了動態(tài)電壓調(diào)整（dynamic voltage scaling，DVS）的新技術(shù)，該技術(shù)允許在幾乎不產(chǎn)生人眼感知差別的前提下，% 的功率節(jié)約[10]。由于OLED顯示器的顯示功率和顏色直接相關(guān)，因此Dong 等人提出了一種基于貪婪算法的顏色映射的顏色設(shè)計(jì)方法，使得OLED顯示器在顯示用戶交互界面的時候能獲得電能消耗的最優(yōu)化，并通過約束條件保證了用戶交互效率，他們通過實(shí)驗(yàn)證明顏色映射方法在用戶交互界面的應(yīng)用中可以獲得最高75%的功率節(jié)約[8]。另一方面，也有一些研究則根據(jù)用戶的交互行為，采用了一些自適應(yīng)的亮度調(diào)整方案。比如，Dalton等人提出了一種利用底層的人臉跟蹤的方法，當(dāng)用戶離開顯示器時自動降低其亮度或直接關(guān)閉顯示器[7]。Moshnyaga等人則使用視頻攝像頭實(shí)現(xiàn)了類似的方法[1]。此外，線性地降低顯示器亮度仍然被認(rèn)為是一種節(jié)能顯示的重要策略，然而這樣可能會造成圖像顯示質(zhì)量的下降，使得用戶不容易分辨圖像的重要內(nèi)容，因此也需要從圖像基礎(chǔ)上解決這一問題。在這一領(lǐng)域一些學(xué)者提出了不少方法，比如通過增強(qiáng)自然圖像的對比度的方法使得顯示器亮度降低時圖像質(zhì)量的損失更少[11]。 圖像顏色與亮度優(yōu)化圖像處理，是對圖像進(jìn)行分析、加工和處理，使其滿足視覺、心理以及其他要求的技術(shù)[20,21,22]。圖像處理是信號處理在圖像域上的一個應(yīng)用。目前大多數(shù)的圖像是以數(shù)字形式存儲，因而圖像處理很多情況下指數(shù)字圖像處理。此外，基于光學(xué)理論的處理方法依然占有重要的地位。圖像處理是信號處理的子類，圖像處理一般指數(shù)字圖像處理[23,24]。數(shù)字圖像是指用數(shù)字?jǐn)z像機(jī)、掃描儀等設(shè)備經(jīng)過采樣和數(shù)字化得到的一個大的二維數(shù)組，該數(shù)組的元素稱為像素，其值為一整數(shù)，稱為灰度值。常見的處理有圖像數(shù)字化、圖像編碼、圖像增強(qiáng)、圖像復(fù)原、圖像分割和圖像分析等。傳統(tǒng)的一維信號處理的方法和概念很多仍然可以直接應(yīng)用在圖像處理上，比如降噪、量化等。然而，圖像屬于二維信號，和一維信號相比，它有自己特殊的一面，處理的方式和角度也有所不同。圖像處理技術(shù)的主要內(nèi)容包括圖像壓縮，增強(qiáng)和復(fù)原，匹配、描述和識別3個部分。常見的處理有圖像數(shù)字化、圖像編碼、圖像增強(qiáng)、圖像復(fù)原、圖像分割和圖像分析等。圖像處理一般指數(shù)字圖像處理。近年來，隨著科技的發(fā)展和人們生活水平的提高，數(shù)碼產(chǎn)品尤其是數(shù)碼相機(jī)得到了廣泛應(yīng)用。由于各種各樣的原因，人們經(jīng)常會拍攝到一些曝光不足、效果不好的照片，因此需要有一種方法，可以提高照片的質(zhì)量以滿足人們的需求。早期的一些亮度調(diào)整的算法過于簡單，自動調(diào)整的效果并不是很理想，稍后也出現(xiàn)了一些較為復(fù)雜的算法，但其計(jì)算的復(fù)雜度相對較高，且需要一定的用戶交互，使用不夠方便。圖像亮度調(diào)整算法經(jīng)歷了一個從簡單到復(fù)雜、從整體到局部的過程。研究自動快速的圖像增強(qiáng)算法，特別是自適應(yīng)的亮度調(diào)整算法有非常重要的理論和現(xiàn)實(shí)意義。早期的亮度調(diào)整算法如直方圖定制[14]、增益2偏差調(diào)整(Gain2offset)[15]等算子處理局部，這些算法大都使用一個類似于γ函數(shù)的全局色調(diào)映射函數(shù)非線性地拉伸圖像亮度，使得圖像整體對比度得到增強(qiáng)，從生理學(xué)角度講，人類的感知能力與外界的刺激對數(shù)成比例，因此這些調(diào)整算法都是在亮度的對數(shù)域上進(jìn)行操作。但該類算法一般需要相對復(fù)雜的參數(shù)設(shè)置[16] 或用戶交互[17]，使用不夠方便；另外由于圖像不同區(qū)域之間存在一定的制約關(guān)系，采用全局映射函數(shù)往往需要犧牲高亮區(qū)域的對比度來增強(qiáng)欠曝區(qū)域的對比度，從而導(dǎo)致曝光充分區(qū)域的對比度有所降低，以致丟失原圖中所具有的亮度層次感，這是全局映射算子的共有缺點(diǎn)。鑒于全局算子的上述缺點(diǎn)，近幾年一些學(xué)者提出了基于梯度域的亮度調(diào)整算法。Fattal等人[19]在處理高動態(tài)范圍圖像時基于交互指定區(qū)域的亮度理想值構(gòu)造調(diào)整后圖像的梯度約束[18]，使得結(jié)果圖像的梯度與給定約束盡可能一致，從而求得圖像亮度. Perez等人[26]借助梯度域的處理方法，可以無縫地將一幅圖像中的區(qū)域組合到另一幅圖像中。 本章小結(jié)綜上所述，目前在圖像的節(jié)能顯示處理方面，存在一些尚未解決的顏色設(shè)計(jì)與亮度優(yōu)化問題。本文主要面向OLED顯示器，對圖像的基于節(jié)能的自適應(yīng)亮度優(yōu)化進(jìn)行了相關(guān)研究，提出并實(shí)現(xiàn)圖像的自適應(yīng)亮度優(yōu)化算法?；诠?jié)能的自適應(yīng)亮度優(yōu)化以圖像作為輸入，實(shí)時生成亮度優(yōu)化的圖像結(jié)果，該方法對一般圖像在OLED顯示器顯示具有節(jié)能效果，此外該方法對于普通圖像或地圖在取得節(jié)能顯示效果的同時，具有一定的感知特征增強(qiáng)效果。本文主要采用客觀實(shí)驗(yàn)和用戶測試的方法實(shí)現(xiàn)面向節(jié)能的圖像顏色和亮度優(yōu)化方法。本文所使用的實(shí)驗(yàn)數(shù)據(jù)包括一般圖像和具有重要信息的二維地圖圖像。為了方便用戶使用本文提出的算法進(jìn)行圖像處理，并對圖像處理結(jié)果進(jìn)行比較與保存操作，本文設(shè)計(jì)并實(shí)現(xiàn)了一個通用的圖像處理原型軟件，提供圖像處理的基本操作，并集成本文提出的圖像自適應(yīng)亮度優(yōu)化算法。該軟件接受一般圖像文件的讀取，允許用戶對圖像進(jìn)行基本的操作（如亮度/對比度的調(diào)整、圖像結(jié)果保存等），并方便用戶對圖像處理過程中參數(shù)調(diào)節(jié)等操作進(jìn)行實(shí)時的預(yù)覽。 內(nèi)容安排本文的主要內(nèi)容安排如下：第2章綜述了本文研究中用到的圖像處理相關(guān)的工具；第3章詳細(xì)描述了基于節(jié)能的圖像亮度自適應(yīng)優(yōu)化方法，并描述了一個配合方法使用驗(yàn)證的圖像處理軟件原型的交互界面和技術(shù)實(shí)現(xiàn)；第4章介紹了本文的方法在一般圖像上進(jìn)行的實(shí)驗(yàn)并展示了實(shí)驗(yàn)結(jié)果和用戶研究。最后，本文第5章進(jìn)行了總結(jié)與展望。第2章 研究中需要的工具綜述本章對論文研究所需要的理論工具作一個綜述，包括圖像亮度優(yōu)化、圖像邊界檢測等核心圖像處理算法[35]。 圖像亮度優(yōu)化圖像的亮度調(diào)整，如欠曝光圖像調(diào)整和高清晰圖像(HDR)的處理有很大的相似之處，如果我們將HDR圖像線性變化為普通低動態(tài)范圍圖像，得到的結(jié)果跟欠曝光的圖像非常相似[36]。Tumblin[27]等最早提出了色調(diào)映射的問題，即如何在動態(tài)范圍比較小的設(shè)備上顯示高動態(tài)范圍的圖像。他們根據(jù)人眼對亮度和對比度的敏感程度，提出了一個全局映射函數(shù)。接著Larson等[16]根據(jù)直方圖，提出了一種改進(jìn)的直方圖定制方法，可以更充分地利用亮度的動態(tài)范圍。同時避免普通直方圖定制中產(chǎn)生的平坦區(qū)域被拉伸的問題[38]。Dargo等人[19]在03年歐洲圖形學(xué)年會上提出了自適應(yīng)的log映射方法，作為全局映射算子，可以方便有效地進(jìn)行色調(diào)映射。Reinhard等人[18]根據(jù)攝影中的“dodge and burning”技術(shù)在02年Siggraph上提出了一種類似的色調(diào)映射方法。最近幾年，梯度域上的處理方法變得非常流行。該方法并不是直接對像素的亮度值進(jìn)行操作，而是間接地在梯度域上進(jìn)行控制和約束。在給出梯度域上的約束后，反求圖像，使得圖像的梯度與給定的梯度約束盡可能一致[37]。該方法最早由Fattal等人[19]在高動態(tài)范圍的圖像處理中提出，先對圖像的梯度進(jìn)行多尺度變換，然后反求出亮度映射后的圖像。Preze等人[26]借助梯度域的處理方法，可以無縫地將一個圖像中的區(qū)域粘貼到另一個圖像中去。Adobe公司的Healing Brush也用到了類似的技術(shù)。Agarwala等人[25]先后將梯度域處理應(yīng)用到了圖像和視頻的合成(Panorama)中去。除了圖像和視頻的合成，梯度域處理方法還有很廣泛的應(yīng)用。例如本質(zhì)圖的恢復(fù)，陰影的去除，閃光照片瑕疵的去除，圖像的色調(diào)遷移，alpha matting等。梯度域問題是在灰度圖像上進(jìn)行處理的，將每個像素的亮度值看作一個未知變量，整個圖像就可以看作一個未知向量x。問題一般可以描述為：求解x，使得x的垂直梯度和水平梯度跟給定的▽Ix，▽Iy最吻合。▽Ix，▽Iy的給定根據(jù)不同的應(yīng)用可以有不同的方法。例如，將圖像A的一塊區(qū)域復(fù)制到圖像B，區(qū)域內(nèi)部的梯度是來自復(fù)制的圖像塊，而邊界上的顏色則固定為B中對應(yīng)點(diǎn)的顏色。而在梯度域的HDR處理中，則是多尺度地改變原始的梯度，根據(jù)初始梯度的大小，相應(yīng)地進(jìn)行放縮。梯度域問題一般最后可以抽象為一個過約束問題（如泊松方程），假設(shè)X是n維向量，那么就有n個未知量(每個像素對應(yīng)一個變量)，由于每個像素上有垂直和水平梯度的雙重約束，分別對應(yīng)兩個線性方程，那么一共有2n個線性方程，可以表示為：A是2n*n維矩陣，很顯然這是一個過約束問題，一般情況下，不存在滿足上式的解。通常的方法是求一個近似解，使得(Axb)的絕對值最小化，該近似解滿足下面的方程：由于ATA是稀疏的帶狀方陣，每行最多5個非零元素，可以證明這樣的線性方程組是可以求解的。由于上述線性方程組中方程數(shù)較多，通常達(dá)到幾百萬，相應(yīng)地系數(shù)矩陣ATA中元素的個數(shù)會達(dá)到萬億的數(shù)量級，要對這樣的矩陣求逆是非常困難的，所以一般采用用迭代法求解。通常用的方法是共軛梯度法。由于在內(nèi)部循環(huán)處理了ATAx的計(jì)算，而ATA相當(dāng)于一個拉普拉斯算子，所以系數(shù)矩陣ATA不需要顯式地存儲下來，大大減小了算法對內(nèi)存的需求?？焖偾蠼膺@一問題有非常重要的現(xiàn)實(shí)意義，有不少工作研究了其快速求解。Szeliski最近提出了一個基于預(yù)計(jì)算的共軛梯度法，可以很大程度上加快共軛梯度法的收斂速度，不過他們的算法對內(nèi)存的需求比較大。Agawala[25]等在2007年Siggraph上提出了一種近似求解部分梯度域問題的方法，大大降低了內(nèi)存需求與計(jì)算時間。但是該方法有一定的局限性，只能處理部分的梯度域問題，如泊松圖像合成或Panorama等具有較好的初始解僅需在邊界上進(jìn)行優(yōu)化的問題。圖 21展示了亮度調(diào)節(jié)對圖像質(zhì)量的影響，直接降低圖像的亮度會潛在地造成圖像中信息的損失，如圖 21(b)所示。 (a) 原始圖像 (b) 亮度降低之后的結(jié)果圖 21 圖像亮度調(diào)節(jié)實(shí)例 圖像邊界檢測邊界檢測是圖像處理領(lǐng)域的重要內(nèi)容之一，是進(jìn)行模式識別和圖像信息提取的基本手段[28]。一方面，圖像的邊界往往對應(yīng)于生成圖像的物理世界中對象的重要特征，也是圖像分割所依賴的重要特征；另一方面，邊界檢測使圖像處理的數(shù)據(jù)量大大減少，有利于后續(xù)的特征提取和模式識別，因此對邊界檢測算法的研究得到了廣泛的關(guān)注。邊界檢測是圖像分割、目標(biāo)區(qū)域識別、區(qū)域形狀提取等圖像分析領(lǐng)域十分重要的基礎(chǔ), 是圖像識別中提取圖像特征的一個重要內(nèi)容。圖像理解和分析的第一步往往就是邊界檢測，目前它已成為機(jī)器視覺研究領(lǐng)域最活躍的課題之一，在工程應(yīng)用中占有十分重要的地位。本文提出的圖像自適應(yīng)亮度優(yōu)化方法的第一個步驟也是通過邊界檢測獲得圖像的重要特征區(qū)域。圖像的邊界是圖像的基本特征。所謂邊界是指其周圍像素灰度有階躍變化或屋頂變化的那些像素的集合。邊界廣泛地存在于物體與背景之間、物體與物體之間、基元與基元之間，它的存在是灰度不連續(xù)造成的。即使很簡單的景物中也包含著大量的細(xì)節(jié)，在圖像中表現(xiàn)為強(qiáng)度的非連續(xù)性。由于邊界檢測的重要性, 人們提出了許多適用于不同場合的邊界檢測算法[39]。然而，在實(shí)際圖像處理中，精確檢測邊界具有相當(dāng)?shù)碾y度。對于自然圖像，檢測的主要困難在于這些變化發(fā)生在一個很寬的尺度范圍內(nèi)。如果分別地看每個圖像的像素，就會發(fā)現(xiàn)像素之間的灰度級在變化。實(shí)際圖像中的大多數(shù)邊界是銳邊，其灰度變化是由少量像素的陡變組成。還有一些邊界是模糊的，其對應(yīng)的灰度變化是大量的像素值緩慢改變引起的，這些不同類型的灰度變化在圖像中是不可分的。 邊界檢測的基本步驟邊界檢測的基本步驟包括濾波、增強(qiáng)、檢測和定位。1）邊界檢測算法主要是基于圖像強(qiáng)度的一階和二階導(dǎo)數(shù)，但導(dǎo)數(shù)的計(jì)算對噪聲敏感，因此必須使用濾