【正文】 基于距離的損失函數(shù)一致地優(yōu)于基于 KL發(fā)散的 4個標準 顯著 性度量。 綜合課程設計（計算機） V 3 本文要點 顯著 性估計方法通常試圖基于 顯著 性提示（諸如局部邊緣或塊狀結構）或者基于在固定和非固定圖像塊上訓練的二值 顯著 分類器的分數(shù)來對局部 顯著 性進行建模。 最近，方法已經試圖使用像素級回歸來直接預測地圖。 然而，視覺注意是一個根本上隨機的過程，因為它是一個感性的，因此是主觀的現(xiàn)象。 在對 39個觀察者觀察的 300 張圖像的分析中， [17]的作者發(fā)現(xiàn)，一組 n 個觀察者的固定與來自不同組 n 個觀察者的固定相匹配， AUC 分數(shù)隨著 n 值的增加而增加 。 發(fā)現(xiàn)人類表現(xiàn)的下限為 85％ AUC。 因此，觀察者之間存在高一致性。 在 ??n 的極限，該 AUC 分數(shù)為 92％，因此可以被認為是 顯著 性估計性能的現(xiàn)實上限。 地面真實 顯著 圖是從多個觀察者的聚 集的固定構造的，忽略任何時間固定信息。具有高固定密度的區(qū)域被解釋為受到更多的注意。由于注意被賦予局部區(qū)域而不是精確像素，二維高斯濾波通常被應用于二元固定圖以構建平滑的 “ 注意的景觀 ”[44] （參見圖 1，中間圖像為例）。我們的目標是預測這種注意的景觀，或 顯著 圖。給定地圖基于的固定的隨機性質，以及地圖基于沒有時間信息的聚合固定的事實，我們建議將 顯著 圖建模為像素上的概率分布，其中每個值對應于概率的像素被固定。也就是說，我們將 顯著 圖表示為廣義伯努利分布 ),( 1 Ni pppp ??? 其中 p 是形成圖像的一組像素的概率分布， ip 是概率的像素 i 被固定在上面， Np是圖像像素的數(shù)量。雖然這個公式有點簡單，它將允許新的損失函數(shù)高度訓練深度模型與反向傳播。接下來，我們首先描述這些損失函數(shù)，然后描述我們的模型實現(xiàn)。 學習預測固定的概率 我們采用端到端的 學習框架，其中對成像的圖像和地面真實 顯著 圖 g 被建模為分布的全卷積網絡進行訓練。 網絡輸出預測分布 p 。 使用 softmax 激活函數(shù)來計算兩個概率分布 g 和 p ： ?? gjpixjxi eep， ?? gjgixjxi eeg， （ 1） （ gx ）或預測地圖（ px ）的非歸一化 顯著 性響應值的集合，其中),( 1 Ni xxxx ??? 。 為了計算 gx ，從地面真實眼圖首先生成二進制固定圖 b 。 綜合課程設計（計算機） VI 然后二進制映射 b 與高斯核進行卷積，如本節(jié)前面所述，以產生 y 。 然后將平滑的映射 y 標準化為 ]m in[]m a x[ ]m in[ yy yyx igi ???. （ 2） 我們從我們深層網絡的最后一個響應圖直接生成 px ，其架構在下一節(jié)中描述。我們建議將 softmax 函數(shù)與適用于概率分布的距離測量相結合，以便構造用于訓練網絡的目標函數(shù)。這種組合的靈感來自流行和有效的 softmax /交叉熵損失配對，其通常用于訓練用于多項 Logistic 回歸的模型。在我們的例子中，我們建議將 softmax 函數(shù)與 2? ，總變差，余弦和 Bhattacharyya 距離度量結合起來，如表 1所示。據(jù)我們所知，這些配對以前沒有用于訓練網絡的概率分布預測。我們還研究了 KL發(fā)散度量的使用，其最小化等效于交叉熵最小化，并廣泛用于學習深層網絡中的回歸模型。由于與 softmax 函數(shù)的配對，關于 pix 的這些損失函數(shù)的偏導 數(shù)都是 )1( ii pbap ?? 的形式，其相對于 pix 的偏導數(shù) ???? ????? ot he rw is e , if ),1(jiiipij pp ijppxp （ 3） 我們比較兩個標準回歸損失，歐幾里德和 Huber 損失，定義為： ??j jeuc agpL2),(， （ 4）和 ? ????????j jjjh ub aaagpL o t h e rw i s e ,21|| 1||fo r ,21),(2 （ 5） || jjj gpa ?? 綜合課程設計（計算機） VII 表 。 我們建議使用第一個 4 個變量作為損失函數(shù)。 我們還調查 KL發(fā)散，其廣泛用于以緊密相關的交叉熵損失的形式訓練識別模型。 訓練預測模型 網絡架構和 顯著 圖提取流程如圖 2所示。我們使用 VGGNet 模型 [38]的卷積層，這是在 ImageNet 圖像上進行分類任務的訓練，作為我們模型的早期層。這種卷積子網絡已被證明為各種不同的任務提供良好的局部特征圖，包括對象定位 [34]和語義分割 [27]。由于 顯著 性數(shù)據(jù)集往往太小，不能 從隨機初始化訓練這樣大的網絡（最大的數(shù)據(jù)集有 15000 個圖像，而 ImageNet 的 1M），必須用預訓練網絡初始化。然后，我們使用額外的卷積層逐漸減少特征圖的數(shù)量，直到產生最后的下采樣 顯著 圖。我們添加了三個新的層，而不是只有一個，以預測最終地圖，以提高可辨別性和泛化性 [38]。我們實驗了不同的濾波器尺寸，除了 77 （例如99 ， 55 ， 33 ），并發(fā)現(xiàn)沒有 顯著 的性能差異。我們明確地避免了完全連接的層，以獲得一個內存和時間模型。三個新層被初始化為具有 σ= 的均勻高斯分布。因為響應圖經歷了幾個最大合并操作 ，所以預測 顯著 圖 p p p 比輸入圖像分辨率低。因此，地面真值圖 g g g 在訓練期間被下采樣以匹配 p p p 的維度。相反，在推理期間，預測圖被用雙線性濾波器上采樣以匹配輸入圖像的尺寸（參見圖 2），并且 softmax 函數(shù)被應用于概率分布的歸一化。 概率距離 ),(L gp pix gpL?? ),( 2? 發(fā)散 1)(2 ??jjj pg )1(22 iiijiiji ppgpgp ??? ? 總變化距離 ? ? ||21 jjj pg )]1(||||[21 iii iiijjj jjiji ppg pgpppg pgp ??????? ? 余弦距離 ???? 221 jjjj jjj gp gp ])1)(()([1 22? ?? ??? ?? iiiiiiiiijjiji pRpgpRpgpgppc??? ?? 22a ndw he re iiiiiii gpCC gpR Bhattacharyya距離 ?? )(ln jjj gp ])1()([)(2 1 ?? ?? ? iiiijijjj pgppgp iKL 發(fā)散 jjjj pgg? log ? ??? )1( ijjiji pggp 綜合課程設計（計算機） VIII 最終的完全卷積網絡包括 16 個卷積層，每個卷積層后面是 ReLu 層。由于完全卷積架構，對于深度模型來說，大小是相當小的，只有 15,530,481 個權重（ 60MB的磁盤空間）。注意，雖然幾個深 顯著 性模型明確地包括中心偏差（參見例如[22]），但是我們假設該模型可以隱含地學 習中心偏差，因為它主要是攝影師傾向于放置的構圖偏差的偽像高度突出的物體在圖像中心 [3]。我們使用 MIT 顯著性基準 [5]的后處理代碼，通過向優(yōu)化的參數(shù)添加高斯模糊和中心偏置來測試這一點。我們發(fā)現(xiàn)使用此后處理的不同度量沒有一致的改進，這表明在模型中已經考慮了大量的中心偏置和高斯模糊。使用隨機梯度下降優(yōu)化目標函數(shù)，其中學習率為新引入層的全局學習率的 1 倍，并且已經在 ImageNet 上預訓練的那些層的全局學習率的 倍。為了減少訓練時間，第一 4 卷積層被固定，并因此保持它們的預訓練值。我們使用 的動量和 。該模型在 Caffe 中實現(xiàn) [15]。我們使用 Nvidia K40 GPU 訓練網絡。 SALICON 培訓班的培訓時間為30 小時。 顯著 性數(shù)據(jù)集傾向于具有語義偏差和與收集眼睛跟蹤信息（例如到屏幕的觀看距離和眼睛跟蹤器校準）的復雜性相關的其他特性。為此，我們執(zhí)行數(shù)據(jù)集特定調整，這提高了性能。微調在我們的情況下是特別重要的，因為 SALICON數(shù)據(jù)集收集鼠標點擊代替實際的眼睛，雖然高度相關，一般仍然是真實的人眼運動的近似。如 SALICON 圖像的子集所示， SALICON 固定和人眼固定之間的圖像水平一致性可以低 至 的縮小 AUC（ sAUC），并且高達 的 sAUC [16]。 因此，有益的是對每個感興趣的數(shù)據(jù)集進行網絡調整。 以下是每個數(shù)據(jù)集的詳細描述。 圖 顯著 圖提取管道：輸入圖像被引入到具有與 VGGNet 的卷積層部分相同的架構的 convNet 中。 然后應用附加的卷積層，產生在測試時被上采樣和軟最大歸一化以產生最終 顯著 圖的單個響應圖。 綜合課程設計（計算機） IX 4 實驗 本節(jié)描述用于訓練和評估 顯著 性預測模型的實驗數(shù)據(jù)集，隨后討論結果的定量和定性方面。 數(shù)據(jù)集 SA