【正文】 ............... 錯(cuò)誤 !未定義書簽。 I 摘要 最 顯著 性估計(jì)方法旨在顯式地建模諸如邊緣或斑點(diǎn)的低級(jí)別醒目提示，并且可以另外使用面部或文本檢測(cè)來(lái)并入自上而下的提示。 然后，我們訓(xùn)練深層架構(gòu)，使用新的損失函數(shù)來(lái)預(yù)測(cè)這樣的地圖，其將 softmax 激活函數(shù)與設(shè)計(jì)為計(jì)算概率分布之間的距離的度量配對(duì)。 顯著 圖預(yù)測(cè)已經(jīng)在諸如自動(dòng)圖像裁剪 。 另一種流行的注意建模范例涉及使用數(shù)據(jù)驅(qū)動(dòng)方法來(lái)學(xué)習(xí)補(bǔ)丁級(jí)分類器 ，其給予局部圖像補(bǔ)丁 “ 顯著 性得分 ” ，使用眼睛數(shù)據(jù)來(lái)導(dǎo)出訓(xùn)練標(biāo)簽。然而，雖然這些深層方法集中在設(shè)計(jì)適當(dāng)?shù)募軜?gòu)以提取 顯著 圖，但是它們繼續(xù)使用適用于語(yǔ)義任務(wù)的損失函數(shù)，例如分類或回歸損失。 無(wú)監(jiān)督的淺層方法大多數(shù)早期的 顯著 性工作建立在人類研究的心理和心理物理注意模型上。 后來(lái)的方法在很大程度上探討了互補(bǔ)特征集 [14， 41， 26， 24， 45， 32]的相同想法，并且經(jīng)常添加額外的中心環(huán)繞線索 [14,31,45]。 所有這些方法使用自下而上的線索，淺（一層或幾層），并且不涉及閾值 /啟發(fā) 式的或簡(jiǎn)單的學(xué)習(xí)。 無(wú)監(jiān)督層次方法在 顯著 性預(yù)測(cè)的上下文中，首先嘗試采用更深層次的架構(gòu)大多是無(wú)監(jiān)督的。 在他們的情況下，學(xué)習(xí)意味著確定來(lái)自不同網(wǎng)絡(luò)層的特征的最佳線性組合。 這種新的范例用于注釋來(lái)自 MSCOCO 數(shù)據(jù)集的 20K 圖像 [25]。 另一種端到端方法將 顯著 性預(yù) 測(cè)作為回歸來(lái)制定 [22]。 第二個(gè)是來(lái)自粗略和精細(xì)分辨率的響應(yīng)圖的聚集。 最近，方法已經(jīng)試圖使用像素級(jí)回歸來(lái)直接預(yù)測(cè)地圖。 因此，觀察者之間存在高一致性。由于注意被賦予局部區(qū)域而不是精確像素，二維高斯濾波通常被應(yīng)用于二元固定圖以構(gòu)建平滑的 “ 注意的景觀 ”[44] （參見圖 1，中間圖像為例）。雖然這個(gè)公式有點(diǎn)簡(jiǎn)單，它將允許新的損失函數(shù)高度訓(xùn)練深度模型與反向傳播。 使用 softmax 激活函數(shù)來(lái)計(jì)算兩個(gè)概率分布 g 和 p ： ?? gjpixjxi eep， ?? gjgixjxi eeg， （ 1） （ gx ）或預(yù)測(cè)地圖（ px ）的非歸一化 顯著 性響應(yīng)值的集合，其中),( 1 Ni xxxx ??? 。我們建議將 softmax 函數(shù)與適用于概率分布的距離測(cè)量相結(jié)合，以便構(gòu)造用于訓(xùn)練網(wǎng)絡(luò)的目標(biāo)函數(shù)。我們還研究了 KL發(fā)散度量的使用，其最小化等效于交叉熵最小化，并廣泛用于學(xué)習(xí)深層網(wǎng)絡(luò)中的回歸模型。 訓(xùn)練預(yù)測(cè)模型 網(wǎng)絡(luò)架構(gòu)和 顯著 圖提取流程如圖 2所示。然后，我們使用額外的卷積層逐漸減少特征圖的數(shù)量，直到產(chǎn)生最后的下采樣 顯著 圖。三個(gè)新層被初始化為具有 σ= 的均勻高斯分布。 概率距離 ),(L gp pix gpL?? ),( 2? 發(fā)散 1)(2 ??jjj pg )1(22 iiijiiji ppgpgp ??? ? 總變化距離 ? ? ||21 jjj pg )]1(||||[21 iii iiijjj jjiji ppg pgpppg pgp ??????? ? 余弦距離 ???? 221 jjjj jjj gp gp ])1)(()([1 22? ?? ??? ?? iiiiiiiiijjiji pRpgpRpgpgppc??? ?? 22a ndw he re iiiiiii gpCC gpR Bhattacharyya距離 ?? )(ln jjj gp ])1()([)(2 1 ?? ?? ? iiiijijjj pgppgp iKL 發(fā)散 jjjj pgg? log ? ??? )1( ijjiji pggp 綜合課程設(shè)計(jì)（計(jì)算機(jī)） VIII 最終的完全卷積網(wǎng)絡(luò)包括 16 個(gè)卷積層，每個(gè)卷積層后面是 ReLu 層。我們發(fā)現(xiàn)使用此后處理的不同度量沒(méi)有一致的改進(jìn)，這表明在模型中已經(jīng)考慮了大量的中心偏置和高斯模糊。該模型在 Caffe 中實(shí)現(xiàn) [15]。為此，我們執(zhí)行數(shù)據(jù)集特定調(diào)整，這提高了性能。 以下是每個(gè)數(shù)據(jù)集的詳細(xì)描述。 數(shù)據(jù)集 SALICON 這是在公共領(lǐng)域可用的最大的 顯著 性數(shù)據(jù)集之一 [16]。測(cè)試集的固定數(shù)據(jù)保留，并且必須在遠(yuǎn)程服務(wù)器上評(píng)估其性能。如在數(shù)據(jù)集的子集上評(píng)估的，這種鼠標(biāo)點(diǎn)擊數(shù)據(jù)通常與人眼固定（在）高度一致。 MIT1003 這個(gè)數(shù)據(jù)集是作為列車的一部分引入的 [18]中的測(cè)試范式。 MIT300 該基準(zhǔn)包括 39 個(gè)不同觀察者收集的 300 張圖像的持續(xù)眼動(dòng)追蹤數(shù)據(jù)[17]。 這些包括自然的室內(nèi)和室外場(chǎng)景，以及從 Flickr和 Google 拍攝的高 美學(xué)質(zhì)量的照片。 對(duì)實(shí)際固定的大規(guī)模數(shù)據(jù)集的評(píng)估將更有信息。 因此，我們?cè)u(píng)估這個(gè)數(shù)據(jù)集，以確定我們的模型是否推廣到這個(gè)任務(wù)。 MIT1003 和 MIT300 的作者提供地面真實(shí) 顯著 圖，根據(jù)他們的技術(shù)報(bào)告 [17]，用高斯核計(jì)算，其大小對(duì)應(yīng)于每個(gè)圖像8個(gè)周期的截止頻率 。這些模型都是在 SALICON 訓(xùn)練集的 10K 圖像上訓(xùn) 練的，并在 SALICON 驗(yàn)證集的 5K圖像上驗(yàn)證。和（ iii） Bhattacharyya基于距離的損失勝過(guò)所有其他損失。 Bhattacharyya 距離始終是最好的。 與現(xiàn)有技術(shù)的比較我們使用 Bhattacharyya 距離與我們的四個(gè)標(biāo)準(zhǔn) 顯著 性基準(zhǔn)的最先進(jìn)的方法比較我們提出的模型的性能如下。 MIT300： MIT1003 圖像作為訓(xùn)練集，用于調(diào)整到這個(gè)基準(zhǔn)。 我們認(rèn)為包括這樣的線索也可以改善我們的模型。 我們觀察到 的大大減小的動(dòng)量提高了穩(wěn)定性，并允許有此約束的模型的有效學(xué)習(xí)。 首先，注意力是有競(jìng)爭(zhēng)力的，因?yàn)槲覀兛粗承┑貐^(qū)的圖像，犧牲別人。我們的方法一致地給出高中心 環(huán)繞對(duì)比度區(qū)域的高固定概率，以及高層次的線索，如身體，面部和較小 范圍，文本。 粗體結(jié)果表示在測(cè)試時(shí)不需要人工干預(yù)的最佳性能方法。 注意，為了確保公平的比較，這里所示的 PDP 結(jié)果 僅僅是從在 SALICON 圖像上訓(xùn)練的網(wǎng)絡(luò)獲得的，沒(méi)有對(duì)該數(shù)據(jù)集進(jìn)行 精細(xì)調(diào)諧。 面孔（動(dòng)畫和非動(dòng)畫對(duì)象）也被快速學(xué)習(xí)，已經(jīng)看到少于 100 個(gè)圖像。 我們使用目標(biāo)函數(shù)訓(xùn)練深度網(wǎng)絡(luò)，該目標(biāo)函數(shù)以概率分布的形式懲罰目標(biāo)和預(yù)測(cè)地圖之間的距離。實(shí)踐出真知，這次的課程設(shè)計(jì)中不僅檢驗(yàn)了我所學(xué)習(xí)的知識(shí)，也培養(yǎng)了我如何去把握一件事情，如何去做一件事情，又如何完成一件事情。使我對(duì)抽象的理論有了具體的認(rèn)識(shí)。要面對(duì)社會(huì)的挑戰(zhàn)，只有不斷的學(xué)習(xí)、實(shí)踐，再學(xué)習(xí)、再實(shí)踐。 課程設(shè)計(jì) 是我們專業(yè)課程知識(shí)綜合應(yīng)用的實(shí)踐訓(xùn)練，著是我們邁向社會(huì)，從事職業(yè)工作前一個(gè)必不少的過(guò)程． “ 千里之行始于足下” ，通過(guò)這次課程設(shè)計(jì)，我深深體會(huì)到這句千古名言的真正含義．我今天認(rèn)真的進(jìn)行課程設(shè)計(jì)，學(xué)會(huì)腳踏實(shí)地邁開這一步，就是為明天能穩(wěn)健地在社會(huì)大潮中奔跑打下堅(jiān)實(shí)的基礎(chǔ)． 綜合課程設(shè)計(jì)（計(jì)算機(jī)） XVII 7 參考文獻(xiàn) [1] R. Achanta and S. S168。 ummerer, L. Theis, and M. Bethge. Deep Gaze I: Boosting Saliency Prediction with Feature Maps Trained on ImageNet. In ICLR Workshop, 2021. 1, 2 [24] C. Lang, T. Nguyen, H. Katti, K. Yadati, M. Kankanhalli, and S. Yan. Depth matters: In?uence of depth cues on visual saliency. In ECCV, 2021. 2 [25] . Lin, M. Maire, S. Belongie, J. Hays, P. Perona, D. Ramanan, P. Doll180。 auser, and C. Koch. Predicting human gaze using lowlevel saliency bined with face detection. In NIPS, 2021. 2 [7] S. O. Gilani, R. Subramanian, Y. Yan, D. Melcher, N. Sebe, and S. Winkler. PET: An eyetracking dataset for animalcentric pascal object classes. In ICME, 2021. 1 [8] J. Harel, C. Koch, and P. Perona. Graphbased visual saliency. In NIPS, 2021. 2, 6, 7 [9] X. Hou, J. Harel, and C. Koch. Image signature: Highlighting sparse salient regions. TPAMI, 2021. 7 [10] X. Hou and L. Zhang. Saliency detection: A spectral residual approach. In CVPR, 2021. 2 [11] X. Huang, C. Shen, X. Boix, and Q. Zhao. Salicon: Reducing the semantic gap in saliency prediction by adapting deep neural works. In Proceedings of the IEEE Internat