【正文】 綜合課程設(shè)計(jì) （計(jì)算機(jī)） 題 目 : 通過概率分布預(yù)測(cè)的端 到端的顯著性映射 學(xué) 院： 理學(xué)院 班 級(jí)： 學(xué) 生 姓 名： 學(xué) 生 學(xué) 號(hào)： 指 導(dǎo) 教 師： 2021 年 12 月 24 日 課程設(shè)計(jì)任務(wù)書 姓名 班級(jí) 學(xué)號(hào) 設(shè)計(jì)題目 通過概率分布預(yù)測(cè)的 端到端顯著性映射 設(shè)計(jì)目標(biāo) 介紹一個(gè)新的 顯著 圖模型制定一個(gè)地圖作為廣義伯努利分布。 然后，訓(xùn)練深層架構(gòu)，使用新的損失函數(shù)來預(yù)測(cè)這樣的地圖，其將 softmax激活函數(shù)與設(shè)計(jì)為計(jì)算概率分布之間的距離的度量配對(duì)。 在廣泛的實(shí)驗(yàn)中展示了這樣的損失函數(shù)在四個(gè)公共基準(zhǔn)數(shù)據(jù)集上的標(biāo)準(zhǔn)函數(shù)的有效性，并且證明了相對(duì)于最先進(jìn)的 顯著 性方法改進(jìn)的性能。 研究方法步驟 預(yù)期結(jié)果 一種新的 顯著 性配方和模型，用于預(yù)測(cè)輸入圖像的 顯著 圖。 使用目標(biāo)函數(shù)訓(xùn)練深度網(wǎng)絡(luò)，該目標(biāo)函數(shù)以概率分布的形式 捕獲 目標(biāo)和預(yù)測(cè)地圖之間的距離。 對(duì)四個(gè)數(shù)據(jù)集 的實(shí)驗(yàn)證明了 本 方法相對(duì)于其他損失函數(shù)和其他最先進(jìn)的 顯著 性估計(jì)方法的優(yōu)越性能。 計(jì)劃與進(jìn)步的安排 第 2天：查找題目 相關(guān) 的文獻(xiàn)資料 ； 第 4天： 粗讀論文，了解其研究 背景 、相關(guān)工作和實(shí)驗(yàn)結(jié)果； 第 57 天： 詳讀論文， 理解核心 工作極其 創(chuàng)新點(diǎn) ； 第 810 天 ：根據(jù)文章撰寫課程設(shè)計(jì)報(bào)告； 第 11 天：從網(wǎng)上 搜索 PPT模板 并制作答辯 PPT； 第 12 天：匯報(bào)答辯 ，并根據(jù)教師提出的問題修改 報(bào)告 和 PPT。 目錄 摘要 ................................... 錯(cuò)誤 !未定義書簽。 1 引言 ................................ 錯(cuò)誤 !未定義書簽。 2 相關(guān) 工作 ............................ 錯(cuò)誤 !未定義書簽。 3 本文 要點(diǎn) ............................................ 3 問題模型 ........................ 錯(cuò)誤 !未定義書簽。 算法設(shè)計(jì) ........................ 錯(cuò)誤 !未定義書簽。 4 實(shí)驗(yàn) ................................................ 7 5 結(jié)論 ................................................ 8 6 課程設(shè)計(jì)心得體會(huì) ................................... 10 7 參考文獻(xiàn) ............................ 錯(cuò)誤 !未定義書簽。 注：（ 1）頁腳：從摘要開始進(jìn)行頁碼編號(hào)Ⅰ ,Ⅱ …… ； （ 2）目錄內(nèi)容用宋體 4 號(hào)； （ 3） 目錄可根據(jù)英文原文適當(dāng)調(diào)整， 包括 2 級(jí)標(biāo)題、 3 級(jí)標(biāo)題 的設(shè)置等 。 I 摘要 最 顯著 性估計(jì)方法旨在顯式地建模諸如邊緣或斑點(diǎn)的低級(jí)別醒目提示，并且可以另外使用面部或文本檢測(cè)來并入自上而下的提示。使用眼睛數(shù)據(jù)訓(xùn)練 顯著 性模型的數(shù)據(jù)驅(qū)動(dòng)方法越來越受歡迎，特別 是隨著大規(guī)模數(shù)據(jù)集和深層架構(gòu)的引入。然而，后者范例中的當(dāng)前方法使用為分類或回歸任務(wù)設(shè)計(jì)的損失函數(shù)，而在地形圖上評(píng)估 顯著 性估計(jì)。在這項(xiàng)工作中，我們介紹一個(gè)新的 顯著 圖模型制定一個(gè)地圖作為廣義伯努利分布。 然后，我們訓(xùn)練深層架構(gòu)，使用新的損失函數(shù)來預(yù)測(cè)這樣的地圖，其將 softmax 激活函數(shù)與設(shè)計(jì)為計(jì)算概率分布之間的距離的度量配對(duì)。 我們?cè)趶V泛的實(shí)驗(yàn)中展示了這樣的損失函數(shù)在四個(gè)公共基準(zhǔn)數(shù)據(jù)集上的標(biāo)準(zhǔn)函數(shù)的有效性，并且證明了相對(duì)于最先進(jìn)的 顯著 性方法改進(jìn)的性能。 關(guān)鍵詞： 廣義伯努利分布 ， 損失函數(shù) ， 顯著 性方法 綜合課程設(shè)計(jì)（計(jì)算機(jī)） II 1 引言 這項(xiàng)工作涉及視覺注意預(yù)測(cè)，特別是，當(dāng)給定輸入圖像時(shí)預(yù)測(cè)地形視覺 顯著圖。 傳統(tǒng)上，視覺注意在計(jì)算機(jī)視覺中用作預(yù)處理步驟，以便將后續(xù)處理集中在圖像中感興趣的區(qū)域上，隨著視覺模型和數(shù)據(jù)集尺寸增加，視覺注意作為越來越重要的步驟。 顯著 圖預(yù)測(cè)已經(jīng)在諸如自動(dòng)圖像裁剪 。 內(nèi)容感知圖像大小調(diào)整，圖像縮略圖 ， 物體識(shí)別和融合場(chǎng)景以及人類行為分類。傳統(tǒng) 顯著 性模型，如 Itti等人的開創(chuàng)性工作。側(cè)重于設(shè)計(jì)明確建模生物系統(tǒng)的機(jī)制。 另一種流行的注意建模范例涉及使用數(shù)據(jù)驅(qū)動(dòng)方法來學(xué)習(xí)補(bǔ)丁級(jí)分類器 ，其給予局部圖像補(bǔ)丁 “ 顯著 性得分 ” ，使用眼睛數(shù)據(jù)來導(dǎo)出訓(xùn)練標(biāo)簽。最近出現(xiàn)的一種趨勢(shì)與這兩種模式相交：使用分層模型提取 顯著 圖，其中模型權(quán)重以受監(jiān)督的方式被學(xué)習(xí)。特別地，已經(jīng)成功地用于諸如分類或?qū)ο蠖ㄎ坏恼Z義標(biāo)記任務(wù)中的端對(duì)端或 “ 深 ” 體系結(jié)構(gòu)已經(jīng)被重新用作注意模型。這種趨勢(shì)通過引入使用新穎的眼動(dòng)移動(dòng)收集范例創(chuàng)建的大視覺注意數(shù)據(jù)集而得以促進(jìn) [16,43]。然而，雖然這些深層方法集中在設(shè)計(jì)適當(dāng)?shù)募軜?gòu)以提取 顯著 圖，但是它們繼續(xù)使用適用于語義任務(wù)的損失函數(shù)，例如分類或回歸損失。 綜合課程設(shè)計(jì)（計(jì)算機(jī)） III 2 相關(guān)工作 現(xiàn)有的方法可以被組織成四個(gè)大類中的一個(gè)，基于它們是否涉及淺的或深的架構(gòu)，以及無監(jiān)督的或監(jiān)督的學(xué)習(xí)范例。 我們將依次討論這些大類。 對(duì)于一個(gè)優(yōu)秀的 顯著 性估計(jì)方法的調(diào)查，請(qǐng)參考 [2]。 無監(jiān)督的淺層方法大多數(shù)早期的 顯著 性工作建立在人類研究的心理和心理物理注意模型上。 Koch 和 Ullman [20]首先使用特征整合理論 [40]來提出一組基本線索的單獨(dú)地形圖，例如顏色，對(duì)比度和運(yùn)動(dòng)，并將它們組合起來以產(chǎn)生 顯著 的全局地形圖。 他們的模型是使用一個(gè)簡(jiǎn)單的神經(jīng)電路實(shí)現(xiàn)的贏家獲得所有和抑制回程機(jī)制。 在 [13]中通過將特征圖組合在一組更廣泛的模態(tài)（ 42個(gè)這樣的圖）和對(duì)真實(shí)世界圖像的測(cè)試中進(jìn)一步研究。 后來的方法在很大程度上探討了互補(bǔ)特征集 [14， 41， 26， 24， 45， 32]的相同想法，并且經(jīng)常添加額外的中心環(huán)繞線索 [14,31,45]。 作為補(bǔ)充生物動(dòng)機(jī)的方法，許多方法采用信息理論的注意選擇理由，例如。 通過自我信息 [46]，信息最大化 [4]或貝葉斯驚奇 [12]。 通過基于頻譜的方法實(shí)現(xiàn)高計(jì)算效率 [10,35]。 所有這些方法使用自下而上的線索，淺（一層或幾層），并且不涉及閾值 /啟發(fā) 式的或簡(jiǎn)單的學(xué)習(xí)。 監(jiān)督淺層方法此類別包括基于學(xué)習(xí)的方法，涉及模型如馬可夫鏈 [8]，支持向量機(jī) [19,18]和 adaboost 分類器 [6]。 [8]代替中心的想法 包圍和規(guī)范化與可學(xué)習(xí)的圖重量。 [6]， [18]和 [48]通過以面部，人，汽車和地平線的檢測(cè)圖的形式引入自上而下的語義線索來豐富學(xué)習(xí)。 無監(jiān)督層次方法在 顯著 性預(yù)測(cè)的上下文中，首先嘗試采用更深層次的架構(gòu)大多是無監(jiān)督的。 [37]使用 3層稀疏編碼單元網(wǎng)絡(luò)從固定圖像塊中學(xué)習(xí)更高層次的概念。 [42]執(zhí)行大規(guī)模搜索以獲得最多三層的最佳網(wǎng)絡(luò)架構(gòu)，但是網(wǎng)絡(luò)權(quán) 重未被學(xué)習(xí)。 DeepGaze [23]采用現(xiàn)有的網(wǎng)絡(luò)架構(gòu)， 5層深的 AlexNet [21]在ImageNet 上進(jìn)行對(duì)象分類訓(xùn)練，以證明即使沒有訓(xùn)練， CNN的特性也能 顯著 優(yōu)于非深度和 “ 較淺 ” 的模型 明確地對(duì) 顯著 性預(yù)測(cè)的任務(wù)。 在他們的情況下，學(xué)習(xí)意味著確定來自不同網(wǎng)絡(luò)層的特征的最佳線性組合。 監(jiān)督層次方法大規(guī)模關(guān)注數(shù)據(jù)集的出版，如 SALICON [16]和 TurkerGaze / iSUN [43]，已經(jīng)能夠?yàn)樯疃阮A(yù)測(cè)的任務(wù)特別培訓(xùn)深層架構(gòu)。 我們的工作在于這一類，并涉及培訓(xùn)具有新穎的損失函數(shù)的端對(duì)端深度模 型。 SALICON [16]收集了一個(gè)新的數(shù)據(jù)收集范例，其中觀察者顯示移動(dòng)的圖像，并要求移動(dòng)鼠標(biāo)光標(biāo)周圍，以模擬高分辨率中央凹。 這種新的范例用于注釋來自 MSCOCO 數(shù)據(jù)集的 20K 圖像 [25]。 依靠這個(gè)新的大規(guī)模數(shù)據(jù)集， [33]的作者訓(xùn)練了一個(gè)網(wǎng)絡(luò)端到端的 顯著 性預(yù)測(cè)。 他們的網(wǎng)絡(luò)，名為 JuntingNet，由五個(gè)卷積和兩個(gè)完全連接的層組成，網(wǎng)絡(luò)的參數(shù)通過最小化在地面真實(shí) 顯著 圖上定義的歐幾里得損失函數(shù)來學(xué)習(xí)。 這種方法報(bào)告了 LSUN 2021 顯著 預(yù)測(cè)挑戰(zhàn)的最先進(jìn)的結(jié)果 [47]。 另一種端到端方法將 顯著 性預(yù) 測(cè)作為回歸來制定 [22]。 DeepFix 建立在非常深的 VGGNet [38]上，使用具有大和多尺寸接收?qǐng)龅木矸e層來捕獲互補(bǔ)圖像上下文，并引入位置偏置卷積（ LBC）層來建模中心偏置。 最后，這個(gè)范例中最近的一個(gè)作品 [11]提出使用深層神經(jīng)網(wǎng)絡(luò)通過雙管齊下的策略來彌合 顯著 性預(yù)測(cè)中的語義差距。 第一個(gè)是使用 KL發(fā)散作為損失函數(shù)，其由以下事實(shí)激發(fā)：它是用于評(píng)估 顯著 性方法的標(biāo)準(zhǔn)度量。 第二個(gè)是來自粗略和精細(xì)分辨率的響應(yīng)圖的聚集。在這項(xiàng)工作中，我們認(rèn)為 顯著 圖的良好動(dòng)機(jī)的概綜合課程設(shè)計(jì)（計(jì)算機(jī)） IV 率模型，因此研究使用 KL散度，其他概率距離度 量，作為損失函數(shù)。 正如我們?cè)诘?4節(jié)討論的，我們觀察到，我們的 Bhattacharyya