【正文】 本科學(xué)生畢業(yè)論文（設(shè)計） 題 目 (中 文 ): 基于 QT 的網(wǎng)絡(luò)爬蟲 (英 文 ): Web Spider Based on QT 姓 名 學(xué) 號 院 （系） 電子工程系 專業(yè)、年級 電子信息工程 級 指 導(dǎo) 教師 湖南科技學(xué)院本科畢業(yè)論文（設(shè)計）誠信聲明 本人鄭重聲明：所呈交的本科畢業(yè)論文（設(shè)計），是本人在指導(dǎo)老師的指導(dǎo)下，獨立進行研究工作所取得的成果，成果不存在知識產(chǎn)權(quán)爭議，除文中已經(jīng)注明引用的內(nèi)容外，本論文不含任何 其他個人或集體已經(jīng)發(fā)表或撰寫過的作品成果。對本文的研究做出重要貢獻的個人和集體均已在文中以明確方式標(biāo)明。本人完全意識到本聲明的法律結(jié)果由本人承擔(dān)。 本科畢業(yè)論文（設(shè)計）作者簽名： 年 月 日 畢業(yè)論文（設(shè)計）任務(wù)書 課題名稱： 基于 QT 的網(wǎng)絡(luò)爬蟲 學(xué)生姓名： 系 別： 電子工程系 專 業(yè)： 電子信息工程 指導(dǎo)教師： A 湖南科技學(xué)院本科畢業(yè)論文（設(shè)計）任務(wù)書 主題詞、關(guān)鍵詞： 網(wǎng)絡(luò)爬蟲 , QT,搜索引擎 畢業(yè)論 文（設(shè)計）內(nèi)容要求： (1) 系統(tǒng)概述； (2) 總體方案設(shè)計與選擇論證 (3) 主要器件介紹 (4) 各功能模塊電路原理圖及工作原理分析 (5) 軟件設(shè)計 (6) 程序及功能說明 (7) 系統(tǒng)仿真總結(jié) B 文獻查閱指引 ： [1]Winter．中文搜索引擎技術(shù)解密：網(wǎng)絡(luò)蜘蛛 [M]．北京：人民郵電出版社， 2021年． [2]Sergey 等． The Anatomy of a LargeScale Hypertextual Web Search Engine [M]．北京：清華大學(xué)出版社， 1998 年． [3]Wisenut． WiseNut Search Engine white paper [M]．北京：中國電力出版社， 2021年． [4]Gary Stevens． TCPIP 協(xié)議詳解卷 3： TCP 事務(wù)協(xié)議， HTTP，NNTP 和 UNIX 域協(xié)議 [M]．北京：機械工業(yè)出版社， 2021 年 1 月 . [5]羅剛 王振東 ． 自己動手寫網(wǎng)絡(luò)爬蟲 [M]．北京：清華大學(xué)出版社， 2021 年 10 月 . [6]李曉明 ， 閆宏飛 ， 王繼民 ． 搜索引擎：原理、技術(shù)與系統(tǒng) ——華夏英才基金學(xué)術(shù)文庫 [M]．北京： 科學(xué)出版社 ， 2021 年 04 月 . 畢業(yè)論文（設(shè)計）進度安排： 2021 年 11 月 30 日指導(dǎo)教師給學(xué)生下達任務(wù)書， 2021 年 12 月 25 日完成開題。 開題時間： 2021 年 12 月 25 日 第 8 期第 7 周中期檢查（ 2021 年 3 月 25 至 31 日），指導(dǎo)教師填寫中期檢查表。 第 9 周（ 2021 年 4 月 13 日）拿出初稿。 第 11 周（ 4 月 27 日），正式答辯前，學(xué)生根據(jù)自身完成的情況提出答辯申請，并填寫 “學(xué)生答辯申請及資格審查表”。 第 13 周（ 5 月 8 日）學(xué)生畢業(yè)論文 (設(shè)計 )定稿； 第 13 周準(zhǔn)備答辯； 答辯時間： 5 月 16 日 20 日。 教研室意見： 負(fù)責(zé)人簽名： 注： 本任務(wù)書一式三份，由指導(dǎo)教師填寫，經(jīng)教研室審批后一份下達給學(xué)生，一份交指導(dǎo)教師，一份留系里存檔。 C 湖南科技學(xué)院本科畢業(yè)論文（設(shè)計）開題報告書 論文（設(shè)計）題目 基 于 QT 的網(wǎng)絡(luò)爬蟲 作 者 姓 名 徐國兵 所屬系、 專業(yè)、年級 電子工程系 電子信息工程 專業(yè) 2021 年級 指導(dǎo)教師姓名、職稱 徐曉 副教授 預(yù)計字?jǐn)?shù) 18000 開題日期 選題的根據(jù)： 1）說明本選題的理論、實際意義 2）綜述國內(nèi)外有關(guān)本選題的研究動態(tài)和自己的見解 1）互聯(lián)網(wǎng)是一個龐大的非結(jié)構(gòu)化的數(shù)據(jù)庫，將數(shù)據(jù)有效的檢索并組織呈現(xiàn)出來有著巨大的應(yīng)用前景。搜索引擎作為一個輔助人們檢索信息的工具成為用戶訪問萬維網(wǎng)的入口和指南。但是，這些通用性搜索引擎也存在著一 定的局限性。不同領(lǐng)域、不同背景的用戶往往具有不同的檢索目的和需求，通用搜索引擎所返回的結(jié)果包含大量用戶不關(guān)心的網(wǎng)頁。為了解決這個問題，一個靈活的爬蟲有著無可替代的重要意義。 2）對于網(wǎng)絡(luò)爬蟲的研究從上世紀(jì)九十年代就開始了，目前爬蟲技術(shù)已經(jīng)趨見成熟，網(wǎng)絡(luò)爬蟲是搜索引擎的重要組成部分。網(wǎng)絡(luò)上比較著名的開源爬蟲包括 Nutch， Larbin，Heritrix。網(wǎng)絡(luò)爬蟲最重要的是網(wǎng)頁搜索策略（廣度優(yōu)先和最佳度優(yōu)先）和網(wǎng)頁分析策略（基于網(wǎng)絡(luò)拓?fù)涞姆治鏊惴ê突诰W(wǎng)頁內(nèi)容的網(wǎng)頁分析算法）。 畢業(yè)論文（設(shè) 計）內(nèi)容要求： 本設(shè)計本課題研究的內(nèi)容是如何使網(wǎng)絡(luò)爬蟲靈活高效。 具體要求： (1) 如何具備更強的抓取能力。 (2) 如何分辨重復(fù)的網(wǎng)頁內(nèi)容。 (3) 如何確定主題相關(guān)性。 (4) 對于網(wǎng)絡(luò)時延等的處理。 D 研究方法： 網(wǎng)絡(luò)爬蟲應(yīng)用寬度搜索技術(shù)。對 url進行分析，去重。網(wǎng)絡(luò)爬蟲使用多線程技術(shù)，讓爬蟲具備更強大的抓取能力。網(wǎng)絡(luò)爬蟲還要完成信息提取任務(wù)，對于抓取回來的網(wǎng)頁提取出來新聞等信息。對網(wǎng)絡(luò)爬蟲的連接網(wǎng)絡(luò)設(shè)置連接及讀取時間，避免無限制的等待。研究網(wǎng)絡(luò)爬蟲的原理并實現(xiàn)爬蟲的相關(guān)功能。 完成期限和采取的主要措施： （ 1） 選題并收集資料 文獻 ； （ 2） 撰寫論文，定好初稿； （ 3） 系統(tǒng)設(shè)計和實現(xiàn)； （ 4） 老師指導(dǎo)和修改意見 （ 5） 修改，測試，定稿， 答辯 主要參考資料： [1]Winter．中文搜索引擎技術(shù)解密：網(wǎng)絡(luò)蜘蛛 [M]．北京：人民郵電出版社， 2021 年． [2]Sergey 等． The Anatomy of a LargeScale Hypertextual Web Search Engine [M]．北京：清華大學(xué)出版社， 1998 年． [3]Wisenut． WiseNut Search Engine white paper [M]．北京：中國電力出版社， 2021 年． [4]Gary Stevens． TCPIP 協(xié)議詳解卷 3： TCP 事務(wù)協(xié)議， HTTP， NNTP 和 UNIX域協(xié)議 [M]．北京：機械工業(yè)出版社， 2021 年 1 月 . [5]羅剛 王振東 ． 自己動手寫網(wǎng)絡(luò)爬蟲 [M]．北京：清華大學(xué)出版社， 2021 年 10 月 . [6]李曉明 ， 閆宏飛 ， 王繼民 ． 搜索引擎：原理、技術(shù)與系統(tǒng) ——華夏英才基金學(xué)術(shù)文庫 [M]．北京：科學(xué)出版社 ， 2021 年 04 月 . 指導(dǎo)教師意見： 指導(dǎo)教師簽名： 教研室意見： 簽 名： 年 月 日 E 開 題 報 告 會 紀(jì) 要 時間 日 地點 三教 109 與 會 人 員 姓 名 職務(wù)（職稱） 姓 名 職務(wù)（職稱） 姓 名 職務(wù)（職稱） 徐曉 副教授 張文昭 高級實驗師 周玲 講師 陳愛林 講師 陳澤順 副教授 會議記錄摘要： 會議主持人： 記 錄 人： 年 月 日 指導(dǎo)小組意見 負(fù)責(zé)人簽名： 年 月 日 系部 意 見 負(fù)責(zé)人簽名： 年 月 日 注：此表由學(xué)生本人填寫，一式三份，一份留系里存檔，指導(dǎo)老師和本人各保存一份 F 湖南科技學(xué)院畢業(yè)論文（設(shè)計 ）中期檢查表 畢業(yè)論文（設(shè)計）題 目 基于 QT 的網(wǎng)絡(luò)爬蟲 學(xué)生姓名 徐國兵 學(xué) 號 202106002240 系 別 電子工程系 專 業(yè) 電子信息工程 指導(dǎo)教師 徐曉 檢查日期 2021 年 4 月 9 日 指導(dǎo)教師檢查情況記載及修改意見： 修改意見： 論文大體框架還可以，基本思路比較清晰，但主題比較一般。 論文中出現(xiàn)的插圖，超過頁邊距，必須把圖縮小到頁邊距以內(nèi)。 第一章緒論介紹太過繁瑣，內(nèi)容要進一步精煉。 4.、參考文獻按照學(xué)校的畢業(yè)論文撰寫規(guī)范寫，同時在 正文中出現(xiàn)的位置以上標(biāo)的形式標(biāo)出。 圖和表在文章正文中一定要有說明，而且圖表要在文字分析的下面。 文中段與段之間、圖題與正文之間不要有不必要的空格。 論文中的系統(tǒng)框圖，字體太大，應(yīng)與論文字體大小一致，同時里面的數(shù)據(jù)表格字體設(shè)置也是一樣。 簽名： 注：此表用于指導(dǎo)教師 在學(xué)生畢業(yè)論文（設(shè)計）初稿完成后對學(xué)生執(zhí)行任務(wù)書情況進行中期檢查時用，由指導(dǎo)教師填寫。 G 湖南科技學(xué)院畢業(yè)設(shè)計（論文）指導(dǎo)過程記錄表 畢業(yè)論文 (設(shè)計 )題目 基于 QT 的網(wǎng)絡(luò)爬蟲 學(xué)生 姓名 徐國兵 學(xué)號 202106002240 專業(yè)班級 電子信息工程專業(yè) 電信 0902 班 指導(dǎo)教師 徐曉 職稱 副教授 系（教研室） 電子工程系 指導(dǎo)過程記錄 指導(dǎo)內(nèi)容 記錄 (一 ) 選題、查閱資料指導(dǎo)： 根據(jù)自己所學(xué)專業(yè)和特長，選擇一個通過查閱資料和自己的努力，既能做又有一定深度，能反映出自己學(xué)術(shù)水平的題目； 到圖書館查找和借閱與選題有關(guān)的文獻和資料； 從網(wǎng)上檢索和下載與選題有關(guān)的文獻和資料。 學(xué) 生 簽 名： 20 年 月 日 指導(dǎo)教師簽名 ： 20 年 月 日 指導(dǎo)內(nèi)容 記錄 (二 ) 論文開題指導(dǎo)： 題目應(yīng)該簡短、明確、有概括性； 摘要內(nèi)容應(yīng)包括研究的目的、方法、結(jié)果和結(jié)論； 關(guān)鍵詞應(yīng)采用能覆蓋論文主要內(nèi)容的通用詞條； 正文一般應(yīng)包括緒論、論文主體及結(jié)論等部分； 結(jié)論是畢業(yè)論文的總結(jié)，要求精煉、準(zhǔn)確地概述全文的主要觀點。 學(xué) 生 簽 名： 20 年 月 日 指導(dǎo)教師簽名： 20 年 月 日 指導(dǎo)內(nèi)容 記錄（三 ) 硬件設(shè)計指導(dǎo)： 根據(jù)自己的設(shè)計要求，選擇合適的芯片，在網(wǎng)上多查相關(guān)的資料，做到心中有數(shù)年，同時注意整個系統(tǒng)的性價比； 做具體硬件之前，先進行硬件仿真，確認(rèn)系統(tǒng)設(shè)計的正確性； 進行硬件調(diào)試時，先分模塊調(diào)試再進行整體系統(tǒng)調(diào)試。 學(xué) 生 簽 名： 20 年 月 日 指導(dǎo)教師簽名： 20 年 月 日 指導(dǎo)內(nèi)容 記錄 (四 ) 軟件設(shè)計指導(dǎo)： 設(shè)計軟件之前，首先 想好整個系統(tǒng)的設(shè)計要求，畫出系統(tǒng)總體框圖，然后把系統(tǒng)進行分塊，細(xì)化到一個小模塊； 畫出軟件流程圖，根據(jù)流程圖編寫自己的程序； 進行軟件調(diào)試時，做到測試的全面性，同時對于同一個測試數(shù)據(jù)至少達到三組，才能驗證設(shè)計的準(zhǔn)確性。 學(xué) 生 簽 名： 20 年 月 日 指導(dǎo)教師簽名： 20 年 月 日 H 指導(dǎo)過程記錄 指導(dǎo)內(nèi)容 記錄 (五 ) 論文寫作指導(dǎo)： 主體的內(nèi)容應(yīng)包括以下幾個方面： 畢業(yè)論文總體方案設(shè)計與選 擇的論證； 對本研究內(nèi)容進行較全面、客觀的理論闡述，應(yīng)著重指出本研究內(nèi)容中的創(chuàng)新、改進與實際應(yīng)用之處； 論文應(yīng)推理正確，結(jié)論清晰，無科學(xué)性錯誤。 學(xué) 生 簽 名： 20 年 月 日 指導(dǎo)教師簽名：