【正文】 爬蟲 摘 要 本設(shè)計(jì)基于 QT 軟件平臺，實(shí)現(xiàn)了功能簡單的網(wǎng)絡(luò)搜索引擎。 5 研究方法和手段的運(yùn)用能力 能運(yùn)用本學(xué)科常規(guī)研究 方法及相關(guān)研究手段（如計(jì)算機(jī)、實(shí)驗(yàn)儀器設(shè)備等）進(jìn)行實(shí)驗(yàn)、實(shí)踐并加工處理、總結(jié)信息。 10 論文篇幅 10000字左右。 10 綜合運(yùn)用 知識能力 能運(yùn)用所學(xué)專業(yè)知識闡述問題；能對查閱的資料進(jìn)行整理和運(yùn)用；能對其科學(xué)論點(diǎn)進(jìn)行論證?？梢圆恍枰趥鹘y(tǒng)的瀏覽器上進(jìn)行搜索而簡單獲取網(wǎng)絡(luò)上有用的信息。 學(xué) 生 簽 名： 20 年 月 日 指導(dǎo)教師簽名： 20 年 月 日 指導(dǎo)內(nèi)容 記錄 (六 ) 論文中期檢查指導(dǎo)： 加強(qiáng)對選題核心思想的理解； 參考更多的資料，豐富論文內(nèi)容； 盡量突出說明你自己所做的工作，突出自己的獨(dú)特之處。 文中段與段之間、圖題與正文之間不要有不必要的空格。網(wǎng)絡(luò)爬蟲還要完成信息提取任務(wù)，對于抓取回來的網(wǎng)頁提取出來新聞等信息。 畢業(yè)論文（設(shè) 計(jì)）內(nèi)容要求： 本設(shè)計(jì)本課題研究的內(nèi)容是如何使網(wǎng)絡(luò)爬蟲靈活高效。 C 湖南科技學(xué)院本科畢業(yè)論文（設(shè)計(jì)）開題報(bào)告書 論文（設(shè)計(jì)）題目 基 于 QT 的網(wǎng)絡(luò)爬蟲 作 者 姓 名 徐國兵 所屬系、 專業(yè)、年級 電子工程系 電子信息工程 專業(yè) 2021 年級 指導(dǎo)教師姓名、職稱 徐曉 副教授 預(yù)計(jì)字?jǐn)?shù) 18000 開題日期 選題的根據(jù)： 1）說明本選題的理論、實(shí)際意義 2）綜述國內(nèi)外有關(guān)本選題的研究動態(tài)和自己的見解 1）互聯(lián)網(wǎng)是一個龐大的非結(jié)構(gòu)化的數(shù)據(jù)庫，將數(shù)據(jù)有效的檢索并組織呈現(xiàn)出來有著巨大的應(yīng)用前景。對本文的研究做出重要貢獻(xiàn)的個人和集體均已在文中以明確方式標(biāo)明。 第 11 周（ 4 月 27 日），正式答辯前，學(xué)生根據(jù)自身完成的情況提出答辯申請，并填寫 “學(xué)生答辯申請及資格審查表”。 2）對于網(wǎng)絡(luò)爬蟲的研究從上世紀(jì)九十年代就開始了，目前爬蟲技術(shù)已經(jīng)趨見成熟，網(wǎng)絡(luò)爬蟲是搜索引擎的重要組成部分。 D 研究方法： 網(wǎng)絡(luò)爬蟲應(yīng)用寬度搜索技術(shù)。 第一章緒論介紹太過繁瑣，內(nèi)容要進(jìn)一步精煉。 學(xué) 生 簽 名： 20 年 月 日 指導(dǎo)教師簽名： 20 年 月 日 指導(dǎo)內(nèi)容 記錄（三 ) 硬件設(shè)計(jì)指導(dǎo)： 根據(jù)自己的設(shè)計(jì)要求，選擇合適的芯片，在網(wǎng)上多查相關(guān)的資料，做到心中有數(shù)年，同時注意整個系統(tǒng)的性價(jià)比； 做具體硬件之前，先進(jìn)行硬件仿真，確認(rèn)系統(tǒng)設(shè)計(jì)的正確性； 進(jìn)行硬件調(diào)試時，先分模塊調(diào)試再進(jìn)行整體系統(tǒng)調(diào)試。 I 湖南科技學(xué)院本科畢業(yè)論文（設(shè)計(jì)）評審表 論文題目 基于 QT 的網(wǎng)絡(luò)爬蟲 作者姓名 徐國兵 所屬系、專業(yè)、年級 物理與電子工程 系 電子信息工程 專業(yè) 2021年級 指導(dǎo)教師 姓名、職稱 徐曉 副教授 字 數(shù) 18000 定稿日期 中 文 摘 要 本設(shè)計(jì)基于 QT軟件平臺，實(shí)現(xiàn)了功能簡單的網(wǎng)絡(luò)搜索引擎。 10 理論意義或 實(shí)際價(jià)值 符合本學(xué)科的理論發(fā)展，有一定的學(xué)術(shù)意義；對經(jīng)濟(jì)建設(shè)和社會發(fā)展的應(yīng)用性研究中的某個理論或方法問題進(jìn)行研究，具有一定的實(shí)際價(jià)值。 5 寫作水平 論點(diǎn)鮮明；論據(jù)充分；條理清晰；語言流暢。 5 能力水平40% 查閱文獻(xiàn) 資料能力 能獨(dú)立查閱相關(guān)文獻(xiàn)資料，歸納總結(jié)本論文所涉及的有關(guān)研究狀況及成果。用語、格式、圖表、數(shù)據(jù)、量 和單位、各種資料引用規(guī)范化、符合標(biāo)準(zhǔn)。保證了程序的高效執(zhí)行。 Web 信息的搜索 是 解決這個問題的一種重要途徑。所有被網(wǎng)絡(luò)爬蟲抓取的網(wǎng)頁將會被系統(tǒng)存儲，進(jìn)行一定的分析、過濾，并建立索引，對于主題網(wǎng)絡(luò)爬蟲來說，這一過程所得到的分析結(jié)果還可能對后續(xù)的抓取過程進(jìn)行反饋和指導(dǎo)。搜索引擎正是為了解決這個問題而出現(xiàn)的技術(shù)。然而伴隨互聯(lián)網(wǎng)爆炸性的發(fā)展，普通網(wǎng)絡(luò)用戶想找到所需的資料簡直如同大海撈針，這時為滿足大眾信息檢索需求的專業(yè)搜索網(wǎng)站便應(yīng)運(yùn)而生了。而 RBSE 是第一個在搜索結(jié)果排列中引入關(guān)鍵字串匹配程 度概念的引擎 最早現(xiàn)代意義上的搜索引擎出現(xiàn)于 1994年 7月。國內(nèi)的百度也屬于這一類（注），搜狐和新浪用的就是它的技術(shù)。 網(wǎng)絡(luò)爬蟲的發(fā)展趨勢 目前，大多數(shù)的搜索引擎都是基于關(guān)鍵詞的搜索引擎。又 由于搜索引擎有大量的用戶，有很好的經(jīng)濟(jì)價(jià)值，所以引起了世界各國計(jì)算機(jī)科學(xué)界和信息產(chǎn)業(yè)界的高度關(guān)注，目前的研究、開發(fā)十分活躍，并出現(xiàn)了很多值得注意的動向。另外一種方法是將廣度優(yōu)先搜索與網(wǎng)頁過濾技術(shù)結(jié)合使用，先用 廣度優(yōu)先策略 抓取網(wǎng)頁，再將其中無關(guān)的網(wǎng)頁過濾掉。 對抓取目標(biāo)的描述和定義是決定網(wǎng)頁分析算法與 URL 搜索策略如何來制訂的基礎(chǔ)。單索引項(xiàng)對于英文來講就是英語單詞，比較容易提取 ，因?yàn)閱卧~和單詞之間有天然的分隔符即空格 。還有些搜索引擎在建立索引時，要同時考慮超文本中不同標(biāo)記所表示的含義，如粗體、加大字體顯示的東西往往都比較重要。便于在建立索引的過程中提高這些詞匯的相關(guān)度。 在網(wǎng)頁 HTML 代碼中，網(wǎng)頁標(biāo)題位于標(biāo)簽之間。在實(shí)際操作中，網(wǎng)頁標(biāo)題不宜過短或過長。 Qt 是一個多平臺的 C++ 圖形用戶界面應(yīng)用程序框架，它是基于面向?qū)ο蟮乃枷脒M(jìn)行相應(yīng)開發(fā)的，支持真正意義上的組件編程，可以為不同用戶提供華麗的用戶界面 [16]。對于外部的輸入設(shè)備 Qt/Embedded 均把它們抽象成為鼠標(biāo)和鍵盤的輸入事件。同時，QT 系統(tǒng)中有這樣一個類 Qproces 類，它為用戶提供了另外一種異步的進(jìn)程間通信機(jī)制，用于啟動一個外部的程序，同時用戶可以通過寫一個標(biāo)準(zhǔn)的輸入和讀取外部程序的標(biāo)準(zhǔn)輸出和錯誤碼來和它們進(jìn)行通信。插槽主要用于接收信號，但卻通常作為普通的對象成員函數(shù)。多線程的另一個作用是用來提高系統(tǒng)的并發(fā)性。當(dāng)你創(chuàng)建了一個多線程時，就相當(dāng)于建立了一支規(guī)定人數(shù)的軍隊(duì)。 根據(jù)現(xiàn)實(shí)中不同用戶的實(shí)際上的各種需求，簡單實(shí)現(xiàn)主題爬蟲，網(wǎng)絡(luò)爬蟲需要達(dá)到如下幾個目標(biāo)： ，客戶端向服務(wù)器發(fā)送自己設(shè)定好請求。 其中，網(wǎng)頁特征可以是網(wǎng)頁的內(nèi)容特征也可以是網(wǎng)頁的鏈接結(jié)構(gòu)特征。 QByteArray responseData。 } 內(nèi)容提取 搜索引擎建立網(wǎng)頁索引，處理的對象都是文本文件。但在識別 這些信息時，需同步記錄許多版式信息，例如文字的字體大小、是否是標(biāo)題、是否需要加粗顯示、是否是頁面的關(guān)鍵詞等，這些信息都有助于計(jì)算單詞在網(wǎng)頁中的重要程度。這樣，在搜索 “XXX”和 “照片 ”的時候都能讓搜索引擎搜索到這張圖片。 網(wǎng)頁內(nèi)容的提取，一直是網(wǎng)絡(luò)爬蟲中的一個重要的技術(shù)。 int pos = 0。 QString str=get_html(url)。 emit find_url(url,str)。 } return list。 (a.*href=.*(.*))。對于有許多數(shù)據(jù)是放在數(shù)據(jù)庫的網(wǎng)站，需要通過本網(wǎng)站的數(shù)據(jù)庫搜索才能獲得信息，這些就給網(wǎng)絡(luò)爬蟲的抓取帶來很大的困難。 對于多媒體、圖片等文件，一般都是通過鏈接的錨文本和相關(guān)的文件注釋來判斷這些文件的內(nèi)容。 HTML 等文檔不一樣， HTML 有一套自己的語法，需要通過不同的命令標(biāo)識符來表示不同的字體、顏色、位置等版式，在提取文本信息時需要把這些標(biāo)識符都過濾掉。//block until finish 阻塞到 quit()的執(zhí)行為止 responseData = replyreadAll()。 // (proxy)。根據(jù)種子樣本的獲取方式可分為： （ 1）預(yù)先給定的初始抓取種子樣本； （ 2）預(yù)先給定的網(wǎng)頁分類目錄和與分類目錄對應(yīng)的種子樣本 。這些線程相互通信以確定獲得新的工作，通過線程同步，各個 Spider 不會把已經(jīng)完成的工作當(dāng)做新的工作。如果讓 Spider 僅僅等待一個網(wǎng)頁效率是十分低的，多線程能夠讓 Spider 同時等待大量的網(wǎng)頁。 在實(shí)際的應(yīng)用中，基于單線程的系統(tǒng)已經(jīng)無法滿足我們的需要。 所有從 QObject 或其子類（例如 Qwidget）派生的類都能夠包含信號和槽的機(jī)制?？蛻舳说闹饕ぷ髦皇窍⒌慕粨Q，通過使用 QCOP 通道來完成，而服務(wù)進(jìn)程的工作則比較簡單，僅僅需要做的是廣播 QCOP 消息給所有監(jiān)聽指定通道的應(yīng)用進(jìn)程，接著應(yīng)用進(jìn)程就可以通過原先設(shè)定的將特定的信號與特定的槽想關(guān)聯(lián)，把一個插槽連接到一個負(fù)責(zé)接收的信號上面了，從而就對消息做出響應(yīng)并通過調(diào)用響應(yīng)函數(shù)進(jìn)行處理。 Qt/Embedded 架構(gòu) Qt/Embedded 以原始 Qt 為基礎(chǔ)，并做了許多出色的調(diào)整以使它適用于嵌入式環(huán)境。同樣的情況也包括鏈接關(guān)鍵詞與實(shí)際內(nèi)容不符的情況。所以應(yīng)當(dāng)確保在網(wǎng)站的標(biāo)題標(biāo)簽中包含了最重要的關(guān)鍵詞，即應(yīng)圍繞最重要的關(guān)鍵詞來決定網(wǎng)頁標(biāo)題的內(nèi)容。 主題蜘蛛將網(wǎng)頁下載到本地后，需要使用基于內(nèi)容的主題判別方法計(jì)算該網(wǎng)頁的主題相關(guān)度值，主題相關(guān)度低于某一閾值的網(wǎng)頁被丟棄。 信息網(wǎng)頁中的 Meta 標(biāo)記都用來標(biāo)注一些非常 具有顯示性的信息。 7 由于漢文字符很多，處理比較復(fù)雜，中文詞處理不容易。 內(nèi)容索引項(xiàng)：是用來反映文檔內(nèi)容的項(xiàng)，如關(guān)鍵詞及其權(quán)重、短語、詞、字等等。另外，所有被爬蟲抓取的網(wǎng)頁將會被系統(tǒng)所存貯，進(jìn)行一定的分析、過濾，并建立索引，以便之后進(jìn)行查詢和檢 索；對于聚焦爬蟲來說，在這一過程中所得到的分析結(jié)果還可能對以后的抓取過程給出反饋和指導(dǎo)。也有很多研究將廣度優(yōu)先搜索策略應(yīng)用于聚焦爬蟲中。搜索引擎己成為一個新的研究、開發(fā)領(lǐng)域。這類爬蟲可以部署很多，而且可以很有侵略性。 隨著互聯(lián)網(wǎng)規(guī)模的急劇膨脹，一家搜索引擎光靠自己單打獨(dú)斗已無法適應(yīng)目前的市場狀況，因此現(xiàn)在搜索引擎之間開始出現(xiàn)了分工協(xié)作 ，并有了專業(yè)的搜索引 擎技術(shù)和搜索數(shù)據(jù)庫服務(wù)提供商。到 1993年底，一些基于此原理的搜索引擎開始紛紛涌現(xiàn)，其中以 JumpStation、 The World Wide Web Worm（ Goto 的前身，也就是今天 Overture），和 RepositoryBased Software Engineering (RBSE) spider 最負(fù)盛名。 目前傳統(tǒng)搜索引擎下，百度、谷歌等大廠商壟斷了網(wǎng)絡(luò)索引市場，因?yàn)樗鼈兊拇嬖?，日益龐大的互?lián)網(wǎng)內(nèi)容才能突破網(wǎng)絡(luò)黑暗狀態(tài)，變成可知的一個世界。 隨著國際互聯(lián)網(wǎng)（ Inter）的迅速發(fā)展，網(wǎng)上的信息越來越多，全球目前的網(wǎng)頁超過 20億，每天新增加 730萬網(wǎng)頁。通用網(wǎng)絡(luò)爬蟲從一個或若干初始網(wǎng)頁的 URL開始，獲得初始網(wǎng)頁上的 URL 列表；在抓取網(wǎng)頁的過程中，不斷從當(dāng)前頁面上抽取新的 URL 放入待爬行隊(duì)列，直到滿足系統(tǒng)的停止條件。搜索引擎是通過互聯(lián)網(wǎng)搜索信息的重要途徑?？梢圆恍枰趥鹘y(tǒng)的瀏覽器上進(jìn)行搜索而簡單獲取網(wǎng)絡(luò)上有用的信息。 5 寫作水平 論點(diǎn)鮮明；論據(jù)充分；條理清晰；語言流暢。 10 理論意義或 實(shí)際價(jià)值 符合本學(xué)科的理論發(fā)展，有一定的學(xué) 術(shù)意義；對經(jīng)濟(jì)建設(shè)和社會發(fā)展的應(yīng)用性研究中的某個理論或方法問題進(jìn)行研究，具有一定的實(shí)際價(jià)值。 10 外文應(yīng)用 能力 能閱讀、翻譯一定量的本專業(yè)外文資料、外文摘要和外文參考書目（特殊專業(yè)除外）體現(xiàn)一定的外語水平。故本設(shè)計(jì)在嵌入式領(lǐng)域以其輕量級、靈活性、高效性有著十分重要的意義。 演示實(shí)物突出自己的設(shè)計(jì)創(chuàng)新點(diǎn)。 G 湖南科技學(xué)院畢業(yè)設(shè)計(jì)（論文）指導(dǎo)過程記錄表 畢業(yè)論文 (設(shè)計(jì) )題目 基于 QT 的網(wǎng)絡(luò)爬蟲 學(xué)生 姓名 徐國兵 學(xué)號 202106002240 專業(yè)班級 電子信息工程專業(yè) 電信 0902 班 指導(dǎo)教師 徐曉 職稱 副教授 系（教研室） 電子工程系 指導(dǎo)過程記錄 指導(dǎo)內(nèi)容 記錄 (一 ) 選題、查閱資料指導(dǎo)： 根據(jù)自己所學(xué)專業(yè)和特長，選擇一個通過查閱資料和自己的努力，既能做又有一定深度，能反映出自己學(xué)術(shù)水平的題目； 到圖書館查找和借閱與選題有關(guān)的文獻(xiàn)和資料； 從網(wǎng)上檢索和下載與選題有關(guān)的文獻(xiàn)和資料。 完成期限和采取的主要措施： （ 1） 選題并收集資料 文獻(xiàn) ； （ 2） 撰寫論文，定好初稿； （ 3） 系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn)； （ 4） 老師指導(dǎo)和修改意見 （ 5） 修改，測試，定稿， 答辯 主要參考資料： [1]Winter．中文搜索引擎技術(shù)解密：網(wǎng)絡(luò)蜘蛛 [M]．北京：人民郵電出版社， 2021 年． [2]Sergey 等． The Anatomy of a LargeScale Hypertextual Web Search Engine [M]．北京：清華大學(xué)出版社， 1998 年． [3]Wisenut． WiseNut Search Engine white paper [M]．北京：中國電力出版社， 2021 年．