畢設(shè)開題報(bào)告-及開題報(bào)告分析-全文預(yù)覽
【正文】 工作。,+39。,+39。39。例如sql語(yǔ)句sql=39。文獻(xiàn)[13]中，在系統(tǒng)設(shè)計(jì)與分析中，將該爬蟲系統(tǒng)分為，模擬瀏覽器登錄、節(jié)點(diǎn)獲取模塊、節(jié)點(diǎn)篩選模塊、數(shù)據(jù)抓取模塊、數(shù)據(jù)存儲(chǔ)模塊等5個(gè)模塊。三、根據(jù)任務(wù)書的任務(wù)及文獻(xiàn)調(diào)研結(jié)果，初步擬定的執(zhí)行（實(shí)施）方案（含具體進(jìn)度計(jì)劃） 在文獻(xiàn)[4]、文獻(xiàn)[7]、文獻(xiàn)[13]等中，都對(duì)爬蟲程序的基本模塊和設(shè)計(jì)進(jìn)行了討論。 實(shí)驗(yàn)結(jié)果證明軟件測(cè)試自動(dòng)化平臺(tái)對(duì)測(cè)試項(xiàng)目帶來(lái)諸多便捷與改善。Web數(shù)據(jù)采集系統(tǒng)可以分為:HTTP交互和數(shù)據(jù)解析兩個(gè)模塊。文獻(xiàn)[10]對(duì)于全球社交網(wǎng)絡(luò)Twitter，設(shè)計(jì)并實(shí)現(xiàn)了，一個(gè)爬蟲系統(tǒng)，從另一個(gè)角度闡明了Python在編寫爬蟲這個(gè)方面的強(qiáng)大和快速。本文研究的核心問(wèn)題是，根據(jù)微博數(shù)據(jù)的特點(diǎn)設(shè)計(jì)一種基于“剪枝”的廣度優(yōu)先搜索策略，并 將其應(yīng)用到微博爬蟲中；同時(shí)使用微博頁(yè)面分析技術(shù)使得爬蟲不受微博平臺(tái)API限制，從而讓用戶盡可能準(zhǔn)確地抓取主題相關(guān)的微博數(shù)據(jù)。本系統(tǒng)成功的實(shí)現(xiàn)了基于Ajax技術(shù)的網(wǎng)頁(yè)信息的提取。然后針對(duì)微博的特點(diǎn)和Ajax技術(shù)的實(shí)現(xiàn)方法,指出傳統(tǒng)網(wǎng)絡(luò)爬蟲的不足,以及信息抓取的技術(shù)難點(diǎn),深入分析了現(xiàn)有的基于Ajax的網(wǎng)絡(luò)爬蟲的最新技術(shù)——通過(guò)模擬瀏覽器行為,觸發(fā)JavaScript事件(如click, onmouseover等),解析JavaScript腳本,動(dòng)態(tài)更新網(wǎng)頁(yè)DOM樹,抽取網(wǎng)頁(yè)中的有效信息。文獻(xiàn)[6]綜述了聚焦爬蟲技術(shù)的研究。該文獻(xiàn)從微博消息傳播三大構(gòu)件的角度，對(duì)當(dāng)前基于信息數(shù)據(jù)分析的微博研究進(jìn)行系統(tǒng)梳理,提出微博信息傳播三大構(gòu)件的概念,歸納了此類研究的主要研究?jī)?nèi)容及方法。并行爬蟲擁有較好的加速比，可以快速抓取數(shù)據(jù)。文獻(xiàn)[2]和文獻(xiàn)[3]講述了Python的入門教程和Python的編程入門，通過(guò)學(xué)習(xí)文獻(xiàn)可以了解Python的基本語(yǔ)法和Python的基本編程方法，對(duì)于本課題程序編寫，能夠擁有大概的思路和想法。它通過(guò)請(qǐng)求站點(diǎn)上的html文檔訪問(wèn)某一個(gè)站點(diǎn)。所以學(xué)習(xí)網(wǎng)絡(luò)爬蟲有很大的意義。是一種按照一定的規(guī)則，自動(dòng)地抓取萬(wàn)維網(wǎng)信息的程序或者腳本。 網(wǎng)絡(luò)爬蟲源自Spider(或Crawler、robots)等的意譯。然而網(wǎng)絡(luò)上的信息資源大多是無(wú)組織并且動(dòng)態(tài)變化的，光靠管理員手工去管理，很難將這些龐大，繁雜的數(shù)據(jù)進(jìn)行有效的保存和利用，這就促使了網(wǎng)絡(luò)爬蟲技術(shù)的興起。 網(wǎng)絡(luò)爬蟲又被稱為做網(wǎng)絡(luò)蜘蛛、網(wǎng)絡(luò)機(jī)器人，主要用于網(wǎng)絡(luò)資源的收集工作。但是，一些通用性的搜索引擎也存在著一定的局限性，通用搜索引擎返回的結(jié)果可能包含了大量用戶不關(guān)心的網(wǎng)頁(yè)內(nèi)容，而且通用搜索引擎有限的服務(wù)器資源與無(wú)限的網(wǎng)絡(luò)資源之間存在的矛盾進(jìn)一步加深，還有，就是通用搜索引擎不能支持給據(jù)語(yǔ)義的信息提出的查詢和搜索。二、閱讀文獻(xiàn)資料進(jìn)行調(diào)研的綜述 網(wǎng)絡(luò)爬蟲是一個(gè)功能很強(qiáng)大的自動(dòng)提取網(wǎng)頁(yè)的程序，它為搜索引擎從萬(wàn)維網(wǎng)下載網(wǎng)頁(yè)，是搜索引擎的重要組成部分。 本課題需要用MySQL來(lái)存取從網(wǎng)頁(yè)上抓去到的數(shù)據(jù)，文獻(xiàn)[1]講述了MySQL數(shù)據(jù)庫(kù)的入門知識(shí)，該，學(xué)習(xí)該文獻(xiàn)能夠做到MySQL數(shù)據(jù)庫(kù)的
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1