【正文】 新聞爬蟲系統(tǒng)的結(jié)構(gòu)設(shè)計(jì)與實(shí)現(xiàn)畢業(yè)設(shè)計(jì)論文1 緒論 本章主要闡明了該課題的研究背景及其研究意義，簡(jiǎn)要說(shuō)明了國(guó)內(nèi)外對(duì)于爬蟲系統(tǒng)的研究現(xiàn)狀，并介紹了本論文的主要內(nèi)容組成以及論文的組織結(jié)構(gòu)。 開發(fā)背景及目的隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展與應(yīng)用的普及，網(wǎng)絡(luò)作為信息的載體，已經(jīng)成為社會(huì)大眾參與社會(huì)生活的一種重要信息渠道。由于互聯(lián)網(wǎng)是開放的，每個(gè)人都可以在網(wǎng)絡(luò)上發(fā)表信息，內(nèi)容涉及各個(gè)方面。小到心情日志，大到國(guó)家大事?；ヂ?lián)網(wǎng)已成為思想文化信息的集散地，并具有傳統(tǒng)媒體無(wú)法相比的優(yōu)勢(shì)：便捷性，虛擬性，互動(dòng)性，多元性。網(wǎng)絡(luò)新聞熱點(diǎn)通常形成迅速，多是人們對(duì)于日常生活中的各種問(wèn)題發(fā)表的各種意見，評(píng)論，態(tài)度，情緒等，隨著事件的發(fā)展而變化，是反映社會(huì)熱點(diǎn)的重要載體之一。網(wǎng)絡(luò)爬蟲是一種按照一定上網(wǎng)規(guī)則，自動(dòng)的抓取萬(wàn)維網(wǎng)信息的程序或腳本。網(wǎng)絡(luò)檢索功能起于互聯(lián)網(wǎng)內(nèi)容爆炸性發(fā)展所帶來(lái)的對(duì)內(nèi)容檢索的需求。搜素引擎不斷發(fā)展，人們的需求也不斷提高，網(wǎng)絡(luò)信息搜索已經(jīng)成為人們每天都有進(jìn)行的內(nèi)容。如何使搜索引擎能夠時(shí)刻滿足人們的需求？最初的檢索功能通過(guò)索引站的方式實(shí)現(xiàn)，從而有了網(wǎng)絡(luò)機(jī)器人。本課題來(lái)源于新聞爬蟲系統(tǒng)項(xiàng)目的建設(shè)，旨在為相關(guān)機(jī)構(gòu)提供及時(shí)的網(wǎng)絡(luò)信息服務(wù)。這些服務(wù)與現(xiàn)有的搜索引擎提供的服務(wù)不同，其重要特征主要體現(xiàn)在：及時(shí)性，專用性，人性化。 及時(shí)性新聞爬蟲系統(tǒng)通過(guò)爬蟲技術(shù)自動(dòng)爬取新聞信息，定期對(duì)相應(yīng)類型的新聞的地址進(jìn)行掃描，如若該新聞并未被爬取過(guò)則對(duì)其進(jìn)行自動(dòng)爬取。讓系統(tǒng)的工作人員可以靜觀事態(tài)的發(fā)展。 專用性 新聞爬蟲系統(tǒng)的專用性體現(xiàn)在數(shù)據(jù)采集，數(shù)據(jù)分析，數(shù)據(jù)展現(xiàn)等幾個(gè)環(huán)節(jié)上。在數(shù)據(jù)采集方面系統(tǒng)采用手動(dòng)爬取與增量爬取相結(jié)合的方式。有針對(duì)性的采集需要的幾個(gè)類別的新聞信息，并對(duì)信息進(jìn)行抽取，去噪，結(jié)構(gòu)化處理，為后續(xù)專用分析創(chuàng)造條件。在數(shù)據(jù)分析與數(shù)據(jù)展示方面，系統(tǒng)通過(guò)對(duì)得到的信息進(jìn)行深入的分析，將分析結(jié)果進(jìn)行多維度的展現(xiàn)。 人性化 新聞爬蟲系統(tǒng)的人性化主要體現(xiàn)在數(shù)據(jù)結(jié)果的展示上。 用戶可以隨時(shí)查看任意一個(gè)時(shí)間的新聞分析結(jié)果，而且該系統(tǒng)由于是基于多線程的程序完成任務(wù)的效率高。所以不管實(shí)在界面上還是在效率上都非常的人性化。 新聞爬蟲系統(tǒng)項(xiàng)目建設(shè)意義重大。一方面，新聞爬蟲系統(tǒng)提供了大量的分析素材，方便全面的了解大眾網(wǎng)絡(luò)新聞的熱點(diǎn)。另一方面，原來(lái)的新聞信息收集工作主要依靠人工完成，工作量巨大，覆蓋面小，不僅費(fèi)時(shí)費(fèi)力而且還不免出現(xiàn)人為疏漏的情況，這種局面亟待通過(guò)技術(shù)手段提高工作效率。 本文完成的是新聞爬蟲系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，該爬蟲系統(tǒng)為新聞分析系統(tǒng)提供數(shù)據(jù)源，完成新聞信息的搜集。因此可以說(shuō)爬蟲系統(tǒng)是整個(gè)分析系統(tǒng)的基礎(chǔ)，并且爬蟲系統(tǒng)輸出結(jié)果的好壞直接影響著系統(tǒng)結(jié)果的展現(xiàn)。 國(guó)內(nèi)外相關(guān)研究現(xiàn)狀 網(wǎng)絡(luò)爬蟲從搜索對(duì)象上來(lái)分類，主流的的爬蟲技術(shù)包括以下兩種：第一種是基于鏈接分析的搜索。上世紀(jì)九十年代，國(guó)外的搜索引擎開發(fā)者已經(jīng)開始以社會(huì)網(wǎng)絡(luò)工作為模型，對(duì)萬(wàn)維網(wǎng)進(jìn)行模擬。專家們通過(guò)社會(huì)間人與人的關(guān)系網(wǎng)，設(shè)計(jì)研發(fā)出了頁(yè)面間的超鏈接關(guān)系網(wǎng)絡(luò)。同時(shí)他們還驚奇的發(fā)現(xiàn)，相似度最高的在傳統(tǒng)引文方面。這樣通過(guò)對(duì)照就可以分析得出結(jié)論，從關(guān)系網(wǎng)絡(luò)的角度入手，就能將互聯(lián)網(wǎng)上大量的網(wǎng)頁(yè)進(jìn)行分類。早在2002年，歐美地區(qū)便出現(xiàn)了這種最原始的基于鏈接的搜索系統(tǒng)。第二種是基于內(nèi)容分析的搜索。相對(duì)于基于鏈接分析的搜索方式，這是搜索技術(shù)的一個(gè)突破性進(jìn)展，他們采取了一種新的思維方式，建立一個(gè)針對(duì)主題的詞庫(kù)。當(dāng)用戶在專業(yè)領(lǐng)域進(jìn)行搜索時(shí)，可以將詞庫(kù)和爬蟲結(jié)合起來(lái)進(jìn)行檢索。由于搜索角度的轉(zhuǎn)變，這種新的技術(shù)逐漸開始被人們所關(guān)注。在上世紀(jì)九十年代，F(xiàn)ish Search System系統(tǒng)作為首個(gè)基于內(nèi)容分析的搜索系統(tǒng)被開發(fā)出來(lái)。后來(lái)在1998年和1999年相繼出現(xiàn)了Shark Search System和聚焦爬蟲（Focused Crawler）[1]。 時(shí)至今日，聚焦爬蟲技術(shù)取得了長(zhǎng)足的發(fā)展和進(jìn)步，國(guó)外典型的系統(tǒng)包括CORA、IBM Focused Crawler等。CORA 。CORA采用機(jī)械認(rèn)知的方式，其主要針對(duì)的對(duì)象是與計(jì)算機(jī)主題相關(guān)聯(lián)的內(nèi)容，通過(guò)隱性馬爾夫的原理對(duì)用戶需要的內(nèi)容進(jìn)行分類。雖然CORA分析地址和主題的能力還很不足，同時(shí)也不具備對(duì)網(wǎng)頁(yè)進(jìn)行分析的能力，但是這仍然無(wú)法抹殺它在自動(dòng)搜集資源方面取得的重大成就。 Focused Crawler，這是一種全新的爬行系統(tǒng)。從現(xiàn)在的技術(shù)來(lái)看，當(dāng)時(shí)的IBM Focused Crawler采取了全新雙模塊系統(tǒng)，即分類器和選擇器。分類器主要用于計(jì)算相關(guān)度，而選擇器用來(lái)確定主要頁(yè)面。，使得該系統(tǒng)在準(zhǔn)確度和相關(guān)度方面有了大幅度的提升[2]。美國(guó)人Diligenti采取建立上下文圖的方式設(shè)計(jì)出了聚焦爬蟲，他們將其命名為Context Graphs Focused Crawler。這種通過(guò)學(xué)習(xí)網(wǎng)頁(yè)引用關(guān)系的方法后來(lái)被證明效率并不高，但在當(dāng)時(shí)也是重要的創(chuàng)新手段。系統(tǒng)會(huì)利用反向鏈接服務(wù)找到指向該頁(yè)面的網(wǎng)頁(yè)，在這兩層網(wǎng)頁(yè)之間建立引用關(guān)系，由此建立聚焦爬蟲的爬行路徑。通過(guò)用戶搜索參數(shù)的改變，每一個(gè)頁(yè)面都會(huì)建立一個(gè)對(duì)應(yīng)的引用關(guān)系，最后將他們進(jìn)行合并。在這個(gè)過(guò)程中，分類器會(huì)確定他們的層級(jí)關(guān)系，確定之后，頁(yè)面的鏈接便會(huì)加入隊(duì)列，由此提取到所有需要進(jìn)行抓取的網(wǎng)頁(yè)[3]。對(duì)于基于內(nèi)容分析的搜索，國(guó)人也做出了很大貢獻(xiàn)。張福炎教授設(shè)計(jì)出了IDGS（Internet Data Gather System）系統(tǒng)，可以對(duì)萬(wàn)維網(wǎng)上的中英文內(nèi)容進(jìn)行搜索，大大的填補(bǔ)了中文方面的空白。IDGS 能夠在萬(wàn)維網(wǎng)上對(duì)信息進(jìn)行自動(dòng)查詢，采用向量空間模型技術(shù)對(duì)內(nèi)容進(jìn)行檢索，同時(shí)利用權(quán)重評(píng)價(jià)技術(shù)來(lái)進(jìn)行統(tǒng)計(jì)。在該系統(tǒng)中由模式匹配模塊計(jì)算相關(guān)度，采取漫游模型來(lái)進(jìn)行后期的持續(xù)檢索。該系統(tǒng)的最大優(yōu)點(diǎn)是準(zhǔn)確度高，其代價(jià)是犧牲了覆蓋度，搜索的深度非常有限[4]。 論文主要內(nèi)容和章節(jié)安排 本文對(duì)于新聞爬蟲系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)過(guò)程作出了詳細(xì)介紹，該系統(tǒng)的數(shù)據(jù)來(lái)源主要是網(wǎng)絡(luò)網(wǎng)頁(yè)新聞。本系統(tǒng)的運(yùn)行流程大致如下：首先利用爬蟲工具將新聞數(shù)據(jù)獲取到本地?cái)?shù)據(jù)庫(kù)中，之后對(duì)其進(jìn)行數(shù)據(jù)分析，最后將新聞內(nèi)容信息以及分析結(jié)果在前臺(tái)網(wǎng)頁(yè)中進(jìn)行可視化輸出。第1章 為緒論，主要闡明了該課題的研究背景及其研究意義，簡(jiǎn)要說(shuō)明了國(guó)內(nèi)外對(duì)于爬蟲系統(tǒng)的研究現(xiàn)狀，并介紹了本論文的主要內(nèi)容組成以及論文的組織結(jié)構(gòu)。第2章 為系統(tǒng)開發(fā)知識(shí)準(zhǔn)備，簡(jiǎn)要介紹了進(jìn)行本次新聞爬蟲系統(tǒng)開發(fā)所需要的相關(guān)理論和技術(shù)，主要包括爬蟲技術(shù)的知識(shí)理論和J2EE技術(shù)、SQL Server 2005數(shù)據(jù)庫(kù)管理系統(tǒng)以及ExtJS框架等相關(guān)知識(shí)，并對(duì)系統(tǒng)開發(fā)過(guò)程中用到的一些關(guān)鍵開源工具做出了簡(jiǎn)要說(shuō)明。第3章 對(duì)本系統(tǒng)進(jìn)行了需求分析，首先從技術(shù)可行性、操作可行性和經(jīng)濟(jì)可行性三個(gè)方面對(duì)系統(tǒng)可行性進(jìn)行了評(píng)估，隨后對(duì)系統(tǒng)的用戶對(duì)象和用戶用況從管理員用戶和普通用戶兩個(gè)角度進(jìn)行了詳細(xì)的分析，并分別總結(jié)出了相應(yīng)的功能需求，最后對(duì)系統(tǒng)的性能需求進(jìn)行了簡(jiǎn)要分析。第4章 對(duì)本系統(tǒng)進(jìn)行了總體設(shè)計(jì)，包括數(shù)據(jù)庫(kù)結(jié)構(gòu)的總體設(shè)計(jì)以及系統(tǒng)功能模塊的總體設(shè)計(jì)，并對(duì)數(shù)據(jù)獲取功能模塊的子模塊以及數(shù)據(jù)可視化功能模塊的功能結(jié)構(gòu)做出了明確的劃分，為系統(tǒng)詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)階段的工作備好條件。第5章 對(duì)本系統(tǒng)的詳細(xì)設(shè)計(jì)和實(shí)現(xiàn)過(guò)程做出了說(shuō)明，進(jìn)行了功能模塊的詳細(xì)設(shè)計(jì)并完成了系統(tǒng)的開發(fā)實(shí)現(xiàn)工作，對(duì)于數(shù)據(jù)獲取模塊以及數(shù)據(jù)可視化模塊進(jìn)行了詳細(xì)的設(shè)計(jì)實(shí)現(xiàn)和功能說(shuō)明。第6章 進(jìn)行了系統(tǒng)測(cè)試和發(fā)布工作，首先從理論上對(duì)軟件測(cè)試的目標(biāo)和方法進(jìn)行了簡(jiǎn)要介紹，之后設(shè)計(jì)了多個(gè)測(cè)試用例對(duì)系統(tǒng)的相關(guān)功能模塊進(jìn)行了詳細(xì)的測(cè)試并對(duì)測(cè)試結(jié)果進(jìn)行了分析，最后將本系統(tǒng)通過(guò)TOMCAT部署到了PC服務(wù)器上，完成了系統(tǒng)發(fā)布的過(guò)程。 第7章 對(duì)于本次系統(tǒng)設(shè)計(jì)開發(fā)過(guò)程進(jìn)行了歸納和總結(jié)，闡述了本次系統(tǒng)開發(fā)的意義并分析了下一步需要進(jìn)行的工作，最后對(duì)網(wǎng)絡(luò)輿情分析系統(tǒng)的發(fā)展方向進(jìn)行了展望。2 系統(tǒng)開發(fā)知識(shí)準(zhǔn)備 本章簡(jiǎn)要介紹了進(jìn)行本次新聞爬蟲系統(tǒng)開發(fā)所需要的相關(guān)理論和技術(shù)，這些關(guān)鍵技術(shù)的學(xué)習(xí)和掌握為接下來(lái)的系統(tǒng)分析及設(shè)計(jì)實(shí)現(xiàn)提供了堅(jiān)實(shí)的理論基礎(chǔ)。 網(wǎng)絡(luò)爬蟲的相關(guān)知識(shí)與理論 網(wǎng)絡(luò)爬蟲的定義 網(wǎng)絡(luò)爬蟲是一個(gè)自動(dòng)提取網(wǎng)頁(yè)的程序，它為搜索引擎從WEB上下載網(wǎng)頁(yè)，是搜索引擎的重要組成部分。通用網(wǎng)絡(luò)爬蟲從一個(gè)或幾個(gè)初始網(wǎng)頁(yè)的URL開始，獲得初始網(wǎng)頁(yè)上的URL列表；在抓取網(wǎng)頁(yè)的過(guò)程中不斷從當(dāng)前網(wǎng)頁(yè)上抽取新的URL放入到待爬行隊(duì)列，直到滿足系統(tǒng)的停止條件。 頁(yè)面搜索策略介紹 網(wǎng)頁(yè)的爬取策略可分為深度優(yōu)先，廣度優(yōu)先和最佳優(yōu)先三種。深度優(yōu)先在很多時(shí)候會(huì)導(dǎo)致爬蟲的陷入問(wèn)題，目前常見的是廣度優(yōu)先和最佳優(yōu)先方法。 廣度優(yōu)先策略是指在爬取過(guò)程中，在完成當(dāng)前層次的搜索后，才進(jìn)行下一層次的搜索。在目前為覆蓋盡可能多的網(wǎng)頁(yè)，一般使用廣度優(yōu)先搜索算法。也有很多研究將廣度優(yōu)先算法應(yīng)用于聚焦爬蟲上。其基本思想是認(rèn)為與初始URL在一定鏈接距離內(nèi)的網(wǎng)頁(yè)具有主題相關(guān)性的概率很大。最佳優(yōu)先策略是按照一定的網(wǎng)頁(yè)分析算法，預(yù)測(cè)候選URL與目標(biāo)網(wǎng)頁(yè)的相似度，或與主題的相關(guān)性，并選評(píng)價(jià)最好的一個(gè)或幾個(gè)URL進(jìn)行抓取。它只訪問(wèn)經(jīng)過(guò)網(wǎng)頁(yè)任意算法預(yù)測(cè)為“有用”的網(wǎng)頁(yè)。存在的一個(gè)問(wèn)題是，在爬蟲抓取路徑上的很多相關(guān)網(wǎng)頁(yè)可能被忽略。因?yàn)樽罴褍?yōu)先策略是一種局部最優(yōu)搜索算法。因此需要在應(yīng)用中對(duì)最佳優(yōu)先策略進(jìn)行改進(jìn)，以跳出局部最優(yōu)點(diǎn)。 J2EE技術(shù)簡(jiǎn)介J2EE指的是Java2平臺(tái)企業(yè)版（Java 2 Platform , Enterprise Edition）。J2EE的核心是一組技術(shù)規(guī)范與指南，其中所包含的各類組件、服務(wù)架構(gòu)及技術(shù)層次，均有共同的標(biāo)準(zhǔn)及規(guī)格，讓各種依循J2EE架構(gòu)的不同平臺(tái)之間存在良好的兼容性，一方面解決了過(guò)去企業(yè)后端使用的信息產(chǎn)品彼此之間無(wú)法兼容的問(wèn)題，另一方面使得企業(yè)擺脫了內(nèi)部和外部難以互通的窘境。J2EE組件和“標(biāo)準(zhǔn)的”Java類的不同點(diǎn)在于：它被裝配在一個(gè)J2EE應(yīng)用中，具有固定的格式并遵守J2EE規(guī)范，由J2EE服務(wù)器對(duì)其進(jìn)行管理。J2EE規(guī)范是這樣定義J2EE組件的：客戶端應(yīng)用程序和Applet是運(yùn)行在客戶端的組件；Java Servlet和Java Server Pages (JSP) 是運(yùn)行在服務(wù)器端的Web組件；Enterprise Java Bean (EJB )是運(yùn)行在服務(wù)器端的業(yè)務(wù)組件。J2EE體系結(jié)構(gòu)提供中間層集成框架用來(lái)滿足無(wú)需太多費(fèi)用而又需要高可用性、高可靠性以及可擴(kuò)展性的應(yīng)用的需求。通過(guò)提供統(tǒng)一的開發(fā)平臺(tái)，J2EE降低了開發(fā)多層應(yīng)用的費(fèi)用和復(fù)雜性，同時(shí)提供對(duì)現(xiàn)有應(yīng)用程序集成的強(qiáng)有力支持，極大地提高了系統(tǒng)的運(yùn)行效率和安全性。J2EE使用多層的分布式應(yīng)用模型，應(yīng)用邏輯按功能劃分為組件，各個(gè)應(yīng)用組件根據(jù)他們所在的層分布在不同的機(jī)器上。事實(shí)上，SUN設(shè)計(jì)J2EE的初衷正是為了解決兩層模式（Client/Server）的弊端。傳統(tǒng)的客戶端往往承擔(dān)了太多的功能，導(dǎo)致客戶端比較臃腫，升級(jí)很不方便。而J2EE中使用的多層軟件模型將原來(lái)簡(jiǎn)單的模型切成幾層解耦的獨(dú)立功能層，每一層完成特定的任務(wù)，方便升級(jí)系統(tǒng)并更改應(yīng)用的邏輯[5]。典型的J2EE應(yīng)用體系結(jié)構(gòu)如圖21所示：圖21 J2EE體系結(jié)構(gòu)圖總體來(lái)說(shuō)，使用J2EE技術(shù)開發(fā)Web事務(wù)系統(tǒng)有以下優(yōu)點(diǎn)：第一，開發(fā)高效，J2EE有完善的開源社區(qū)支持，像Spring，Struts這些框架可以大大縮短開發(fā)周期；第二，支持不同的操作系統(tǒng)環(huán)境，因?yàn)镴ava天生具有“一次編譯，隨處運(yùn)行”的特點(diǎn)，基于J2EE開發(fā)的應(yīng)用程序不依賴特定的操作系統(tǒng)、硬件等，也就具有了開發(fā)一次就可以在各個(gè)平臺(tái)部署的特點(diǎn)；第三，穩(wěn)定的高可用性，得益于從Java繼承而來(lái)的跨平臺(tái)特性，J2EE系統(tǒng)部署到可靠的操作環(huán)境中，一些對(duì)系統(tǒng)魯棒性要求很高的大型商務(wù)系統(tǒng)可以選擇比Windows更為健壯的Linux操作系統(tǒng)，這是更為理想的選擇。 SQL Server 2005簡(jiǎn)介Microsoft SQL Server 2005是一個(gè)全面的數(shù)據(jù)庫(kù)平臺(tái)，使用集成的商業(yè)智能工具提供了企業(yè)級(jí)的數(shù)據(jù)管理方式。Microsoft SQL Server 2005數(shù)據(jù)庫(kù)引擎為關(guān)系型數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)提供了更安全可靠的存儲(chǔ)功能，使得用戶可以構(gòu)建和管理用于業(yè)務(wù)的高可用和高性能的數(shù)據(jù)應(yīng)用程序。SQL Server是由Microsoft開發(fā)和推廣的關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)（DBMS)，它最初是由Microsoft、Sybase、AshtonTate三家公司共同開發(fā)的，并于1988年推出了第一個(gè)在OS/2版本上運(yùn)行的SQL Server系統(tǒng)。1992年Sybase和Microsoft這兩家公司將SQL Server移植到了Windows NT操作系統(tǒng)上，后來(lái)Microsoft致力于Windows NT平臺(tái)的SQL Server的開發(fā)，而Sybase則專注于SQL Server在UNIX上的應(yīng)用[6]。近年來(lái)在Microsoft SQL Server的發(fā)展歷程中不斷更新版本：1996年發(fā)布的SQL ，該版本具備了市場(chǎng)所需的速度快、功能強(qiáng)、易使用和價(jià)格低等有點(diǎn)；1998年推出了SQL ，該版本再一次對(duì)核心數(shù)據(jù)庫(kù)引擎進(jìn)行了重大改寫，在操作上更加簡(jiǎn)單、易用，因此獲得了良好的聲譽(yù)；2000年，發(fā)布了SQL Server 2000版本，該版本在可擴(kuò)縮性和可靠性上有了很大的改進(jìn)，成為企業(yè)級(jí)數(shù)據(jù)庫(kù)市場(chǎng)中重要的一員；2005年，發(fā)布了SQL Server 2005版本，該版本擴(kuò)展了SQL Server 2000的性能，如在可靠性、可用性、可編程性和易用性等方面做出了重大改進(jìn)。SQL Server Framework， SQL Server專有對(duì)象，從而使SQL Server數(shù)據(jù)庫(kù)具有靈活的功能。SQL Server 2005的常見版本包括如下四種： 1）個(gè)人版（Personal Edition）：用于單機(jī)系統(tǒng)或客戶機(jī)；2） 標(biāo)準(zhǔn)版（Standard Edition）：用于小型的工作組或部門； 3）企業(yè)版（Enterprise Edition）：支持所有的SQL Server 2005特性，可作