【導(dǎo)讀】撰寫的成果作品。本人完全意識到本聲明的法律后果由本人承擔(dān)。關(guān)學(xué)位論文管理部門或機構(gòu)送交論文的復(fù)印件和電子版，允許論文被查閱和借閱。以采用影印、縮印或掃描等復(fù)制手段保存和匯編本學(xué)位論文。新浪微博的信息采集，所得結(jié)果對于新浪微博的開發(fā)具有重要的指導(dǎo)意義。本論文的主要工作有以下幾個方面：首先是利用微博系統(tǒng)。的JAVASDK獲取數(shù)據(jù)，該技術(shù)通過調(diào)用微博平臺提供API來獲取數(shù)據(jù)。口提供商限制的因素多且不穩(wěn)定。其次通過JAVA編程設(shè)計一個良好的界面，調(diào)用API接。將出現(xiàn)該關(guān)鍵詞的好友微博返回到txt文件中進行保存，同時將歷史采集記錄保存下來，們對新浪微博授權(quán)用戶微博實時信息的主題采集。計了一套完善的顯示與保存方案，能夠?qū)π吕宋⒉┑暮罄m(xù)研究提供數(shù)據(jù)。

　　

【正文】 riter fout =new FileWriter(file， false)。 %信息的保存 for(int i=1。i30。i++){ StatusWapper status = (0， 0， new Paging(i))。 for(Status s : ()){ int idstate=().indexOf(text=)。 int idid=().indexOf(id)。 int idsource=().indexOf(source)。 %關(guān)鍵字匹配 if(().indexOf(searchstring， idstate)!=1) { (().substring(idid， idid+14))。 (().substring(idstate， idsource2))。 (\r\n)。 (().substring(idid， idid+14))。 (().substring(idstate， idsource2))。 (\r\n)。}} 15 }%匹配信息的提取 ()。 上述代碼主要實現(xiàn)對關(guān)鍵字的匹配，一旦有匹配的微博信息， File file=new File(.+ + data， searchstring+.txt)是將用戶的微博 id和微博內(nèi)容以 txt的形式保存到 data文件夾中。 系統(tǒng)效果顯示 主頁面效果顯示 啟動模塊主要負(fù)責(zé)應(yīng)用程序啟動的界面，啟動界面如圖 所示： 圖 應(yīng)用程序啟動界面 該界面的實現(xiàn)：該界面分為上、下兩個部分，上面是關(guān)鍵詞輸入?yún)^(qū)，主要用來輸入想要采集的微博用戶的主題信息。下面是信息采集顯示區(qū)，主要用來顯示跟關(guān)鍵詞有關(guān)的用戶 id 以及微博內(nèi)容。如果系統(tǒng)用戶沒有輸入任何關(guān)鍵詞就直接點擊 “ 開始搜索 ” 按鈕，系統(tǒng)就會彈出 “ 未輸入關(guān)鍵詞 ” 警告框，如圖 所示： 16 圖 輸入提示警告 采集信息效果顯示 通過輸入一個關(guān)鍵詞，然后點擊開始搜索，系統(tǒng)就會把授權(quán)用戶的所有微博中 與關(guān)鍵詞有關(guān)的用戶 id 和微博內(nèi)容顯示出來。以下是幾個輸入不同關(guān)鍵詞的信息采集效果圖： 當(dāng)輸入關(guān)鍵詞為 “ 健康 ” 時，系統(tǒng)在采集信息的過程中，按鈕將由 “ 開始采集 ” 變?yōu)椤?正在搜索 ” ，顯示系統(tǒng)正在對關(guān)鍵詞進行匹配，如圖 所示： 圖 系統(tǒng)正在搜索 當(dāng)采集完畢以后，系統(tǒng)會彈出 “ 采集完畢！采集內(nèi)容存于當(dāng)前文件夾 data 文件夾內(nèi)！ ”提示框，如圖 所示： 17 圖 采集完畢提示框 采集完畢以后，系統(tǒng)將顯示所有與出現(xiàn)關(guān)鍵詞的微博 id 以及微博內(nèi)容，并將其顯示出來，同時將其保存到 data 文件夾內(nèi)供后續(xù)研究，如下圖所示： 圖 系統(tǒng)采集到 “ 健康 ” 完整信息 18 當(dāng)輸入關(guān)鍵詞為 “ 天氣 ” 時，如圖 顯示的是與之有關(guān)的信息 ： 圖 輸入 “ 天氣 ” 采集信息 當(dāng)輸入關(guān)鍵詞為 “ 安全 ” 時，如圖 顯示的是與之有關(guān)的信息： 圖 輸入 “ 安全 ” 采集信息 19 由于新浪微博對開發(fā)者調(diào)用 API 接口的頻率以及次數(shù)都有限制，當(dāng)調(diào)用頻率超過新浪微博限制的次數(shù)時，系統(tǒng)需要等待幾分鐘再進行信息采集，如圖 所示為當(dāng)調(diào)用次數(shù) 超過 限制時系統(tǒng)彈出的警告框： 圖 采集次數(shù)超過限制提醒 本章小結(jié) 在本章中，首先對系統(tǒng)進行了總體線路分析，闡述了系統(tǒng)的技術(shù)路線圖，并詳細(xì)分析了系統(tǒng)的軟件流程圖。然后分析了系統(tǒng)各模塊的具體實現(xiàn)過程。其中主要介紹了新浪微博授權(quán)認(rèn)證的實現(xiàn)、啟動模塊的實現(xiàn)以及微博內(nèi)容的獲取模塊。最后在此基礎(chǔ)上，對系統(tǒng)進行具體的實現(xiàn)。 20 第 4章 總結(jié)與展望 總結(jié) 畢業(yè)設(shè)計是我在大學(xué)學(xué)習(xí)階段的最后一個環(huán)節(jié)，是對所學(xué)基礎(chǔ)知識和專業(yè)知識的一種綜合應(yīng)用，是一種綜合的再學(xué)習(xí)、再提高的過程，這一過程有助于培養(yǎng)我的 學(xué)習(xí) 能力和獨立工作能力。我的題目是基于 JAVA 的社交網(wǎng)絡(luò)的信息采集系統(tǒng)的研究與設(shè)計，這次設(shè)計對我而言是一次全新的挑戰(zhàn)。本次設(shè)計的主要內(nèi)容是以新浪微博為研究對象，設(shè)計一個信息采集器，能夠?qū)π吕宋⒉┦跈?quán)用戶微博信息實現(xiàn)主題搜索。 本文主要完成了以下工作： (1) 實現(xiàn)對新浪 微博信息的授權(quán)認(rèn)證，獲取微博開發(fā)權(quán)限，能夠?qū)π吕宋⒉┻M行開發(fā)； (2) 通過調(diào)用新浪微博 API接口，實現(xiàn)對授權(quán)用戶微博信息的主題采集； (3) 設(shè)計了一個友好的界面，通過輸入關(guān)鍵詞，能夠?qū)κ跈?quán)用戶微博信息進行匹配并將微博用戶 id微博內(nèi)容展示出來，并以 txt文件形式保存下來以進行后續(xù)研究，同時在界面中能夠顯示采集歷史記錄。 通過此次畢業(yè)設(shè)計，進一步培養(yǎng)了我查閱資料文獻，解決困難的能力，讓我對 JAVA軟件以及新浪微博的開發(fā)有了更深刻的認(rèn)識。 前景與展望 本文主要從新浪微博 信息采集的方法與技術(shù)上進行了一系列的研究，然后設(shè)計開發(fā)了一個基于 API 的新浪微博信息采集系統(tǒng)，實現(xiàn)了對授權(quán)用戶微博信息的主題采集，在一定程度上解決了微博信息采集的自動化以及采集結(jié)果數(shù)據(jù)的格式標(biāo)準(zhǔn)化，為后續(xù)對新浪微博的開發(fā)奠定了基礎(chǔ)。 但是，本系統(tǒng)依然存在以下不足： (1) 目前的微博信息采集方式只能通過輸人單個 “ 關(guān)鍵詞 ” 進行唯一匹配采集，還沒有具備多個 “ 檢索詞 ” 批量采集； (2) 系統(tǒng)采集的范圍只是針對授權(quán)用戶的微博，而沒有擴展到對新浪微博所有的用戶，采集范圍有限。 針對以上不足，我在接下來的研究生 學(xué)習(xí) 中也有了更明確的方向 ： (1) 深入學(xué)習(xí)新浪微博信息采集方法，實現(xiàn)對整個新浪微博用戶的信息采集； (2) 設(shè)計一個主題模型，以優(yōu)化本系統(tǒng)，實現(xiàn)多關(guān)鍵詞的主題搜索。 21 參考文獻 [1] 王偉軍，孫晶 ． 的研究與應(yīng)用綜述 [J]． 情報科學(xué)， 2020， 25(12)： 19071913． [2] 新浪微博官方文檔． [3] De Bra P， Houben G J， Kornatzky Y， etal. ． Information Retrieval in Distributed Hypertexts[C] //:481493． [4] Hersovici M， Heydon A， Mitzenmacher M， Najork et a1． The shark—search algorithm． An application：tailored web site mapping[J]． Computer Networks and IsDN Systems， 1998． 30： 102—118 [5] Cho J． crawling the web： Discovery and maintenance of largescale web data[D]． California： Stanford UniVersity， 2020． [6] Chakrabarti S， Van den Berg M， Dom B． Focused crawling： a new approach to topicspecific web fesource discoVery[J]． Computer Netwofks， 1999， 31(11—16)： 1623． 1640． [7] Diligenti M， Coetzee F M， Lawrence S， Giles L， Gori M． Focused crawling using context graphs[A]． International Conference on Very Large Database， 2020： 527534． [8] Ester M， Grob M， Kriegel H． Focused Web crawling： a generic framework for specifying the user interest and for adaptive crawling strategies[A]． 1n： Proc of the Inlernational Conference on Very Large Database， 2020： 527—534． [9] Aggarwal C， Al—Garawi F， Yu s P． Intelligent crawling on the World Wide Web with arbitrary Predicates[A]． The 10th International World Wide Web Conference， 2020． [10] 吳斌杰，徐子瑋，虞飛華 ． 基于 API 的微博信息采集系統(tǒng)設(shè)計與實現(xiàn) [J]． 電腦知識與技術(shù)， 2020，17： 033． [11] 康捷，周欣，曹偉， 等 ．新浪微博數(shù)據(jù)挖掘方案 [J]．清華大學(xué)學(xué)報：自然科學(xué)版， 2020， 51(10)6． [12] 郭穎為 ． 微博網(wǎng)絡(luò)爬蟲器研究與實現(xiàn) [D]． 吉林：吉林大學(xué)， 2020． [13] 馮典 ． 面向微博的數(shù)據(jù)采集和分析系統(tǒng)的設(shè)計與實現(xiàn) [D]． 北京：北京郵電大學(xué)， 2020． [14] 陳少欽 ． 基于 PageRank 的社交網(wǎng)絡(luò)用戶實時影響力研究 [D]． 上海：上海交通大學(xué)， 2020． [15] 李剛．瘋狂 JAVA 講義 [M]， 電子工業(yè)出版社， 2020 年． [16] 時子慶，劉金蘭，譚曉華 ． 基于 的認(rèn)證授權(quán)技術(shù) [J]． 計算機系統(tǒng)應(yīng)用， 2020 (3)： 260264． [17] 張寅，劉嘉勇 ． 基于 JDBC 的微博信息采集及處理技術(shù) [J]． 信息安全與通信保密， 2020 (4)： 6263． [18] 單月光．基于微博的網(wǎng)絡(luò)輿情關(guān)鍵技術(shù)的研究與實現(xiàn) [D]．四川：電子科技大學(xué)， 2020． 22 致 謝 畢業(yè)論文即將完成，我的 本科 生涯也要告一段落了。借此機會，我要對四年來幫助我的人表示深深的感謝。 回首既往，自己一生最寶貴的時光能于這樣的校園之中，能在眾多學(xué)富五車、才華橫溢的老師們的熏陶下度過，實是榮幸之極。在這四年的時間里，我在學(xué)習(xí)上和思想上都受益非淺。這除了自身努力外，與各位老師、同學(xué)和朋友的關(guān)心、支持和鼓勵是分不開的。通過這三個月來的忙碌和學(xué)習(xí)，本次畢業(yè)論文設(shè)計終于完成了，作為一個大四學(xué)生的畢業(yè)設(shè)計，由于經(jīng)驗的匱乏，難免有許多考慮不周全的地方，在這里衷心感謝指導(dǎo)老師的督促指導(dǎo)，以及一起學(xué)習(xí)的同學(xué)們的支持，讓我按時完成了這次畢業(yè) 設(shè)計。 畢業(yè)設(shè)計結(jié)束了，通過設(shè)計，使我深刻領(lǐng)會到基礎(chǔ)的重要性，畢業(yè)設(shè)計不僅僅能幫助學(xué)生檢驗大學(xué)四年的學(xué)習(xí)成果，更多的是畢業(yè)設(shè)計可以幫助我們更加清楚的認(rèn)識自我，磨練學(xué)生的意志與耐性，這會為學(xué)生日后的工作和生活帶來很大的幫助。與此同時，再一次感謝我院、系領(lǐng)導(dǎo)對我們的教導(dǎo)和關(guān)注；感謝大學(xué)四年傳授我們專業(yè)知識的所有老師，還要謝謝我周圍的，同窗朋友，他們給了我無數(shù)的關(guān)心和鼓勵，也讓我的大學(xué)生活充滿了溫暖和歡樂。 最后要感謝在整個論文寫作過程中幫助過我的每一個人，衷心的謝謝你們！ 2020 年 5 月 31 日