【導(dǎo)讀】撰寫的成果作品。本人完全意識(shí)到本聲明的法律后果由本人承擔(dān)。關(guān)學(xué)位論文管理部門或機(jī)構(gòu)送交論文的復(fù)印件和電子版，允許論文被查閱和借閱。以采用影印、縮印或掃描等復(fù)制手段保存和匯編本學(xué)位論文。新浪微博的信息采集，所得結(jié)果對(duì)于新浪微博的開發(fā)具有重要的指導(dǎo)意義。本論文的主要工作有以下幾個(gè)方面：首先是利用微博系統(tǒng)。的JAVASDK獲取數(shù)據(jù)，該技術(shù)通過調(diào)用微博平臺(tái)提供API來獲取數(shù)據(jù)?？谔峁┥滔拗频囊蛩囟嗲也环€(wěn)定。其次通過JAVA編程設(shè)計(jì)一個(gè)良好的界面，調(diào)用API接。將出現(xiàn)該關(guān)鍵詞的好友微博返回到txt文件中進(jìn)行保存，同時(shí)將歷史采集記錄保存下來，們對(duì)新浪微博授權(quán)用戶微博實(shí)時(shí)信息的主題采集。計(jì)了一套完善的顯示與保存方案，能夠?qū)π吕宋⒉┑暮罄m(xù)研究提供數(shù)據(jù)。

　　

【正文】 riter fout =new FileWriter(file， false)。 %信息的保存 for(int i=1。i30。i++){ StatusWapper status = (0， 0， new Paging(i))。 for(Status s : ()){ int idstate=().indexOf(text=)。 int idid=().indexOf(id)。 int idsource=().indexOf(source)。 %關(guān)鍵字匹配 if(().indexOf(searchstring， idstate)!=1) { (().substring(idid， idid+14))。 (().substring(idstate， idsource2))。 (\r\n)。 (().substring(idid， idid+14))。 (().substring(idstate， idsource2))。 (\r\n)。}} 15 }%匹配信息的提取 ()。 上述代碼主要實(shí)現(xiàn)對(duì)關(guān)鍵字的匹配，一旦有匹配的微博信息， File file=new File(.+ + data， searchstring+.txt)是將用戶的微博 id和微博內(nèi)容以 txt的形式保存到 data文件夾中。 系統(tǒng)效果顯示 主頁面效果顯示 啟動(dòng)模塊主要負(fù)責(zé)應(yīng)用程序啟動(dòng)的界面，啟動(dòng)界面如圖 所示： 圖 應(yīng)用程序啟動(dòng)界面 該界面的實(shí)現(xiàn)：該界面分為上、下兩個(gè)部分，上面是關(guān)鍵詞輸入?yún)^(qū)，主要用來輸入想要采集的微博用戶的主題信息。下面是信息采集顯示區(qū)，主要用來顯示跟關(guān)鍵詞有關(guān)的用戶 id 以及微博內(nèi)容。如果系統(tǒng)用戶沒有輸入任何關(guān)鍵詞就直接點(diǎn)擊 “ 開始搜索 ” 按鈕，系統(tǒng)就會(huì)彈出 “ 未輸入關(guān)鍵詞 ” 警告框，如圖 所示： 16 圖 輸入提示警告 采集信息效果顯示 通過輸入一個(gè)關(guān)鍵詞，然后點(diǎn)擊開始搜索，系統(tǒng)就會(huì)把授權(quán)用戶的所有微博中 與關(guān)鍵詞有關(guān)的用戶 id 和微博內(nèi)容顯示出來。以下是幾個(gè)輸入不同關(guān)鍵詞的信息采集效果圖： 當(dāng)輸入關(guān)鍵詞為 “ 健康 ” 時(shí)，系統(tǒng)在采集信息的過程中，按鈕將由 “ 開始采集 ” 變?yōu)椤?正在搜索 ” ，顯示系統(tǒng)正在對(duì)關(guān)鍵詞進(jìn)行匹配，如圖 所示： 圖 系統(tǒng)正在搜索 當(dāng)采集完畢以后，系統(tǒng)會(huì)彈出 “ 采集完畢！采集內(nèi)容存于當(dāng)前文件夾 data 文件夾內(nèi)！ ”提示框，如圖 所示： 17 圖 采集完畢提示框 采集完畢以后，系統(tǒng)將顯示所有與出現(xiàn)關(guān)鍵詞的微博 id 以及微博內(nèi)容，并將其顯示出來，同時(shí)將其保存到 data 文件夾內(nèi)供后續(xù)研究，如下圖所示： 圖 系統(tǒng)采集到 “ 健康 ” 完整信息 18 當(dāng)輸入關(guān)鍵詞為 “ 天氣 ” 時(shí)，如圖 顯示的是與之有關(guān)的信息 ： 圖 輸入 “ 天氣 ” 采集信息 當(dāng)輸入關(guān)鍵詞為 “ 安全 ” 時(shí)，如圖 顯示的是與之有關(guān)的信息： 圖 輸入 “ 安全 ” 采集信息 19 由于新浪微博對(duì)開發(fā)者調(diào)用 API 接口的頻率以及次數(shù)都有限制，當(dāng)調(diào)用頻率超過新浪微博限制的次數(shù)時(shí)，系統(tǒng)需要等待幾分鐘再進(jìn)行信息采集，如圖 所示為當(dāng)調(diào)用次數(shù) 超過 限制時(shí)系統(tǒng)彈出的警告框： 圖 采集次數(shù)超過限制提醒 本章小結(jié) 在本章中，首先對(duì)系統(tǒng)進(jìn)行了總體線路分析，闡述了系統(tǒng)的技術(shù)路線圖，并詳細(xì)分析了系統(tǒng)的軟件流程圖。然后分析了系統(tǒng)各模塊的具體實(shí)現(xiàn)過程。其中主要介紹了新浪微博授權(quán)認(rèn)證的實(shí)現(xiàn)、啟動(dòng)模塊的實(shí)現(xiàn)以及微博內(nèi)容的獲取模塊。最后在此基礎(chǔ)上，對(duì)系統(tǒng)進(jìn)行具體的實(shí)現(xiàn)。 20 第 4章 總結(jié)與展望 總結(jié) 畢業(yè)設(shè)計(jì)是我在大學(xué)學(xué)習(xí)階段的最后一個(gè)環(huán)節(jié)，是對(duì)所學(xué)基礎(chǔ)知識(shí)和專業(yè)知識(shí)的一種綜合應(yīng)用，是一種綜合的再學(xué)習(xí)、再提高的過程，這一過程有助于培養(yǎng)我的 學(xué)習(xí) 能力和獨(dú)立工作能力。我的題目是基于 JAVA 的社交網(wǎng)絡(luò)的信息采集系統(tǒng)的研究與設(shè)計(jì)，這次設(shè)計(jì)對(duì)我而言是一次全新的挑戰(zhàn)。本次設(shè)計(jì)的主要內(nèi)容是以新浪微博為研究對(duì)象，設(shè)計(jì)一個(gè)信息采集器，能夠?qū)π吕宋⒉┦跈?quán)用戶微博信息實(shí)現(xiàn)主題搜索。 本文主要完成了以下工作： (1) 實(shí)現(xiàn)對(duì)新浪 微博信息的授權(quán)認(rèn)證，獲取微博開發(fā)權(quán)限，能夠?qū)π吕宋⒉┻M(jìn)行開發(fā)； (2) 通過調(diào)用新浪微博 API接口，實(shí)現(xiàn)對(duì)授權(quán)用戶微博信息的主題采集； (3) 設(shè)計(jì)了一個(gè)友好的界面，通過輸入關(guān)鍵詞，能夠?qū)κ跈?quán)用戶微博信息進(jìn)行匹配并將微博用戶 id微博內(nèi)容展示出來，并以 txt文件形式保存下來以進(jìn)行后續(xù)研究，同時(shí)在界面中能夠顯示采集歷史記錄。 通過此次畢業(yè)設(shè)計(jì)，進(jìn)一步培養(yǎng)了我查閱資料文獻(xiàn)，解決困難的能力，讓我對(duì) JAVA軟件以及新浪微博的開發(fā)有了更深刻的認(rèn)識(shí)。 前景與展望 本文主要從新浪微博 信息采集的方法與技術(shù)上進(jìn)行了一系列的研究，然后設(shè)計(jì)開發(fā)了一個(gè)基于 API 的新浪微博信息采集系統(tǒng)，實(shí)現(xiàn)了對(duì)授權(quán)用戶微博信息的主題采集，在一定程度上解決了微博信息采集的自動(dòng)化以及采集結(jié)果數(shù)據(jù)的格式標(biāo)準(zhǔn)化，為后續(xù)對(duì)新浪微博的開發(fā)奠定了基礎(chǔ)。 但是，本系統(tǒng)依然存在以下不足： (1) 目前的微博信息采集方式只能通過輸人單個(gè) “ 關(guān)鍵詞 ” 進(jìn)行唯一匹配采集，還沒有具備多個(gè) “ 檢索詞 ” 批量采集； (2) 系統(tǒng)采集的范圍只是針對(duì)授權(quán)用戶的微博，而沒有擴(kuò)展到對(duì)新浪微博所有的用戶，采集范圍有限。 針對(duì)以上不足，我在接下來的研究生 學(xué)習(xí) 中也有了更明確的方向 ： (1) 深入學(xué)習(xí)新浪微博信息采集方法，實(shí)現(xiàn)對(duì)整個(gè)新浪微博用戶的信息采集； (2) 設(shè)計(jì)一個(gè)主題模型，以優(yōu)化本系統(tǒng)，實(shí)現(xiàn)多關(guān)鍵詞的主題搜索。 21 參考文獻(xiàn) [1] 王偉軍，孫晶 ． 的研究與應(yīng)用綜述 [J]． 情報(bào)科學(xué)， 2020， 25(12)： 19071913． [2] 新浪微博官方文檔． [3] De Bra P， Houben G J， Kornatzky Y， etal. ． Information Retrieval in Distributed Hypertexts[C] //:481493． [4] Hersovici M， Heydon A， Mitzenmacher M， Najork et a1． The shark—search algorithm． An application：tailored web site mapping[J]． Computer Networks and IsDN Systems， 1998． 30： 102—118 [5] Cho J． crawling the web： Discovery and maintenance of largescale web data[D]． California： Stanford UniVersity， 2020． [6] Chakrabarti S， Van den Berg M， Dom B． Focused crawling： a new approach to topicspecific web fesource discoVery[J]． Computer Netwofks， 1999， 31(11—16)： 1623． 1640． [7] Diligenti M， Coetzee F M， Lawrence S， Giles L， Gori M． Focused crawling using context graphs[A]． International Conference on Very Large Database， 2020： 527534． [8] Ester M， Grob M， Kriegel H． Focused Web crawling： a generic framework for specifying the user interest and for adaptive crawling strategies[A]． 1n： Proc of the Inlernational Conference on Very Large Database， 2020： 527—534． [9] Aggarwal C， Al—Garawi F， Yu s P． Intelligent crawling on the World Wide Web with arbitrary Predicates[A]． The 10th International World Wide Web Conference， 2020． [10] 吳斌杰，徐子瑋，虞飛華 ． 基于 API 的微博信息采集系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn) [J]． 電腦知識(shí)與技術(shù)， 2020，17： 033． [11] 康捷，周欣，曹偉， 等 ．新浪微博數(shù)據(jù)挖掘方案 [J]．清華大學(xué)學(xué)報(bào)：自然科學(xué)版， 2020， 51(10)6． [12] 郭穎為 ． 微博網(wǎng)絡(luò)爬蟲器研究與實(shí)現(xiàn) [D]． 吉林：吉林大學(xué)， 2020． [13] 馮典 ． 面向微博的數(shù)據(jù)采集和分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) [D]． 北京：北京郵電大學(xué)， 2020． [14] 陳少欽 ． 基于 PageRank 的社交網(wǎng)絡(luò)用戶實(shí)時(shí)影響力研究 [D]． 上海：上海交通大學(xué)， 2020． [15] 李剛．瘋狂 JAVA 講義 [M]， 電子工業(yè)出版社， 2020 年． [16] 時(shí)子慶，劉金蘭，譚曉華 ． 基于 的認(rèn)證授權(quán)技術(shù) [J]． 計(jì)算機(jī)系統(tǒng)應(yīng)用， 2020 (3)： 260264． [17] 張寅，劉嘉勇 ． 基于 JDBC 的微博信息采集及處理技術(shù) [J]． 信息安全與通信保密， 2020 (4)： 6263． [18] 單月光．基于微博的網(wǎng)絡(luò)輿情關(guān)鍵技術(shù)的研究與實(shí)現(xiàn) [D]．四川：電子科技大學(xué)， 2020． 22 致 謝 畢業(yè)論文即將完成，我的 本科 生涯也要告一段落了。借此機(jī)會(huì)，我要對(duì)四年來幫助我的人表示深深的感謝。 回首既往，自己一生最寶貴的時(shí)光能于這樣的校園之中，能在眾多學(xué)富五車、才華橫溢的老師們的熏陶下度過，實(shí)是榮幸之極。在這四年的時(shí)間里，我在學(xué)習(xí)上和思想上都受益非淺。這除了自身努力外，與各位老師、同學(xué)和朋友的關(guān)心、支持和鼓勵(lì)是分不開的。通過這三個(gè)月來的忙碌和學(xué)習(xí)，本次畢業(yè)論文設(shè)計(jì)終于完成了，作為一個(gè)大四學(xué)生的畢業(yè)設(shè)計(jì)，由于經(jīng)驗(yàn)的匱乏，難免有許多考慮不周全的地方，在這里衷心感謝指導(dǎo)老師的督促指導(dǎo)，以及一起學(xué)習(xí)的同學(xué)們的支持，讓我按時(shí)完成了這次畢業(yè) 設(shè)計(jì)。 畢業(yè)設(shè)計(jì)結(jié)束了，通過設(shè)計(jì)，使我深刻領(lǐng)會(huì)到基礎(chǔ)的重要性，畢業(yè)設(shè)計(jì)不僅僅能幫助學(xué)生檢驗(yàn)大學(xué)四年的學(xué)習(xí)成果，更多的是畢業(yè)設(shè)計(jì)可以幫助我們更加清楚的認(rèn)識(shí)自我，磨練學(xué)生的意志與耐性，這會(huì)為學(xué)生日后的工作和生活帶來很大的幫助。與此同時(shí)，再一次感謝我院、系領(lǐng)導(dǎo)對(duì)我們的教導(dǎo)和關(guān)注；感謝大學(xué)四年傳授我們專業(yè)知識(shí)的所有老師，還要謝謝我周圍的，同窗朋友，他們給了我無數(shù)的關(guān)心和鼓勵(lì)，也讓我的大學(xué)生活充滿了溫暖和歡樂。 最后要感謝在整個(gè)論文寫作過程中幫助過我的每一個(gè)人，衷心的謝謝你們！ 2020 年 5 月 31 日