【正文】 ld Wide Web with arbitrary Predicates[A]． The 10th International World Wide Web Conference， 2020． [10] 吳斌杰，徐子瑋，虞飛華 ． 基于 API 的微博信息采集系統(tǒng)設(shè)計與實現(xiàn) [J]． 電腦知識與技術(shù)， 2020，17： 033． [11] 康捷，周欣，曹偉， 等 ．新浪微博數(shù)據(jù)挖掘方案 [J]．清華大學(xué)學(xué)報：自然科學(xué)版， 2020， 51(10)6． [12] 郭穎為 ． 微博網(wǎng)絡(luò)爬蟲器研究與實現(xiàn) [D]． 吉林：吉林大學(xué)， 2020． [13] 馮典 ． 面向微博的數(shù)據(jù)采集和分析系統(tǒng)的設(shè)計與實現(xiàn) [D]． 北京：北京郵電大學(xué)， 2020． [14] 陳少欽 ． 基于 PageRank 的社交網(wǎng)絡(luò)用戶實時影響力研究 [D]． 上海：上海交通大學(xué)， 2020． [15] 李剛．瘋狂 JAVA 講義 [M]， 電子工業(yè)出版社， 2020 年． [16] 時子慶，劉金蘭，譚曉華 ． 基于 的認(rèn)證授權(quán)技術(shù) [J]． 計算機系統(tǒng)應(yīng)用， 2020 (3)： 260264． [17] 張寅，劉嘉勇 ． 基于 JDBC 的微博信息采集及處理技術(shù) [J]． 信息安全與通信保密， 2020 (4)： 6263． [18] 單月光．基于微博的網(wǎng)絡(luò)輿情關(guān)鍵技術(shù)的研究與實現(xiàn) [D]．四川：電子科技大學(xué)， 2020． 22 致 謝 畢業(yè)論文即將完成，我的 本科 生涯也要告一段落了。這除了自身努力外，與各位老師、同學(xué)和朋友的關(guān)心、支持和鼓勵是分不開的。 最后要感謝在整個論文寫作過程中幫助過我的每一個人，衷心的謝謝你們！ 2020 年 5 月 31 日 。 畢業(yè)設(shè)計結(jié)束了，通過設(shè)計，使我深刻領(lǐng)會到基礎(chǔ)的重要性，畢業(yè)設(shè)計不僅僅能幫助學(xué)生檢驗大學(xué)四年的學(xué)習(xí)成果，更多的是畢業(yè)設(shè)計可以幫助我們更加清楚的認(rèn)識自我，磨練學(xué)生的意志與耐性，這會為學(xué)生日后的工作和生活帶來很大的幫助。 回首既往，自己一生最寶貴的時光能于這樣的校園之中，能在眾多學(xué)富五車、才華橫溢的老師們的熏陶下度過，實是榮幸之極。 針對以上不足，我在接下來的研究生 學(xué)習(xí) 中也有了更明確的方向 ： (1) 深入學(xué)習(xí)新浪微博信息采集方法，實現(xiàn)對整個新浪微博用戶的信息采集； (2) 設(shè)計一個主題模型，以優(yōu)化本系統(tǒng)，實現(xiàn)多關(guān)鍵詞的主題搜索。 本文主要完成了以下工作： (1) 實現(xiàn)對新浪 微博信息的授權(quán)認(rèn)證，獲取微博開發(fā)權(quán)限，能夠?qū)π吕宋⒉┻M(jìn)行開發(fā)； (2) 通過調(diào)用新浪微博 API接口，實現(xiàn)對授權(quán)用戶微博信息的主題采集； (3) 設(shè)計了一個友好的界面，通過輸入關(guān)鍵詞，能夠?qū)κ跈?quán)用戶微博信息進(jìn)行匹配并將微博用戶 id微博內(nèi)容展示出來，并以 txt文件形式保存下來以進(jìn)行后續(xù)研究，同時在界面中能夠顯示采集歷史記錄。最后在此基礎(chǔ)上，對系統(tǒng)進(jìn)行具體的實現(xiàn)。如果系統(tǒng)用戶沒有輸入任何關(guān)鍵詞就直接點擊 “ 開始搜索 ” 按鈕，系統(tǒng)就會彈出 “ 未輸入關(guān)鍵詞 ” 警告框，如圖 所示： 16 圖 輸入提示警告 采集信息效果顯示 通過輸入一個關(guān)鍵詞，然后點擊開始搜索，系統(tǒng)就會把授權(quán)用戶的所有微博中 與關(guān)鍵詞有關(guān)的用戶 id 和微博內(nèi)容顯示出來。}} 15 }%匹配信息的提取 ()。 (\r\n)。 int idid=().indexOf(id)。 %信息的保存 for(int i=1。 Timeline tm = new Timeline()。 微博內(nèi)容的獲取 微博內(nèi)容的獲取模塊的實現(xiàn)過程就是：用戶通過輸入一個關(guān)鍵詞，然后點擊開始采集按鈕，系統(tǒng)就自動去訪問新浪微博服務(wù)器，得到該用戶的所有微博，然后系統(tǒng)通過匹配關(guān)鍵詞，將含有關(guān)鍵詞的微博的 id 和微博內(nèi)容顯示出來并以 txt 的形式保存下來。 %信息采集框架參數(shù)設(shè)置 layout=new (getContentPane())。 (false)。 13 啟動模塊的實現(xiàn) 啟動模塊主要就是應(yīng)用程序的啟動界面，后面的大部分功能都是在該界面完成展示的，該界面主要包括功能按鈕區(qū)和數(shù)據(jù)展示區(qū)兩部分，實現(xiàn)過程中涉及到的關(guān)鍵技術(shù)是：“ 設(shè)置該應(yīng)用程序的背景圖和圖標(biāo) ” 。 運行代碼后會彈出一個瀏覽器網(wǎng)頁： 中的 code=后的代碼。 運行 ，獲取 code，即用戶授權(quán)登陸后，地址欄上出現(xiàn)的 code。到新浪官方下載各種開發(fā)語言對應(yīng)的 SDK版本，下載地址： JAVA語言開發(fā)的應(yīng)用，所以下載的是 JAVA版本的SDK。通過對系統(tǒng)的詳細(xì)分析，最終得到的系統(tǒng)運行流程圖如圖 所示： 生 成 系 統(tǒng) 框 架A c c e s s t o k e n 碼身 份 驗 證調(diào) 用 A P I 接 口 獲 取微 博 信 息關(guān) 鍵 詞 出 現(xiàn)采 集 微 博 i d 以 及微 博 內(nèi) 容關(guān) 鍵 詞 匹 配關(guān) 鍵 詞 為 空提 醒 框調(diào) 用 A P I 獲 取 微 博信 息調(diào) 用 A P I 次 數(shù) 達(dá) 到 上 限輸 入 關(guān) 鍵 詞 為 空停 止 采 集微 博 信 息 遍 歷 完展 示 信 息 并 以t x t 格 式 保 存A P I 調(diào) 用 次 數(shù)達(dá) 到 上 限 提 醒采 集 結(jié) 束本 頁 微 博 采 集 完 畢是否是否否是是否否是 圖 系統(tǒng)流程圖 系統(tǒng)各模塊實現(xiàn) 授權(quán)認(rèn)證的實現(xiàn) (1) 注冊應(yīng)用。在采集過程中，首先需要的是獲取新浪微博的身份驗證，即申請 Access Token 碼，從而獲取對新浪微博開發(fā)的權(quán)限。 (2) 將采集到的微博用戶的 id 和微博內(nèi)容顯示出來并以 txt 文件的形式保存來，同時能夠顯示保存歷史采集記錄。 綜上，本系統(tǒng)采用后第二種方式調(diào)用 API 做到遍歷授權(quán)用戶的微博信息。 微博內(nèi)容的獲取 這部分是數(shù)據(jù)獲取部分最核心的功能，也是實現(xiàn)最難的部分。 (4) 將上一步得到的 Token 與 Secret 發(fā)給新浪微博用戶授權(quán)地址申請 Request Token 授權(quán)。開發(fā)者首先需要擁有一個平臺賬號，在調(diào)用 API 接口采集數(shù)據(jù)之前需要進(jìn)行相關(guān)配置和認(rèn)證授權(quán)，步驟如下： (1) 用戶向新浪微博 服務(wù)提供商申請應(yīng)用，獲得應(yīng)用專屬 App Key 和 App Secret。 新浪微博為了保護(hù)用戶的隱私，對于應(yīng)用所有訪問用戶的行為，都需要用戶的同意，而同意的方式就是需要用戶自己輸入賬戶信息，包括賬號和密碼，然后點擊 “ 同意 ”， 新浪微博會自動給應(yīng)用一個通行證，此時應(yīng)用才能 提取 用戶的信息。 OAuth 協(xié)議 [16]的全稱是開放式認(rèn)證協(xié)議，該協(xié)議為用戶資源的授權(quán)提供了一個安全、開放而又簡易的標(biāo)準(zhǔn)。另外，為了能以更高的頻率調(diào)用 API，也希望 提供給 更多人使用， 可以使用更多的賬號來訪問 API，這也是本系統(tǒng)創(chuàng)建一個站內(nèi)應(yīng)用的原因之一。 站內(nèi)應(yīng)用 由于新浪的用戶量巨大，接觸到站內(nèi)應(yīng)用的人數(shù)量很大，便于大面積的提高應(yīng)用的熱度。填寫了個人信息后，就可以獲得開發(fā)者的身份，這時就可以創(chuàng)建應(yīng)用了。微博 JAVA SDK 的整體架構(gòu)包含如下幾個： src： weibo4j 封裝了大部分接口，包括授權(quán)， timeline，用戶等常見接口 6 包含了 請求的封裝 包含了 user， status 等實體類 完成 json 解析的各種方法 包含了請求 api 接口時候所需要的工具類 examples：里面包含了封裝接口的各個測試 demo 微博應(yīng)用的創(chuàng)建 新浪的微博開放平臺 [2](Weibo Open Platform)是新浪微博為開發(fā)者提供的一個開放平臺，在此平臺上，你只需要建立自己的應(yīng)用，就可以使用新浪微博所提供的所有功能。本論文作品主要用到了 Swing 庫中的 JButton、 JLable、 JTextField、 JTable、 JScrollPanel、 JFrame、JPanel 等組件，用到了 AWT 庫中的 BorderLayout、 FlowLayout 等布局管理器組件?，F(xiàn)在的用戶總希望 開發(fā)的軟件功能豐富強大而又操作簡單，這就需要開發(fā)者注重界面的友好性， GUI 就成了 JAVA 開發(fā)者不可或缺的重要課題。 JAVA 技術(shù)憑借著它的高效性、安全性、通用性和平臺移植性，目前被廣泛應(yīng)用于個人 PC、移動電話、科學(xué)超級計算機、游戲控制臺和互聯(lián)網(wǎng)等領(lǐng)域。此章對整篇文章的工作進(jìn)行了總結(jié)，并提出了下一步的工作方向。重點闡述新浪微博的信息采集方法。介紹論文的研究背景及意義，當(dāng)前課題的研究現(xiàn)狀，論文的主要工作以及結(jié)構(gòu)安排。 (2) 系統(tǒng)設(shè)計與實現(xiàn) 設(shè)計 一個良好的界面，實現(xiàn)對微博授權(quán)用戶信息的主題采集，并能夠?qū)Σ杉畔⑦M(jìn)行保存以便于后續(xù)研究。馮典 [13]設(shè)計并實現(xiàn)了一種可根據(jù)數(shù)據(jù)種類的不同，創(chuàng)建多種爬蟲的數(shù)據(jù)采集系統(tǒng)，一方面使用多線程技術(shù)大幅提高爬蟲的效率，另一方面，創(chuàng)造了多 AppKey 復(fù)用機制，突破了新浪對 API 調(diào)用頻率的限制，保證了爬蟲可以連續(xù)不間斷的工作。程序邏輯控制 API 調(diào)用方法與頻率，獲取 JSON 對象并解析實現(xiàn)高效數(shù)據(jù)獲取。Aggarwal[9]將頁面內(nèi)容、頁面的 URL 結(jié)構(gòu)抽象為頁面特征，并利用它們構(gòu)建 Web 的概率模型，用于預(yù)測鏈接的價值 。此后， PageRank 算法和 Kleinberg 提出的 HlTS 算法作為兩種主要的鏈接分析算法很快被眾多研究者用于指導(dǎo)主題爬蟲預(yù)測 URL 的重要性，目前很多用于 URL 評價的 Web 分析算法都可以在不同程度上視為這兩種算法的變體。它是一個基于客戶端的實時信息檢索系統(tǒng)， 3 它假設(shè)相關(guān)頁面在邏輯上彼此接近，采用深度優(yōu)先算法搜索相關(guān)頁面，并用一組關(guān)鍵詞和短語判斷頁面的相關(guān)性。因此，研究與設(shè)計新浪微博信息采集系統(tǒng)不僅具有較強的現(xiàn)實意義，也具有較強的理論研究意義。如今各大微博平臺如此風(fēng)靡，在海量用戶數(shù)據(jù)，關(guān)系數(shù)據(jù)及內(nèi)容數(shù)據(jù)的環(huán)境下，各大微博平臺通過 open API[2]的方式使得大量用戶可以在其平臺上開發(fā)出各式各樣的應(yīng)用，提高平臺的服務(wù)質(zhì)量，同時也為社交網(wǎng)絡(luò)研究者提供了以網(wǎng)站服務(wù)方式對外的數(shù)據(jù)接口，這其中就包括大量數(shù)據(jù)下載的 API，為針對微博平臺 的相關(guān)研究工作提供了優(yōu)良的數(shù)據(jù)通道。 現(xiàn)階段，隨著微博網(wǎng)絡(luò)影響力的快速擴(kuò)大，政府部門、學(xué)校、知名企業(yè)、社會公眾人物均開通了微博。 在微博 上， 140 字的限制將平民和莎士比亞拉到了同一水平線上，這一點導(dǎo)致大量原創(chuàng)內(nèi)容爆發(fā)性地被生產(chǎn)出來。可以一點對多點，也可以點對點。 微博網(wǎng)站即時通訊功能非常強大，通過 和 MSN 直接書寫，在 有網(wǎng)絡(luò) 2 的地方，只 要有手機就可及時發(fā)布微博，更新自己的實時信息 。微博 是一種允許用戶 用 即時更新的簡短文本（一般信息發(fā)布字?jǐn)?shù)在 140 個以內(nèi)）并可以公開發(fā)布的博客形式。在 2020 年 7 月《中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計報告》中提到： “ 截至 2020 年 6 月底，我國微博網(wǎng)民規(guī)模為 億，較 2020 年底增長了 2216 萬，增長 %。如此一來，整個社交人群的交互信息和背景信息等形成一 張社會網(wǎng)。社交網(wǎng)絡(luò)是一種在線交互媒體，