【正文】 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 畢業(yè)設(shè)計(jì) (論文 ) 論文題目 基于 RDF 三元組的微博數(shù)據(jù)格式化存儲(chǔ)方法 指導(dǎo)教師 職 稱(chēng) 博士講師 學(xué)生姓名 學(xué) 號(hào) 專(zhuān) 業(yè) 網(wǎng)絡(luò)工程 班 級(jí) 系 主 任 院 長(zhǎng) 起止時(shí)間 目 錄 摘要 ........................................................ i Abstract .................................................... ii 引言 ........................................................ 1 第一章 微博數(shù)據(jù)獲取 ............................... 錯(cuò)誤 !未定義書(shū)簽。 新浪微博開(kāi)放平臺(tái) ....................................... 2 簡(jiǎn)介 .............................................. 2 微博數(shù)據(jù)獲取 ........................................... 2 微博數(shù)據(jù)獲取流程圖 .................................... 2 應(yīng)用的創(chuàng)建 .......................................... 3 下載軟件開(kāi)發(fā)包（ SDK） .................................. 4 獲取微博數(shù)據(jù) ........................................ 5 本章小結(jié) .............................................. 9 第二章 微博數(shù)據(jù)轉(zhuǎn)換 .......................................... 10 微博數(shù)據(jù)分析 .......................................... 10 微博數(shù)據(jù)轉(zhuǎn)換 .......................................... 11 RDF 簡(jiǎn)介 .......................................... 11 微博數(shù)據(jù)轉(zhuǎn)換的實(shí)現(xiàn) ................................... 12 本章小結(jié) ............................................. 20 第三章 微博 RDF 數(shù)據(jù)的存儲(chǔ)及查詢(xún) ................................ 22 Openlink Virtuoso 數(shù)據(jù)庫(kù) ................................ 22 Virtuoso數(shù)據(jù)庫(kù)簡(jiǎn)介 .................................. 22 Virtuoso數(shù)據(jù)庫(kù)的安裝及使用 ............................. 22 微博 RDF 數(shù)據(jù)的存儲(chǔ) ..................................... 23 微博 RDF 數(shù)據(jù)的查詢(xún) ..................................... 24 SPARQL 查詢(xún)語(yǔ)言簡(jiǎn)介 .................................. 24 微博數(shù)據(jù)查詢(xún) ....................................... 24 本章小結(jié) ............................................. 30 第四章 總結(jié)與展望 ............................................ 31 總結(jié) ................................................ 31 展望 ................................................ 31 參 考文獻(xiàn) ................................................... 32 謝辭 ....................................................... 34 附錄 ....................................................... 35 i 基于 RDF 三元組的微博數(shù)據(jù)格式化存儲(chǔ)方法 摘要 ： 語(yǔ)義網(wǎng)為 Web 上日益增長(zhǎng)的大數(shù)據(jù)提供了有效的智能化處理手段，它使用資源描述框架 (Resource Description Framework， RDF）來(lái)描述網(wǎng)絡(luò)數(shù) 據(jù)。本文通過(guò)對(duì)新浪微博上較為雜亂的微博數(shù)據(jù)進(jìn)行分析，根據(jù) RDF 三元組規(guī)則，為其中所需有用信息數(shù)據(jù)添加語(yǔ)義，并以 XML 為語(yǔ)法 ,編寫(xiě)算法將其轉(zhuǎn)換為 RDF 文件；此外，研究了 RDF 數(shù)據(jù)庫(kù) Virtuoso的使用方法，并將微博的 RDF數(shù)據(jù)導(dǎo)入 Virtuoso，使用 SPARQL語(yǔ)言對(duì)其進(jìn)行快速查詢(xún)和驗(yàn)證。總之，本文為微博數(shù)據(jù)的語(yǔ)義轉(zhuǎn)換提供了借鑒，對(duì)于提高網(wǎng)絡(luò)資源的檢索效率具有重要意義。 關(guān) 鍵 詞 ： 數(shù)據(jù)； RDF； 三元組；存儲(chǔ) ii RDFFormatted Data Storage Method for Weibo Abstract: Semantic Web provides an effective measure of intelligent processing for the growing big data on the Web,which uses the Resource Description Framework(RDF) to description the work article through to make an analysis of the messy Weibo’s data,and to add semantics for the needed and useful data by the rules of RDF triples, then, write algorithms to convert it to RDF file by the grammar of the XML, in addition, studied the use of RDF database Virtuoso and import the RDF file of Weibo’s data into Virtuoso,using SPARQL language for its fast query and validated. All in all, this article provides reference for the Weibo data semantic conversion, and has great significance for improvig the retrieval efficiency of the work resources. Key words： data, RDF, triples, storage 南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院畢業(yè)設(shè)計(jì)（論文） 第 1 頁(yè) 共 51 頁(yè) 引 言 如今，隨著社交網(wǎng)絡(luò)化時(shí)代的逐步到來(lái)，各種社交軟件和社交平臺(tái)接踵出現(xiàn)，而微博，這種基于用戶(hù)關(guān)系進(jìn)行信息分享、傳播的平臺(tái)開(kāi)始被越來(lái)越更多的人喜愛(ài)和使用。因此，隨著微博用戶(hù)的增多以及時(shí)間的推移，微博上的信息數(shù)據(jù)量也開(kāi)始越來(lái)越龐大而復(fù)雜，所以，要想從這些信息數(shù)據(jù)中獲取某相關(guān)數(shù)據(jù)或分析某相關(guān)數(shù)據(jù)不是一件容易的事情。雖然現(xiàn)在有各種搜索引擎的幫助，但是僅憑靠利用關(guān)鍵字的 搜索技術(shù)，往往難達(dá)到理想的效果。例如：如果你通過(guò)關(guān)鍵字“蘋(píng)果”進(jìn)行搜索，搜索引擎很難判斷出你是想搜索蘋(píng)果這種水果，還是想搜索蘋(píng)果這種品牌手機(jī)，或是蘋(píng)果公司的其他相關(guān)信息。因此，這里就會(huì)牽扯到語(yǔ)義搜索這一問(wèn)題，即讓計(jì)算機(jī)能夠理解 Web 上的資源，以便實(shí)現(xiàn)人和計(jì)算機(jī)，計(jì)算機(jī)與計(jì)算機(jī)之間無(wú)偏差的信息傳遞。這種語(yǔ)義 Web 就需要 RDF(Resource Description Framework)來(lái)對(duì)數(shù)據(jù)結(jié)構(gòu)進(jìn)行語(yǔ)義描述。 RDF 定義了一種通用的 資源描述 框架，即 用 資源、屬性、 屬性 值的三元組 ，并以 XML 為語(yǔ)法 來(lái) 靈活地 描述 Web 上的 資源 。此三元組結(jié)構(gòu)類(lèi)似于一個(gè)句子的主語(yǔ)、謂語(yǔ)、賓語(yǔ)的關(guān)系，而這三個(gè)組成元素主要是用 URI(Uniform Resource Identifiers)來(lái)進(jìn)行標(biāo)識(shí)， 這就讓它具有了語(yǔ)義描述的特征，使得計(jì)算機(jī)能理解 Web上的資源，避免歧義的產(chǎn)生，實(shí)現(xiàn)人機(jī)對(duì)資源的可讀性。作為語(yǔ)義網(wǎng)表示語(yǔ)義信息的基礎(chǔ)， RDF 數(shù)據(jù)也開(kāi)始被廣泛的應(yīng)用。 目前，雖然國(guó)內(nèi)外對(duì)基于 RDF 關(guān)系的數(shù)據(jù)存儲(chǔ)或數(shù)據(jù)查詢(xún)有一定的研究 [1][2][3]，但是針對(duì)某個(gè)具體數(shù)據(jù)案例的基于 RDF三元組的數(shù)據(jù)存儲(chǔ)的方法的研究還是比較少，尤其是在國(guó)內(nèi)，除 了有對(duì)基于 RDF 的 CM（公共信息模型）數(shù)據(jù)存儲(chǔ)方案的研究與實(shí)現(xiàn) [4]外，其他都只是對(duì)基于關(guān)系數(shù)據(jù)庫(kù)的 RDF 數(shù)據(jù)存儲(chǔ) [5]或者是語(yǔ)義網(wǎng)環(huán)境下的 RDF數(shù)據(jù)存儲(chǔ)的研究 [6]，亦或是一些對(duì) RDF 數(shù)據(jù)的存儲(chǔ)查詢(xún)機(jī)制 [7][8][9]和查詢(xún)語(yǔ)言 SPARQL的一些研究 [10][11][12]。所以，本文主要是以新浪微博數(shù)據(jù)為具體案例，按 RDF 三元組的規(guī)則對(duì)微博數(shù)據(jù)進(jìn)行格式化存儲(chǔ)方法的研究，通過(guò)此方法提高資源檢索和分析管理的效率，熟悉了解利用 RDF 描述 Web 資源的實(shí)現(xiàn)過(guò)程，探索 RDF 在語(yǔ)義搜索中的優(yōu)越性以及它的發(fā)展應(yīng)用前景 。 南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院畢業(yè)設(shè)計(jì)（論文） 第 2 頁(yè) 共 51 頁(yè) 第一章 微博數(shù)據(jù)獲取 新浪微博開(kāi)放平臺(tái) 簡(jiǎn)介 新浪開(kāi)放平臺(tái)是一種基于新浪微博客系統(tǒng)的開(kāi)發(fā)平臺(tái)，主要用來(lái)實(shí)現(xiàn)信息的訂閱、資源的分享和交流，其體系結(jié)構(gòu)類(lèi)似于國(guó)外的社交軟件 Twitter。 廣大開(kāi)發(fā)者或網(wǎng)站只要登錄 開(kāi)放 平臺(tái)網(wǎng)站并 在其中 創(chuàng)建應(yīng)用， 便 可通過(guò) 開(kāi)放 平臺(tái) 提供的各種開(kāi)放接口 (Open API)對(duì)微博系統(tǒng)進(jìn)行讀寫(xiě)， 獲取自己想要的數(shù)據(jù)和實(shí)現(xiàn)某些應(yīng)用功能， 挖掘 出 微博系統(tǒng)的新功能 。 微博數(shù)據(jù)獲取 微博數(shù)據(jù)獲取流程圖 首先，為清楚直 觀地了解微博數(shù)據(jù)獲取的整個(gè)過(guò)程，這里描繪出了整個(gè)數(shù)據(jù)獲取過(guò)程的流程圖，如圖 所示： 南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院畢業(yè)設(shè)計(jì)（論文） 第 3 頁(yè) 共 51 頁(yè) 進(jìn) 入 新 浪 開(kāi) 發(fā) 平 臺(tái)創(chuàng) 建 應(yīng) 用編 輯 開(kāi) 發(fā) 者 信 息填 寫(xiě) 所 創(chuàng) 建 應(yīng) 用 相 關(guān) 信 息獲 取 微 博 系 統(tǒng) 所 授 權(quán) 的 A p p K e y和 A p p s e c r e t ， 填 寫(xiě) 回 調(diào) 地 址下 載 j a v a S D K解 壓 得 到 w e i b o 4 j o a u t h 2將 w e i b o 4 j o a u t h 2 導(dǎo) 入 E c l i p s e配 置 c o n f i g . p r o p e r t i e s 里 面 的 參 數(shù) 值運(yùn) 行 O A u t h 4 c o d e . j a v a 文 件 ， 獲 取 c o d e 值獲 取 a c c e s s _ t o k e n 值修 改 運(yùn) 行 代 碼 ， 獲 取 微 博 數(shù) 據(jù) 圖 微博數(shù)據(jù)獲取流程圖 應(yīng)用的創(chuàng)建 如圖 所示，獲取微博的數(shù)據(jù)，首先要做的一步就是創(chuàng)建應(yīng)用，其創(chuàng)建的過(guò)程大致如以下幾個(gè)步驟： 第一步：進(jìn)入新浪開(kāi)放平臺(tái)網(wǎng)站（網(wǎng)址： 第二步：選擇“微連接”目錄下的“站內(nèi)應(yīng)用”，然后再 選擇右上角的“創(chuàng)建應(yīng) 用”按鈕。 第三步：選擇“創(chuàng)建應(yīng)用”按鈕后，會(huì)彈出開(kāi)發(fā)者信息填寫(xiě)的一個(gè)注冊(cè)界面， 填寫(xiě)信息并通過(guò)郵件激活。 第四步：填寫(xiě)創(chuàng)建應(yīng)用的相關(guān)信息。填好應(yīng)用對(duì)應(yīng)的實(shí)際地址，本次實(shí)驗(yàn)設(shè)計(jì) 使用的是南華大學(xué)的官網(wǎng)地址（ 獲取微博數(shù)據(jù)，本地址可以隨意選取，沒(méi)有太多具體要求。 南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院畢業(yè)設(shè)計(jì)（論文） 第 4 頁(yè) 共 51 頁(yè) 第五步：提交創(chuàng)建 的應(yīng)用之后，在頁(yè)面“管理中心”的“應(yīng)用信用”中的“基 本信息”中，可以看到自己創(chuàng)建的應(yīng)用的基本信息以及新浪系統(tǒng)自動(dòng)