社交網(wǎng)絡數(shù)據(jù)采集算法的設計軟件工程課程設計報告-免費閱讀
【正文】 數(shù)據(jù)挖掘是大數(shù)據(jù)時代最常提及的。 return (() 1).getKey()。 }else { double totalScore = (objName)。 totalscore += (a)。 return (sm == 0 ? 1 : sd / sm)。 sxy += x * y。// Σy=y1+y2+...yn int sx2 = 0。當用歐幾里德距離表示相似度，一般采用以下公式進行轉換：距離越小，相似度越大。好了，當我們收集好用戶的行為數(shù)據(jù)后，還要對數(shù)據(jù)進行預處理，最核心的工作就是減噪和歸一化。協(xié)同過濾一般是在海量的用戶中發(fā)掘出一小部分和你品位比較類似的，在協(xié)同過濾中，這些用戶成為鄰居，然后根據(jù)他們喜歡的其他東西組織成一個排序的目錄作為推薦給你。圖41 通過微博API接口獲取數(shù)據(jù)大致流程在采集過程中，首先需要的是獲取新浪微博的身份驗證，即申請Access Token碼，從而獲取對新浪微博開發(fā)的權限。(3)微博應用創(chuàng)建首先使用自己的新浪微博賬號進行登陸，如果沒有的話，就要先注冊，然后再登陸到新浪的微博開放平臺。模擬登錄成功后，程序向服務端請求數(shù)據(jù)獲取任務，否則結束本次任務。程序向新浪服務器發(fā)送經過加密的用戶名(username)和密碼(password)，服務器從傳遞的URL參數(shù)中提取字符串并解密得到原用戶名和密碼。 實現(xiàn)主要含有主調度函數(shù)、URL管理、HTML下載器、HTML解析器、HTML輸出這五個模塊。，本爬蟲使用Python27編寫。 Python語言Python是一種面向對象、解釋型計算機程序設計語言，由Guido van Rossum于1989年發(fā)明，第一個公開發(fā)行版發(fā)行于1991年。3. 最佳優(yōu)先遍歷策略最佳優(yōu)先遍歷算法根據(jù)一定的網(wǎng)頁分析算法，算出網(wǎng)頁與初始網(wǎng)頁的相關性，相關性高的網(wǎng)頁優(yōu)先抓取，這樣，爬蟲程序只抓取那些根據(jù)計算得到的“有用的”網(wǎng)頁，但是這樣可能導致在抓取路徑上一些相關網(wǎng)頁被遺漏。待爬取隊列中的URL以怎樣的順序爬取同樣很重要，這決定這數(shù)據(jù)的獲取順序。 P 為概率轉移矩陣，為 n 維的全 1 行。隨著每一輪的計算進行，網(wǎng)頁當前的PageRank值會不斷得到更新。目前國外有關社交網(wǎng)絡數(shù)據(jù)采集模型的研究較少,對社交網(wǎng)絡的研究主要集中在社會網(wǎng)絡分析領域。相比于過去的信息匱乏，面對現(xiàn)階段海量的信息數(shù)據(jù)，對信息的篩選和過濾成為了衡量一個系統(tǒng)好壞的重要指標。一些社交平臺如Twitter、新浪微博、人人網(wǎng)等,允許用戶申請平臺數(shù)據(jù)的采集權限,并提供了相應的API 接口采集數(shù)據(jù),通過注冊社交平臺、申請API授權、調用API 方法等流程獲取社交信息數(shù)據(jù)。社交網(wǎng)絡信息反映了用戶的網(wǎng)絡行為特征,通過對這些信息的研究,可以實現(xiàn)社會輿論監(jiān)控、網(wǎng)絡營銷、股市預測等。目前很多重要的鏈接分析算法都是在PageRank算法基礎上衍生出來的。完整公式如下：PageRankpi=1qN+qΣPageRank(pj)L(pj)p1,p2,…,pN是被研究的頁面，是鏈入頁面的數(shù)量，是鏈出頁面的數(shù)量，而N是所有頁面的數(shù)量。（4） 分析獲取的網(wǎng)頁，解析DNS，從中得到數(shù)據(jù)以及新的URL，并將已經抓取的URL放入已爬取URL隊列。2. 深度優(yōu)先遍歷策略：深度優(yōu)先遍歷策略是指在抓取開始，選擇與當前結點相鏈接的一個結點，分析其URL，然后在選擇其中一個進行抓取，這樣重復下去，直到其中一條鏈路抓取完畢，然后再重新選擇一個未抓取的URL進行抓取。下面介紹主要用到的這三種工具： EclipseEclipse是一個開源的、基于Java的可擴展開發(fā)平臺。Python具有良好的可擴展性。(3) build。 ()if __name__==__main__: root_url = obj_spider = SpiderMain() (root_url) 運行結果本次測試爬取百度百科中Python的20條相關詞條。然后利用新浪服務器給出的pubkey和rsakv值創(chuàng)建RSA算法公鑰(key)。但是現(xiàn)在新浪微博加大了對API接口的限制，只有公司用戶才可以申請微服務應用(里面有訪問數(shù)據(jù)的接口)，這對個人數(shù)據(jù)采集的實踐造成較大困難。其中App Key是應用在開放平臺中的身份標志，每次應用要調用API時，都需要提供App Key和使用人賬號，這樣方便新浪統(tǒng)計某個應用的使用頻率，這樣既能保證某個應用不能頻繁調用API，避免出現(xiàn)惡意攻擊新浪的事件，另一方面，新浪也可以通過使用頻率來進行熱門應用的推薦。協(xié)同過濾是利用集體智慧的一個典型方法。用戶行為都會多于一種，那么如何組合這些不同的用戶行為呢 ？基本上有如下兩種方式。關于相似度的計算，現(xiàn)有的幾種基本方法都是基于向量(Vector)的，其實也就是計算兩個向量的距離，距離越近相似度越大。// 數(shù)量n int sxy = 0。 if (x != null amp。 } } // p=(ΣxyΣx*Σy/n)/((Σx2(Σx)2/n)(Σy2(Σy)2/n))。 if (a1 != null amp。 for (EntryString, Integer simObjEn : ().entrySet()) { double objScore = sim * ()。 }else if (a
研究報告相關推薦
鄂ICP備17016276號-1