社交網(wǎng)絡數(shù)據(jù)采集算法的設計(軟件工程課程設計報告)(存儲版)
【正文】 1。而我們又沒有這方面的基礎。贈語； 如果我們做與不做都會有人笑，如果做不好與做得好還會有人笑，那么我們索性就做得更好，來給人笑吧！ 現(xiàn)在你不玩命的學，以后命玩你。壓力不是有人比你努力，而是那些比你牛幾倍的人依然比你努力。7173.[2] [D].北京。最新技術一直是專家學者保持著。 (enList, new ComparatorString, Double() { public int pare(String, Double o1, String, Double o2) { Double a = () ()。 for (EntryString, MapString, Integer simUserEn : ()) { String user = ()。 Integer a1 = (key)。 sx2 += (x, 2)。 Integer x = ()。sx, sy是 x 和 y 的樣品標準偏差。通過歸一化，才能使數(shù)據(jù)更加準確。(1)收集用戶偏好從用戶的行為和偏好中發(fā)現(xiàn)規(guī)律，并基于此進行推薦，所以如何收集用戶的偏好信息成為系統(tǒng)推薦效果最基礎的決定因素。由于新浪微博對API接口調(diào)用的次數(shù)和頻率有限制，一旦達到限制， 系統(tǒng)將等待幾分鐘后才能進行采集。站內(nèi)應用可以獲得更高的權(quán)限和更高的API調(diào)用頻率。(1)新浪微博開放平臺目前，新浪微博提供了相應的API供本系統(tǒng)使用，通過調(diào)用這些API，本系統(tǒng)可以獲取如微博內(nèi)容、用戶關系、用戶信息、用戶標簽等信息。但password的加密過程比較復雜。 %(count,new_url) html_cout = (new_url) new_urls, new_data = (new_url,html_cout) (new_urls) (new_data) if count == 20: break count = count + 1 except: print 39。BeautifulSoup下載地址為：：(1)下載完成后解壓縮。Python具有豐富和強大的庫，它常被稱為膠水語言，能夠把用其它語言制作的各種模塊(尤其是C\C++)很輕松的聯(lián)結(jié)在一起。因為一些新下載的網(wǎng)頁沒有PageRank值，所以將這個網(wǎng)頁的所有入鏈傳遞的PageRank值匯總，就夠成了這些頁面的PageRank值，從而參與排序。這種方法的思想是認為在與初始URL在一定鏈接距離內(nèi)的網(wǎng)頁具有最大的主題相關性。（2） 將這些URL放入待爬取URL隊列。當每個頁面都獲得了更新后的PageRank值，就完成了一輪PageRank計算。佩奇和謝爾蓋隨著社交網(wǎng)站的興起，網(wǎng)絡社交蓬勃發(fā)展，新的互聯(lián)網(wǎng)熱再次升溫，有分析人士甚至說，網(wǎng)絡社交將締造人際交往的新模式。. . . .軟件工程課程設計社交網(wǎng)絡數(shù)據(jù)收集算法的設計組號第21組組長姓名：蓋云東學號：130104010049組員姓名：任志成學號：130104010121組員姓名：馬劍楠學號：130104010004組員姓名：陳海濤學號：130104010045摘要隨著互聯(lián)網(wǎng)的發(fā)展，人們正處于一個信息爆炸的時代。關鍵詞：軟件工程；社交網(wǎng)絡；爬蟲；協(xié)同過濾算法目錄摘要 2 目錄 3 課題研究的目的 1 課題研究背景 1 2 優(yōu)先抓取策略PageRank 2 PageRank簡介 2 PageRank流程 2 3 爬蟲 4 爬蟲介紹 4 4 工作流程 4 抓取策略介紹 5 工具介紹 6 Eclipse 7 Python語言 7 BeautifulSoup 7 實現(xiàn) 8 運行結(jié)果 9 4 算法部分 10 10 10 通過調(diào)用微博API接口獲取用戶微博數(shù)據(jù) 11 14 14 15 18 結(jié)論 22 參考文獻 23 學習參考課題研究的目的 課題研究背景互聯(lián)網(wǎng)導致一種全新的人類社會組織和生存模式悄然走進我們，構(gòu)建了一個超越地球空問之上的、巨大的群體——網(wǎng)絡群體，21世紀的人類社會正在逐漸浮現(xiàn)出嶄新的形態(tài)與特質(zhì)，網(wǎng)絡全球化時代的個人正在聚合為新的社會群體。2 優(yōu)先抓取策略PageRank PageRank簡介PageRank，即網(wǎng)頁排名，又稱網(wǎng)頁級別、Google左側(cè)排名或佩奇排名是Google創(chuàng)始人拉里而每個頁面將所有指向本頁面的入鏈所傳入的權(quán)值求和，即可得到新的PageRank得分。 工作流程 網(wǎng)絡爬蟲的基本工作流程如下：（1） 選取想爬取的網(wǎng)頁的URL。下面介紹幾種常見的抓取策略：1. 廣度優(yōu)先遍歷策略：廣度優(yōu)先遍歷策略是指在抓取過程中，在完成與當前結(jié)點
醫(yī)療健康相關推薦
鄂ICP備17016276號-1