【文章內容簡介】 (root_url) while (): try: new_url = () print 39。craw %d : %s39。 %(count,new_url) html_cout = (new_url) new_urls, new_data = (new_url,html_cout) (new_urls) (new_data) if count == 20: break count = count + 1 except: print 39。carw failed39。 ()if __name__==__main__: root_url = obj_spider = SpiderMain() (root_url) 運行結果本次測試爬取百度百科中Python的20條相關詞條。由于時間以及技術有限，尚不能完美運行，爬蟲在爬取到主頁面后就會停止運行，錯誤還沒有找到，以后會盡量完善。4 算法部分模擬登錄功能的實現(xiàn)方式是讀取包含賬號信息的配置文件，模擬網(wǎng)頁登錄新浪微博的過程，獲取訪問新浪微博頁面時所需要的有效認證信息，即需要保存在本地的cookie信息。程序向新浪服務器發(fā)送經過加密的用戶名(username)和密碼(password)，服務器從傳遞的URL參數(shù)中提取字符串并解密得到原用戶名和密碼。其中對username和password的加密是模擬登錄過程中的關鍵步驟。對username進行Base64編碼得到用戶名的加密結果。但password的加密過程比較復雜。首先利用HttpClient對象訪問新浪服務器獲取服務器時間(servertime)、一個隨機生成的字符串(nonce)2個參數(shù)。然后利用新浪服務器給出的pubkey和rsakv值創(chuàng)建RSA算法公鑰(key)。將servertime，nonce和password按序拼接成新的字符串message，使用key對message進行RSA加密并將加密結果轉化為十六進制，得到password的加密結果。將加密后的用戶名和密碼一起作為請求通行證的URL請求的報頭信息傳遞給新浪服務器，新浪服務器經過驗證無誤后，返回登錄成功信息，HttpClient保存有效的Cookies值。模擬登錄成功后，程序向服務端請求數(shù)據(jù)獲取任務，否則結束本次任務。 通過調用微博API接口獲取用戶微博數(shù)據(jù)利用微博系統(tǒng)的SDK獲取數(shù)據(jù)的工作流程，調用API需要通過用戶身份的鑒權，目前使用OAuth鑒權。其優(yōu)點是數(shù)據(jù)準確快捷，很少因微博平臺的變化而變化，但缺點是接口提供商限制的因素多且不穩(wěn)定。(1)新浪微博開放平臺目前，新浪微博提供了相應的API供本系統(tǒng)使用，通過調用這些API，本系統(tǒng)可以獲取如微博內容、用戶關系、用戶信息、用戶標簽等信息。要使用這些API，需要先創(chuàng)建一個自己的應用，然后進行認證，認證完成后即可使用API獲取新浪微博的數(shù)據(jù)了。但是現(xiàn)在新浪微博加大了對API接口的限制，只有公司用戶才可以申請微服務應用(里面有訪問數(shù)據(jù)的接口)，這對個人數(shù)據(jù)采集的實踐造成較大困難。(2)微博JAVA SDK微博JAVA SDK是新浪為JAVA開發(fā)者提供的專門用于訪問新浪微博的接口，通過微博JAVA SDK，第三方微博應用可以很方便的訪問微博提供的API接口，獲取到需要的信息。微博JAVA SDK的整體架構包含如下幾個：src:weibo4j封裝了大部分接口，包括授權，timeline，用戶等常見接口 ；；，status等實體類 ； 完成json解析的各種方法； 包含了請求api接口時候所需要的工具類； examples：里面包含了封裝接口的各個測試。(3)微博應用創(chuàng)建首先使用自己的新浪微博賬號進行登陸，如果沒有的話，就要先注冊，然后再登陸到新浪的微博開放平臺。成功登陸以后，首先要填寫個人的基本信息，填寫了個人信息后，就可以獲得開發(fā)者的身份，這時就可以創(chuàng)建應用了。創(chuàng)建應用時，除了填寫應用的基本信息，包括名稱、用途、應用網(wǎng)址以外，最重要的是應用的類型。站內應用可以獲得更高的權限和更高的API調用頻率。創(chuàng)建完站內應用后，應用將會獲得一個App Key和一個Secret Key，這兩個Key是以后會用到的。其中App Key是應用在開放平臺中的身份標志，每次應用要調用API時，都需要提供App Key和使用人賬號，這樣方便新浪統(tǒng)計某個應用的使用頻率，這樣既能保證某個應用不能頻繁調用API，避免出現(xiàn)惡意攻擊新浪的事件，另一方面，新浪也可以通過使用頻率來進行熱門應用的推薦。而App Secret是新浪微博分配給某個應用的密碼，這是為了保證其真實性，這個是唯一的，這樣可以防止其他應用冒充某個熱門應用。(4)微博內容獲取總體的大致流程如圖41。圖41 通過微博API接口獲取數(shù)據(jù)大致流程在采集過程中，首先需要的是獲取新浪微博的身份驗證，即申請Access Token碼，從而獲取對新浪微博開發(fā)的權限。進行身份驗證以后，就可以開始對新浪微博進行開發(fā)了。在調用API接口Timeline獲得授權用戶所有的微博信息以后，就可以通過輸入關鍵詞對微博信息進行關鍵詞匹配，如果匹配成