山東建筑大學(xué)計算機網(wǎng)絡(luò)課程設(shè)計報告基于python的網(wǎng)絡(luò)爬蟲設(shè)計(編輯修改稿)
2025-07-21 20:49 本頁面
【文章內(nèi)容簡介】 考文獻[1] 錢程,陽小蘭,[J].黑龍江科技信息,2016,(36):273.[2] 戚利娜,[J].電腦編程技巧與維護,2017,(8):7273.[3] ,Core Python Programming. 20019118 附錄1 網(wǎng)絡(luò)爬蟲程序設(shè)計代碼 coding:utf8import loggingfrom webCraler import url_manager, html_downloader, html_outputer, html_parserclass SpiderMain(object): 初始化URL管理器，網(wǎng)頁下載器，網(wǎng)頁解析器和數(shù)據(jù)輸出器 def __init__(self): = () = () = () = () 爬取網(wǎng)頁 def craw(self, url): count = 1 向URL管理器添加新的URL (url) while (): try: 如果有新的URL，獲取這個新的URL new_url = () 打印這是第幾個爬取的URL print 39。craw %d : %s39。 % (count, new_url) 使用網(wǎng)頁下載器下載這個網(wǎng)頁的內(nèi)容 html_cont = (new_url) 使用網(wǎng)頁解析器解析這個網(wǎng)頁的內(nèi)容，分別為URL和數(shù)據(jù) new_urls, new_data = (new_url, html_cont) 將解析器解析的 RL添加到URL管理器 (new_urls) 將解析器解析的數(shù)據(jù)傳遞給數(shù)據(jù)輸器 (new_data) 爬取10個數(shù)據(jù)后自動結(jié)束 if count == 20: break count = count+1 except Exception as e: (e) print 39。craw failed39。 數(shù)據(jù)輸出器將數(shù)據(jù)使用HTML的方式輸出 ()if __name__ == 39。__main__39。: print begin root_url = obj_spider = SpiderMain() (root_url) coding:utf8class UrlManager(object): def __init__(self): = set() = set() 添加URL def add_new_url(self, url): if url is None: return if url not in and url not in : (url) def add_new_urls(self, urls): if urls is None or len(urls) == 0: return for url in urls: (url) def has_new_url(self): return len() != 0 def get_new_url(self): new_url = () (new_url) return new_url coding:utf8import urllib2class HtmlDownloader(objec
法律信息相關(guān)推薦
鄂ICP備17016276號-1