山東建筑大學(xué)計(jì)算機(jī)網(wǎng)絡(luò)課程設(shè)計(jì)基于python的網(wǎng)絡(luò)爬蟲設(shè)計(jì)-預(yù)覽頁
【正文】 據(jù)網(wǎng)頁解析器新URL列表HTML網(wǎng)頁字符串Python常用的解析器有四種，一是正則表達(dá)式，三是beautifulSoup，四是lxml。39。a39。如果要輸出的文件不存在，程序會(huì)自動(dòng)創(chuàng)建，并且每次重寫之前都會(huì)清空網(wǎng)頁的內(nèi)容。測(cè)試的結(jié)果以txt文檔形式顯示，生成的文檔路徑和代碼路徑一致、6 課程設(shè)計(jì)心得與體會(huì)Python是一門面向?qū)ο蟮慕忉屝哉Z言（腳本語言），這一類語言的特點(diǎn)就是不用編譯，程序在運(yùn)行的過程中，由對(duì)應(yīng)的解釋器向CPU進(jìn)行翻譯，個(gè)人理解就是一邊編譯一邊執(zhí)行。Python也不依靠分號(hào)來決定一句代碼是否結(jié)束，一行代碼就是一句代碼。 總得來說，對(duì)Python的初涉感覺不錯(cuò)，這門語言相比較Java更加的簡(jiǎn)潔，這次的課設(shè)是初步接觸python，以后會(huì)自己深入學(xué)習(xí)。craw failed39。 典型的錯(cuò)誤包括404（頁面無法找到），403（請(qǐng)求禁止），401（待驗(yàn)證的請(qǐng)求） 5XX 回應(yīng)代碼以“5”開頭的狀態(tài)碼表示服務(wù)器端發(fā)現(xiàn)自己出現(xiàn)錯(cuò)誤，不能繼續(xù)執(zhí)行請(qǐng)求 if () != 200: print download html failed return None return () coding:utf8import urlparsefrom bs4 import BeautifulSoupimport reclass HtmlParser(object): def parse(self, page_url, html_cont): if page_url is None or html_cont is None: return soup = BeautifulSoup(html_cont, 39。) 解析URL列表，獲取URL new_urls = (page_url, soup) 解析數(shù)據(jù) new_data = (page_url, soup) print new_data return new_urls, new_data def _get_new_urls(self, page_url, soup): new_urls = set() links = (39。] new_full_url = (,new_url) (new_full_url) return new_urls def _get_new_date(self, page_url, soup): res_data = {} url res_data[39。,class_=lemmaWgtlemmaTitletitle).find(39。] = () div class=lemmasummary labelmodule=lemmaSummary summary_node = (39。] = () print res_data[39。, 39。]+\n) (data[39。)) (data[39。)+\n\n) ()9 附錄2 網(wǎng)絡(luò)爬蟲爬取的數(shù)據(jù)文檔PythonPython[1]Python語法簡(jiǎn)潔清晰，特色之一是強(qiáng)制用空白符(white space)作為語句縮進(jìn)。有特別要求的部分，用更合適的語言改寫，比如3D游戲中的圖形渲染模塊，性能要求特別高，就可以用C/C++重寫，而后封裝為Python可以調(diào)用的擴(kuò)展類庫。機(jī)器語言是計(jì)算機(jī)能直接解讀、運(yùn)行的。最后運(yùn)行的時(shí)候通過通用語言運(yùn)行庫的轉(zhuǎn)換，編程最終可以被CPU直接計(jì)算的機(jī)器碼（NativeCode）。預(yù)處理器可以刪除注釋、包含其他文件以及執(zhí)行宏（宏macro是一段重復(fù)文字的簡(jiǎn)短描寫）替代。是高度封裝了的編程語言，與低級(jí)語言相對(duì)。由于匯編語言依賴于硬件體系，且助記符量大難記，于是人們又發(fā)明了更加易用的所謂高級(jí)語言
醫(yī)療健康相關(guān)推薦
鄂ICP備17016276號(hào)-1