freepeople性欧美熟妇, 色戒完整版无删减158分钟hd, 无码精品国产vα在线观看DVD, 丰满少妇伦精品无码专区在线观看,艾栗栗与纹身男宾馆3p50分钟,国产AV片在线观看,黑人与美女高潮,18岁女RAPPERDISSSUBS,国产手机在机看影片

正文內(nèi)容

分布式網(wǎng)絡爬蟲-總體設計-資料下載頁

2025-06-29 20:52本頁面
  

【正文】 l() //Pipeline是結果輸出和持久化的接口,這里ConsolePipeline表示結果輸出到控制臺 .addPipeline(new ConsolePipeline())。 try { //添加到JMT監(jiān)控中 ().register(oschinaSpider)。 //設置線程數(shù) //(5)。 ()。 } catch (JMException e) { ()。 } } //process(過程) public void process(Page page) { //()來保存抽取結果 //().xpath()則是按照某個規(guī)則對結果進行抽取,這里抽取支持鏈式調(diào)用 ListString pages=().xpath([@class=39。pagelist39。]).links().all()。 if (()5) { (()1)。 } (pages)。//用于獲取所有滿足(://blog\\.csdn\\.net/u012012240/article/month/2016/08/\\d+)這個正則表達式的鏈接 //區(qū)分是列表頁面還是信息頁面 if (().regex(article/list).match()) { ListString links = ().xpath([@class=39。link_title39。]).links().regex(://blog\\.csdn\\.net/chenyufeng1991/article/details/\\d+).all()。 //()方法來增加要抓取的URL (links)。 }else { (記錄數(shù):+temp++)。 (title, ().xpath(//[@class=39。link_title39。]/a/text()).toString())。 } } public Site getSite() { return site。 }} MySQL簡介MySQL是一個關系型數(shù)據(jù)庫管理系統(tǒng),由瑞典MySQL AB 公司開發(fā),目前屬于 Oracle 旗下產(chǎn)品。MySQL 是最流行的關系型數(shù)據(jù)庫管理系統(tǒng)之一,在 WEB 應用方面,MySQL是最好的 RDBMS (Relational Database Management System,關系數(shù)據(jù)庫管理系統(tǒng)) 應用軟件。MySQL是一種關系數(shù)據(jù)庫管理系統(tǒng),關系數(shù)據(jù)庫將數(shù)據(jù)保存在不同的表中,而不是將所有數(shù)據(jù)放在一個大倉庫內(nèi),這樣就增加了速度并提高了靈活性。MySQL所使用的 SQL 語言是用于訪問數(shù)據(jù)庫的最常用標準化語言。MySQL 軟件采用了雙授權政策,分為社區(qū)版和商業(yè)版,由于其體積小、速度快、總體擁有成本低,尤其是開放源碼這一特點,一般中小型網(wǎng)站的開發(fā)都選擇 MySQL 作為網(wǎng)站數(shù)據(jù)庫。由于其社區(qū)版的性能卓越,搭配 PHP 和 Apache 可組成良好的開發(fā)環(huán)境。 MySQL的安裝及配置 進入MySQL官網(wǎng),進入DOWNLOADS,選擇Community,點擊DOWNLOAD圖13 MySQL下載1,圖14 MySQL下載2選擇相應信息,點擊下載圖15 MySQL下載3將安裝包解壓,通過命令來安裝MySQL數(shù)據(jù)庫。首先解壓到G:\\文件下,打開命令提示符以管理員身份運行,cd到G:\\bin下命令為:cd /d G:\\bin圖16 MySQL安裝1然后安裝MySQLmysqld install,運行命令后MySQL安裝成功。最后啟動MySQL服務。net start mysql將啟動MySQL服務。值得注意的是用命令安裝的MySQL在Windows系統(tǒng)下默認服務名為mysql,默認密碼為空。圖17 MySQL安裝2接下來配置環(huán)境變量編輯path系統(tǒng)變量,將G:\\bin添加到path變量。圖18 MySQL環(huán)境不變量配置最后進入MySQLmysql u root p,密碼默認為空。顯示“mysql”表示進入MySQL,可用TSQL語句對數(shù)據(jù)庫執(zhí)行各種操作。圖19 進入MySQL 安裝MySQLWorkbenchMySQL Workbench是一款專為MySQL設計的ER/數(shù)據(jù)庫建模工具。它是著名的數(shù)據(jù)庫設計工具DBDesigner4的繼任者。你可以用MySQL Workbench設計和創(chuàng)建新的數(shù)據(jù)庫圖示,建立數(shù)據(jù)庫文檔,以及進行復雜的MySQL 遷移。 MySQL Workbench是下一代的可視化數(shù)據(jù)庫設計、管理的工具,它同時有開源和商業(yè)化的兩個版本。該軟件支持Windows和Linux系統(tǒng)。 依然進入MySQL的官網(wǎng),翻到網(wǎng)頁最底部的DOWNLOAD,選擇MySQLWorkbench圖20 MySQLWorkbench下載1點擊DOWNLOAD下載并安裝圖21 MySQLWorkbench下載2安裝完成后雙擊打開圖22 MySQLWorkbench點擊‘+’圖標,進入數(shù)據(jù)庫配置,填寫配置信息圖23鏈接配置創(chuàng)建成功,雙擊數(shù)據(jù)庫輸入密碼進入圖24 MySQLWorkbench界面圖25 數(shù)據(jù)庫登錄圖形化管理工具只是為了方便結果的查看,現(xiàn)在我們使用cmd在MySQL中創(chuàng)建一個數(shù)據(jù)庫并建立一個名為csdnblog的表,用于存儲我們從網(wǎng)頁上爬到的數(shù)據(jù)信息,我已經(jīng)創(chuàng)建好了一個名為Shiyan的數(shù)據(jù)庫,在此只要創(chuàng)建表即可圖26 MySql建表1使用圖形化管理工具查看,發(fā)現(xiàn)Table下多出一張表,不過是空表圖27 MySql建表2 編寫鏈接數(shù)據(jù)庫文件圖28 總類圖 在連接數(shù)據(jù)庫之前,我們先要建立要插入數(shù)據(jù)的數(shù)據(jù)模型,即所要插入的數(shù)據(jù)由那幾項構成以及他們的結構,新建一個CsdnBlog的JAVA文件,添加數(shù)據(jù)模型,并編寫獲取、修改相應部分的代碼。代碼如下:public class CsdnBlog { private int key。// 編號 private String title。// 標題 private String date。// 日期 private String tags。// 標簽 private String category。// 分類 private int view。// 閱讀人數(shù) private int ments。// 評論人數(shù) private int copyright。// 是否原創(chuàng) private String content。 //文字內(nèi)容 public String getContent() { return content。 } public void setContent(String content) { = content。 } public int getKey() { return key。 } public void setKey(int key) { = key。 } public String getTitle() { return title。 } public void setTitle(String title) { = title。 } public String getDate() { return date。 } public void setDate(String date) { = date。 } public String getTags() { return tags。 } public void setTags(String tags) { = tags。 } public String getCategory() { return category。 } public void setCategory(String category) { = category。 } public int getView() { return view。 } public void setView(int view) { = view。 } public int getComments() { return ments。 } public void setComments(int ments) { = ments。 } public int getCopyright() { return copyright。 } public void setCopyright(int copyright) { = copyright。 } @Override public String toString() { return CsdnBlog [key= + key + , title= + title + , content= + content + ,date= + date + , tags= + tags + , category= + category + , view= + view + , ments= + ments + , copyright= + copyright + ]。 }在Webmagic框架下實現(xiàn)數(shù)據(jù)庫的鏈接有多種方法,在此我們使用DAO進行鏈接,新建一個CsdnBlogDAO的JAVA文件,配置相應信息,實現(xiàn)數(shù)據(jù)庫的鏈接,構造函數(shù)代碼如下:public class CsdnBlogDao { private Connection conn = null。 private Statement stmt = null。 public CsdnBlogDao() { try { ()。 String url = jdbc:mysql://localhost:3306/Shiyan? + user=rootamp。password=19960407amp。useUnicode=trueamp。characterEncoding=UTF8。/*此處為添加要連接數(shù)據(jù)庫的信息,3306是接口,在使用WorkBench時有過設置,3306后邊是句庫名稱,下邊的’user=……’填寫數(shù)據(jù)庫的訪問密碼*/ conn = (url)。 stmt = ()。 } catch (ClassNotFoundException e) { ()。 } catch (SQLException e) { ()。 } }鏈接完成后,要向數(shù)據(jù)庫中逐條插入數(shù)據(jù),因此再添加一個add函數(shù),代碼如下:public int add(CsdnBlog csdnBlog) { try { String sql = INSERT INTO `Shiyan`.`csdnblog` (`keyes`, `titles`, `content` , `dates`, `tags`, `category`, `views`, `ments`, `copyright`) VALUES (?, ?, ?, ?, ?, ?, ?, ?,?)。 PreparedStatement ps = (sql)。 (1, ())。 (2, ())。 (3,())。 (4, ())。 (5, ())。 (6, ())。 (7, ())。 (8, ())。 (9, ())。 return ()。 } catch (SQLException e) { ()。 } return 1。 }以上,我們就實現(xiàn)了數(shù)據(jù)庫的鏈接,運行CsdnBlogPageProcessor,并查看結果圖29 Console下的結果這是在eclipse下查看的結果,打開數(shù)據(jù)庫,發(fā)現(xiàn)數(shù)據(jù)也已經(jīng)保存了進去圖30 數(shù)據(jù)庫中的數(shù)據(jù)實驗結束后,將數(shù)據(jù)庫關閉服務圖31 關閉數(shù)據(jù)庫服務第40頁
點擊復制文檔內(nèi)容
試題試卷相關推薦
文庫吧 www.dybbs8.com
備案圖鄂ICP備17016276號-1