【文章內(nèi)容簡介】 String pageContents =()。 //downloadPage(verifiedUrl)。 if (pageContents != null amp。amp。 () 0){ // 從頁面中獲取有效的鏈接 ana=new Analyzer(pageContents,url)。 ArrayList links =()。//retrieveLinks(verifiedUrl, pageContents, crawledList,limitHost) List mp3link= ()。 (links)。 for(Iterator its=()。()。){ m= (mp3)()。 String sql=INSERT INTO `mappingmusic` ( `m_url` , `m_name` , `m_type`,`m_date` )VALUES (39。+()+39。, 39。+()+39。, 39。+()+39。,39。+date+39。)。 (sql)。 dispalystr+= 名字 :+()+\n+ 類型 :+()+\n+ 地址 :+()+\n。 第 8 頁 共 21 頁 (dispalystr)。 // ( 名字 :+()+\n+地址 :+()+\n+類型 :+())。 } (url)。 (正在解析： +url)。 (300)。 } n++。 } } (已經(jīng)完成采集任務(wù)共分析 +n+地址 )。 (共分析 +n+地址 )。 } 模擬瀏覽器 模擬瀏覽器主要是從 web服務(wù)器上獲取網(wǎng)頁并 把網(wǎng)頁保存到本地緩沖區(qū)中 ，方便后續(xù)程序分析分類 。模擬瀏覽器 主要通過 類來實(shí)現(xiàn) 。 網(wǎng)絡(luò) API 通過提供 URL類讓 用戶 能在源代碼層使用 URL， 每一個 URL對象都封裝了資源的標(biāo)識符和協(xié)議處理程序。獲得 URL對象的途徑之一是調(diào)用 URI對象的 toURL()方法。但是這種選擇不一定方便 ， 作為代替 ， 可以調(diào)用 URL 構(gòu)造函數(shù)來建立 URL對象 ， 也可以調(diào)用 URL的方法來提取 URL的組件，打開一個輸入流（ input stream）從資源中讀取信息，獲得某個能方便檢索資源數(shù)據(jù)的對象的引用，比較兩個 URL對象中的 URL，獲得到資源的連接對象，該連接對象允許代碼了解（并寫入）更多的資源的信息。 URL類有六個構(gòu)造函數(shù)。其中最簡單的是 URL(String url)，它有一個 String類型的參數(shù)，把 URL分解為自己的組件，并把這些組件存儲在一個新的 URL對象中。如果某個 URL沒有包含協(xié)議處理程序或該 URL的協(xié)議是未知的，其它的五個構(gòu)造函數(shù)會產(chǎn)生一個 。 下面的代碼展示了 網(wǎng)絡(luò)爬蟲調(diào)用網(wǎng)絡(luò) API提供的 URL類 從目標(biāo)服務(wù)器獲取數(shù)據(jù)保存到緩沖區(qū)中的過程 。 模擬瀏覽器源程 序 如下所示： boolean messagedig() throws Exception { URL url。 第 9 頁 共 21 頁 HttpURLConnection 。 urlstream = null。 url = new URL()。 try { = (HttpURLConnection) ()。 (UserAgent, Mozilla/)。 ()。 urlstream = ()。 } catch (Exception e) { // TODO 自動生成 catch 塊 (錯誤的 URL地址 +url)。 return false。 } reader = new . BufferedReader(new (urlstream))。 String currentline=,sumstring = 。 try{ while((currentline=())!=null){ sumstring+=currentline。//保存在網(wǎng)絡(luò)緩沖區(qū)中 } setMessage(sumstring)。 new String((),gbk)。 } catch( e){ (錯誤的文件格式： +())。 } return true。 } 正則表達(dá)式 正則表達(dá)式是一門語言。有許多正則表達(dá)式語法、選項(xiàng)和特殊字符，在 源文件中大家可以查看?？赡鼙认胂?中的要復(fù)雜。組合邏輯是下一步的事情 。 只要正確運(yùn)用，正則表達(dá)式能夠在字符串提取和文本修改中起到很大的作用 。 第 10 頁 共 21 頁 正則表達(dá)式在本程序中的作用是分析網(wǎng)頁 中存在的 超鏈接 并 保存到等待隊(duì)列中 ， 方便爬蟲 遍歷網(wǎng)頁 獲取數(shù)據(jù) ， 并把網(wǎng)頁中存在的音樂信息提取出來為爬蟲儲存數(shù)據(jù)做準(zhǔn)備 。 （ 1） 句點(diǎn)符號 假設(shè)你在玩英文拼字游戲，想要找出三個字母的單詞，而且這些單詞必須以“t”字母開頭，以 “n”字母結(jié)束。另外，假設(shè)有一本英文字典，你可以用正則表達(dá)式搜索它的全部內(nèi)容。要構(gòu)造出這個正則表達(dá)式，你可以使用一個通配符 ——句點(diǎn)符號 “.”。這樣，完整的 表達(dá)式就是 “”，它匹配 “tan”、 “ten”、 “tin”和 “ton”，還匹配 “tn”、 “tpn”甚至 “t n”，還有其他許多無意義的組合。這是因?yàn)榫潼c(diǎn)符號匹配所有字符，包括空格、 Tab字符甚至換行符 如： ① 正則表達(dá)式 : ② 匹配： tan,Ten,tin,ton,t n,tn,tpn,等。 （ 2） 方括號符號 為了解決句點(diǎn)符號匹配范圍過于廣泛這一問題，你可以在方括號（ “[]”）里面指定看來有意義的字符。此時，只有方括號里面指定的字符才參與匹配。也就是說，正則表達(dá)式 “t[aeio]n”只匹配 “tan”、 “Ten”、 “tin”和 “ton”。但 “Toon”不匹配，因?yàn)樵诜嚼ㄌ栔畠?nèi)你只能匹配單個字符： ① 正則表達(dá)式 :t[aeio]n ② 匹配 :tan,Ten,tin,ton （ 3） “或 ”符號 如果除了上面匹配的所有單詞之外，你還想要匹配 “toon”，那么，你可以使用 “|”操作符。 “|”操作符的基本意義就是 “或 ”運(yùn)算。要匹配 “toon”，使用“t(a|e|i|o|oo)n”正則表達(dá)式。這里不能使用方擴(kuò)號，因?yàn)榉嚼ㄌ栔辉试S匹配單個字符；這里必須使用圓括號 “()”。圓括號還可以用來分組，具體請參見后面介紹。 ① 正則表達(dá)式 :t(a|e|i|o|oo)n ② 匹配 :tan,Ten,tin,ton,toon （ 4） 表示匹配次數(shù)的符號 表 ，這些符號用來確定緊靠該符號左邊的符號出現(xiàn)的次數(shù) 。 表 表示次數(shù)的符號 符號 次數(shù) 0次或者多次 + 1次或者多次 ? 0次或者一次 第 11 頁 共 21 頁 {n} 恰好 n次 {n,m} 從 n次到 m次 假設(shè)要在文本文件中搜索美國的社會安全號碼。這個號碼的格式是999999999。用來匹配它的正則表達(dá)式如圖一所示。在正則表達(dá)式中，連字符（ “”）有著特殊的意義，它表示一個范圍，比如從 0到 9。因此，匹配社會安全號碼中的連字符號時，它的前面要加上一個轉(zhuǎn)義字符 “\”。 正則表達(dá) 源程序 如下： public class CompareStr { public boolean parestring(String oristring,String tostring) //判斷是否存在指定表達(dá)式 { Pattern p=null。 //正則表達(dá)式 Matcher m=null。 //操作的 字符串 boolean b。 p = (oristring,)。 m = (tostring)。 b = ()。 return b。 } public String replace(String origin,String toString,String s){//替換字符 Pattern p=null。 Matcher m=null。 p=(origin,)。 m=(toString)。 return (s)。 } public String getString(String reg,String s){//返回得到的字符 String res。 Pattern p=null。 Matcher m=null。 p=(reg,)。 m=(s)。 if(()){ return ()。 第 12 頁 共 21 頁 } 數(shù)據(jù)分析 因?yàn)?Web中的信息都是建立在 HTML協(xié)議之上的，所以網(wǎng)絡(luò)機(jī)器人在檢索網(wǎng)頁時的第一個問題就是如何解析 HTML。在解決如何解析之前，先來介紹HTML中的幾種數(shù)據(jù) 。 ① 文本：除了腳本和標(biāo)簽之外的所有數(shù)據(jù) 。 ② 注釋：程序員留下的說明文字，對用戶是不可見的 。 ③ 簡單標(biāo)簽：由單個表示的 HTML標(biāo)簽 。 ④ 開始標(biāo)簽和結(jié)束標(biāo)簽：用來控制所包含的 HTML代碼 。 在進(jìn)行解析的時候不用關(guān)心所有的標(biāo)簽，只需要對其中一種重要的進(jìn)行解析即可。 本軟件只關(guān)心 超連接標(biāo)簽 ，下面介紹了在本軟件中如何使用。 （ 1） 超連接標(biāo)簽 超連接定義了 WWW通過 Inter鏈接文檔的功能。他們的主要目的是使用戶能夠任意遷移到新的頁面，這正是網(wǎng)絡(luò)爬蟲最關(guān)心的標(biāo)簽。 public ArrayList linkAnalyzer() //分析網(wǎng)頁上存在的超鏈接 .保存在等待隊(duì)列中 public List mp3analyzer() //分析網(wǎng)頁上存在的音樂超鏈接和音樂名稱 .保存到數(shù)據(jù)庫中方便查詢 （ 2） 超鏈接分析 以下是本軟件所用到的 關(guān)鍵源程序 （ 超鏈接 ），代碼如下： if((href,firstword)amp。amp。({)0amp。amp。f(})0amp。amp。(39。)0amp。amp。(。)0amp。amp。(.css)0amp。amp。(.ico)0amp。amp。!(mp3)){ String out=null。 out=(href=|\,firstword,)。 if(( (out)。 } else{//相對的路徑 try{ if((html)||(htm)){ int m=(/)。 String s=(0,m)。 第 13 頁 共 21 頁 webadd=s。 (debug+s+/+out)。 } } catch(StringIndexOutOfBoundsException e ){ } if((/)){ /*int m=(/)。 webadd=(0,m)。 (dafa+webadd)。 */ out=webadd+out。 (out)。 } else{ out=webadd+/+out。 (out)。 } } } i++。 } 采用 java 多線程技術(shù) 線程是 Java 的一大 特性 ，它可以是給定的指令序列、給定的方法中定義的變量或者一些共享數(shù)據(jù) (類一級的變量 )。在 Java中每個線程有自己的堆棧和程序計數(shù)器（ PC），其中堆棧是用來跟蹤線程的上下文（上下文是當(dāng)線程執(zhí)行到某處時，當(dāng)前的局部變量的值），而程序計數(shù)器則用來跟蹤當(dāng)前線程正在執(zhí)行的指令 。 （ 1） 線程的生命周期 一個線程的的生命周期可以分成兩階段：生存（ Alive）周期和死亡（ Dead）周期，其中生