【文章內(nèi)容簡介】 String url = (String) ().next()。 // Remove URL from the to crawl list. (url)。 // 增加已處理的URL到crawledList (url)。 if(hasBeenVisit(url)){ (重復(fù)：+url+已經(jīng)去掉)。 } else{ (url)。 sea=new Search(url)。 String pageContents =()。 //downloadPage(verifiedUrl)。 if (pageContents != null amp。amp。 () 0){ // 從頁面中獲取有效的鏈接 ana=new Analyzer(pageContents,url)。 ArrayList links =()。//retrieveLinks(verifiedUrl, pageContents, crawledList,limitHost) List mp3link= ()。 (links)。 for(Iterator its=()。()。){ m= (mp3)()。String sql=INSERT INTO `mappingmusic` ( `m_url` , `m_name` , `m_type`,`m_date` )VALUES (39。+()+39。, 39。+()+39。, 39。+()+39。,39。+date+39。)。 (sql)。 dispalystr+=名字:+()+\n+類型:+()+\n+地址:+()+\n。 (dispalystr)。 // (名字:+()+\n+地址:+()+\n+類型:+())。 } (url)。 (正在解析：+url)。 (300)。 } n++。 } } (已經(jīng)完成采集任務(wù)共分析+n+地址)。 (共分析+n+地址)。 } 模擬瀏覽器模擬瀏覽器主要是從web服務(wù)器上獲取網(wǎng)頁并把網(wǎng)頁保存到本地緩沖區(qū)中，方便后續(xù)程序分析分類。網(wǎng)絡(luò)API通過提供URL類讓用戶能在源代碼層使用URL，每一個URL對象都封裝了資源的標(biāo)識符和協(xié)議處理程序。獲得URL對象的途徑之一是調(diào)用URI對象的toURL()方法。但是這種選擇不一定方便，作為代替，可以調(diào)用URL構(gòu)造函數(shù)來建立URL對象，也可以調(diào)用URL的方法來提取URL的組件，打開一個輸入流（input stream）從資源中讀取信息，獲得某個能方便檢索資源數(shù)據(jù)的對象的引用，比較兩個URL對象中的URL，獲得到資源的連接對象，該連接對象允許代碼了解（并寫入）更多的資源的信息。URL類有六個構(gòu)造函數(shù)。其中最簡單的是URL(String url)，它有一個String類型的參數(shù)，把URL分解為自己的組件，并把這些組件存儲在一個新的URL對象中。如果某個URL沒有包含協(xié)議處理程序或該URL的協(xié)議是未知的。下面的代碼展示了網(wǎng)絡(luò)爬蟲調(diào)用網(wǎng)絡(luò)API提供的URL類從目標(biāo)服務(wù)器獲取數(shù)據(jù)保存到緩沖區(qū)中的過程。模擬瀏覽器源程序如下所示： boolean messagedig() throws Exception { URL url。 HttpURLConnection 。 urlstream = null。 url = new URL()。 try { = (HttpURLConnection) ()。 (UserAgent, Mozilla/)。 ()。 urlstream = ()。 } catch (Exception e) { // TODO 自動生成 catch 塊 (錯誤的URL地址+url)。 return false。 } reader = new . BufferedReader(new (urlstream))。 String currentline=,sumstring = 。 try{ while((currentline=())!=null){ sumstring+=currentline。//保存在網(wǎng)絡(luò)緩沖區(qū)中 } setMessage(sumstring)。 new String((),gbk)。 } catch( e){ (錯誤的文件格式：+())。 } return true。 } 正則表達(dá)式正則表達(dá)式是一門語言。有許多正則表達(dá)式語法、選項和特殊字符?？赡鼙认胂笾械囊獜?fù)雜。組合邏輯是下一步的事情。只要正確運用，正則表達(dá)式能夠在字符串提取和文本修改中起到很大的作用。正則表達(dá)式在本程序中的作用是分析網(wǎng)頁中存在的超鏈接并保存到等待隊列中，方便爬蟲遍歷網(wǎng)頁獲取數(shù)據(jù)，并把網(wǎng)頁中存在的音樂信息提取出來為爬蟲儲存數(shù)據(jù)做準(zhǔn)備。（1）句點符號假設(shè)你在玩英文拼字游戲，想要找出三個字母的單詞，而且這些單詞必須以“t”字母開頭，以“n”字母結(jié)束。另外，假設(shè)有一本英文字典，你可以用正則表達(dá)式搜索它的全部內(nèi)容。要構(gòu)造出這個正則表達(dá)式，你可以使用一個通配符——句點符號“.”。這樣，完整的表達(dá)式就是“”，它匹配“tan”、“ten”、“tin”和“ton”，還匹配“tn”、“tpn”甚至“t n”，還有其他許多無意義的組合。這是因為句點符號匹配所有字符，包括空格、Tab字符甚至換行符如：① 正則表達(dá)式:② 匹配：tan,Ten,tin,ton,t n,tn,tpn,等。（2）方括號符號為了解決句點符號匹配范圍過于廣泛這一問題，你可以在方括號（“[]”）里面指定看來有意義的字符。此時，只有方括號里面指定的字符才參與匹配。也就是說，正則表達(dá)式“t[aeio]n”只匹配“tan”、“Ten”、“tin”和“ton”。但“Toon”不匹配，因為在方括號之內(nèi)你只能匹配單個字符：① 正則表達(dá)式:t[aeio]n② 匹配:tan,Ten,tin,ton（3）“或”符號如果除了上面匹配的所有單詞之外，你還想要匹配“toon”，那么，你可以使用“|”操作符?！皘”操作符的基本意義就是“或”運算。要匹配“toon”，使用“t(a|e|i|o|oo)n”正則表達(dá)式。這里不能使用方擴號，因為方括號只允許匹配單個字符；這里必須使用圓括號“()”。圓括號還可以用來分組，具體請參見后面介紹。① 正則表達(dá)式:t(a|e|i|o|oo)n② 匹配:tan,Ten,tin,ton,toon（4）表示匹配次數(shù)的符號 ，這些符號用來確定緊靠該符號左邊的符號出現(xiàn)的次數(shù)。 表示次數(shù)的符號符號次數(shù) 0次或者多次+1次或者多次?0次或者一次{n}恰好n次{n,m}從n次到m次假設(shè)要在文本文件中搜索美國的社會安全號碼。這個號碼的格式是999999999。用來匹配它的正則表達(dá)式如圖一所示。在正則表達(dá)式中，連字符（“”）有著特殊的意義，它表示一個范圍，比如從0到9。因此，匹配社會安全號碼中的連字符號時，它的前面要加上一個轉(zhuǎn)義字符“\”。正則表達(dá)源程序如下： public class CompareStr { public boolean parestring(String oristring,String tostring) //判斷是否存在指定表達(dá)式 { Pattern p=null。 //正則表達(dá)式 Matcher m=null。 //操作的字符串 boolean