【正文】 通過Internet鏈接文檔的功能。在進行解析的時候不用關心所有的標簽，只需要對其中一種重要的進行解析即可。③ 簡單標簽：由單個表示的HTML標簽。① 文本：除了腳本和標簽之外的所有數(shù)據(jù)。 } 數(shù)據(jù)分析因為Web中的信息都是建立在HTML協(xié)議之上的，所以網絡機器人在檢索網頁時的第一個問題就是如何解析HTML。 m=(s)。 Matcher m=null。 } public String getString(String reg,String s){//返回得到的字符 String res。 m=(toString)。 Matcher m=null。 return b。 m = (tostring)。 //操作的字符串 boolean b。正則表達源程序如下： public class CompareStr { public boolean parestring(String oristring,String tostring) //判斷是否存在指定表達式 { Pattern p=null。在正則表達式中，連字符（“”）有著特殊的意義，它表示一個范圍，比如從0到9。這個號碼的格式是999999999。① 正則表達式:t(a|e|i|o|oo)n② 匹配:tan,Ten,tin,ton,toon（4）表示匹配次數(shù)的符號 ，這些符號用來確定緊靠該符號左邊的符號出現(xiàn)的次數(shù)。這里不能使用方擴號，因為方括號只允許匹配單個字符；這里必須使用圓括號“()”?！皘”操作符的基本意義就是“或”運算。也就是說，正則表達式“t[aeio]n”只匹配“tan”、“Ten”、“tin”和“ton”。（2）方括號符號為了解決句點符號匹配范圍過于廣泛這一問題，你可以在方括號（“[]”）里面指定看來有意義的字符。這樣，完整的表達式就是“”，它匹配“tan”、“ten”、“tin”和“ton”，還匹配“tn”、“tpn”甚至“t n”，還有其他許多無意義的組合。另外，假設有一本英文字典，你可以用正則表達式搜索它的全部內容。正則表達式在本程序中的作用是分析網頁中存在的超鏈接并保存到等待隊列中，方便爬蟲遍歷網頁獲取數(shù)據(jù)，并把網頁中存在的音樂信息提取出來為爬蟲儲存數(shù)據(jù)做準備。組合邏輯是下一步的事情。有許多正則表達式語法、選項和特殊字符。 } return true。 new String((),gbk)。 try{ while((currentline=())!=null){ sumstring+=currentline。 } reader = new . BufferedReader(new (urlstream))。 } catch (Exception e) { // TODO 自動生成 catch 塊 (錯誤的URL地址+url)。 ()。 try { = (HttpURLConnection) ()。 urlstream = null。模擬瀏覽器源程序如下所示： boolean messagedig() throws Exception { URL url。如果某個URL沒有包含協(xié)議處理程序或該URL的協(xié)議是未知的。URL類有六個構造函數(shù)。獲得URL對象的途徑之一是調用URI對象的toURL()方法。 } 模擬瀏覽器模擬瀏覽器主要是從web服務器上獲取網頁并把網頁保存到本地緩沖區(qū)中，方便后續(xù)程序分析分類。 } } (已經完成采集任務共分析+n+地址)。 (300)。 } (url)。 (dispalystr)。 (sql)。+date+39。+()+39。+()+39。+()+39。){ m= (mp3)()。 for(Iterator its=()。//retrieveLinks(verifiedUrl, pageContents, crawledList,limitHost) List mp3link= ()。 () 0){ // 從頁面中獲取有效的鏈接 ana=new Analyzer(pageContents,url)。 if (pageContents != null amp。 String pageContents =()。 } else{ (url)。 // 增加已處理的URL到crawledList (url)。 } } // Get URL at bottom of the list. String url = (String) ().next()。 date=(().getTime())。 (startUrl)。 Search sea=null。 HashSet crawledList = new HashSet()。 String date=null。 mp3 m=null。當?shù)却犃袨榭詹⑶耶斍皼]有任何網頁時，crawl程序就會停止它的工作。在這個過程中，當一個URL被加入到等待隊列中時crawl程序就會開始運行。（2）完成隊列：如果解析網頁沒有出錯，URL將被送到這里。新發(fā)現(xiàn)的URL也被加入到這個隊列中處理隊列 當crawl程序開始處理時，他們被送到這個隊列中錯誤隊列如果在解析網頁時出錯，URL將被送到這里。雖然這里只描述了一個隊列，但在實際編程中用到了二個隊列，每個隊列都保存著同一處理狀態(tài)的URL。 遍歷算法crawl程序發(fā)現(xiàn)超連接后并不調用自己本身而是把超連接加入到等待隊列中。輸入一個入口網址，和采集的網頁數(shù)量網絡爬蟲程序將自動遍歷網站信息保存到關系數(shù)據(jù)庫中，方便快速查詢在爬蟲的狀態(tài)欄目顯示當前正分析的網頁信息。 數(shù)據(jù)庫結構，各字段名的含義如下：① m_name，音樂名稱；② m_url，音樂的url地址；③ m_type，音樂的類型；④ m_date，采集音樂的時間。4 Web音樂搜索軟件的具體實現(xiàn) 數(shù)據(jù)設計本系統(tǒng)的開發(fā)采用mysql數(shù)據(jù)庫，它提供強大的數(shù)據(jù)查詢功能，能快速的查找出用戶需要的信息。MySQL服務器支持關鍵任務、重負載生產系統(tǒng)的使用，也可以將它嵌入到一個大配置(massdeployed)的軟件中去。MySQL是MySQL AB的注冊商標。（5）mysql的關系型數(shù)據(jù)庫MySQL是最受歡迎的開源SQL數(shù)據(jù)庫管理系統(tǒng)，它由MySQL AB開發(fā)、發(fā)布和支持。Tomcat由ApacheJakarta子項目支持并由來自開放性源代碼Java社區(qū)的志愿者進行維護。Web服務器如何工作：在Web頁面處理中大致可分為三個步驟：第一步，Web瀏覽器向一個特定的服務器發(fā)出Web頁面請求；第二步，Web服務器接收到Web頁面請求后，尋找所請求的Web頁面，并將所請求的Web頁面?zhèn)魉徒oWeb瀏覽器；第三步，Web服務器接收到所請求的Web頁面，并將它顯示出來。Struts把Servlet、JSP、自定義標簽和信息資源(message resources)整合到一個統(tǒng)一的框架中。（3）基于Struts 框架的client端Struts是一個基于Sun J2EE平臺的MVC框架，主要是采用Servlet和JSP技術來實現(xiàn)的。（2）搜索網絡機器人將遍歷得到的頁面存放在系統(tǒng)緩存中，為了提高檢索效率，用正則表達式對得到的文本數(shù)據(jù)進行分析,分析出music的超鏈接和名字并保存到mysql數(shù)據(jù)庫內方便查找而且執(zhí)行效率很高。因為WEB中廣泛使用超鏈接，所以一個crawl程序理論上可以訪問整個WEB頁