【正文】 add=(0,m)。 (debug+s+/+out)。 String s=(0,m)。 if(( (out)。!(mp3)){ String out=null。(.ico)0amp。(.css)0amp。)0amp。amp。(39。f(})0amp。({)0amp。 public ArrayList linkAnalyzer() //分析網(wǎng)頁(yè)上存在的超鏈接 .保存在等待隊(duì)列中 public List mp3analyzer() //分析網(wǎng)頁(yè)上存在的音樂(lè)超鏈接和音樂(lè)名稱 .保存到數(shù)據(jù)庫(kù)中方便查詢 （ 2） 超鏈接分析 以下是本軟件所用到的 關(guān)鍵源程序 （ 超鏈接 ），代碼如下： if((href,firstword)amp。 （ 1） 超連接標(biāo)簽 超連接定義了 WWW通過(guò) Inter鏈接文檔的功能。 在進(jìn)行解析的時(shí)候不用關(guān)心所有的標(biāo)簽，只需要對(duì)其中一種重要的進(jìn)行解析即可。 ③ 簡(jiǎn)單標(biāo)簽：由單個(gè)表示的 HTML標(biāo)簽 。 ① 文本：除了腳本和標(biāo)簽之外的所有數(shù)據(jù) 。 第 12 頁(yè) 共 21 頁(yè) } 數(shù)據(jù)分析 因?yàn)?Web中的信息都是建立在 HTML協(xié)議之上的，所以網(wǎng)絡(luò)機(jī)器人在檢索網(wǎng)頁(yè)時(shí)的第一個(gè)問(wèn)題就是如何解析 HTML。 m=(s)。 Matcher m=null。 } public String getString(String reg,String s){//返回得到的字符 String res。 m=(toString)。 Matcher m=null。 return b。 m = (tostring)。 //操作的 字符串 boolean b。 正則表達(dá) 源程序 如下： public class CompareStr { public boolean parestring(String oristring,String tostring) //判斷是否存在指定表達(dá)式 { Pattern p=null。在正則表達(dá)式中，連字符（ “”）有著特殊的意義，它表示一個(gè)范圍，比如從 0到 9。這個(gè)號(hào)碼的格式是999999999。 ① 正則表達(dá)式 :t(a|e|i|o|oo)n ② 匹配 :tan,Ten,tin,ton,toon （ 4） 表示匹配次數(shù)的符號(hào) 表 ，這些符號(hào)用來(lái)確定緊靠該符號(hào)左邊的符號(hào)出現(xiàn)的次數(shù) 。這里不能使用方擴(kuò)號(hào)，因?yàn)榉嚼ㄌ?hào)只允許匹配單個(gè)字符；這里必須使用圓括號(hào) “()”。 “|”操作符的基本意義就是 “或 ”運(yùn)算。也就是說(shuō)，正則表達(dá)式 “t[aeio]n”只匹配 “tan”、 “Ten”、 “tin”和 “ton”。 （ 2） 方括號(hào)符號(hào) 為了解決句點(diǎn)符號(hào)匹配范圍過(guò)于廣泛這一問(wèn)題，你可以在方括號(hào)（ “[]”）里面指定看來(lái)有意義的字符。這樣，完整的 表達(dá)式就是 “”，它匹配 “tan”、 “ten”、 “tin”和 “ton”，還匹配 “tn”、 “tpn”甚至 “t n”，還有其他許多無(wú)意義的組合。另外，假設(shè)有一本英文字典，你可以用正則表達(dá)式搜索它的全部?jī)?nèi)容。 第 10 頁(yè) 共 21 頁(yè) 正則表達(dá)式在本程序中的作用是分析網(wǎng)頁(yè) 中存在的 超鏈接 并 保存到等待隊(duì)列中 ， 方便爬蟲(chóng) 遍歷網(wǎng)頁(yè) 獲取數(shù)據(jù) ， 并把網(wǎng)頁(yè)中存在的音樂(lè)信息提取出來(lái)為爬蟲(chóng)儲(chǔ)存數(shù)據(jù)做準(zhǔn)備 。組合邏輯是下一步的事情 。有許多正則表達(dá)式語(yǔ)法、選項(xiàng)和特殊字符，在 源文件中大家可以查看。 } return true。 new String((),gbk)。 try{ while((currentline=())!=null){ sumstring+=currentline。 } reader = new . BufferedReader(new (urlstream))。 } catch (Exception e) { // TODO 自動(dòng)生成 catch 塊 (錯(cuò)誤的 URL地址 +url)。 ()。 try { = (HttpURLConnection) ()。 urlstream = null。 模擬瀏覽器源程 序 如下所示： boolean messagedig() throws Exception { URL url。如果某個(gè) URL沒(méi)有包含協(xié)議處理程序或該 URL的協(xié)議是未知的，其它的五個(gè)構(gòu)造函數(shù)會(huì)產(chǎn)生一個(gè) 。 URL類有六個(gè)構(gòu)造函數(shù)。獲得 URL對(duì)象的途徑之一是調(diào)用 URI對(duì)象的 toURL()方法。模擬瀏覽器 主要通過(guò) 類來(lái)實(shí)現(xiàn) 。 (共分析 +n+地址 )。 } n++。 (正在解析： +url)。 // ( 名字 :+()+\n+地址 :+()+\n+類型 :+())。 dispalystr+= 名字 :+()+\n+ 類型 :+()+\n+ 地址 :+()+\n。)。,39。, 39。, 39。 String sql=INSERT INTO `mappingmusic` ( `m_url` , `m_name` , `m_type`,`m_date` )VALUES (39。()。 (links)。 ArrayList links =()。amp。 //downloadPage(verifiedUrl)。 sea=new Search(url)。 if(hasBeenVisit(url)){ (重復(fù)： +url+已經(jīng)去掉 )。 // Remove URL from the to crawl list. (url)。 第 7 頁(yè) 共 21 頁(yè) while (() 0) { if (maxUrls != 1) { if (() == maxUrls) { break。 SimpleDateFormat setDateFormat = new SimpleDateFormat(yyyy/MM/dd kk:mm:ss)。 Analyzer ana=null。 LinkedHashSet toCrawlList = new LinkedHashSet()。 da=new Database()。 int n=0。 遍歷算法 源程序 如下所示： public void crawlx(String startUrl, int maxUrls) throws Exception { String dispalystr=。只要等待隊(duì)列中有一個(gè)網(wǎng)頁(yè)或 crawl 程序正在處理一個(gè)網(wǎng)頁(yè)，程序就會(huì)繼續(xù)他的工作。該隊(duì)列中的URL不能被移入其它隊(duì)列中在同一時(shí)間 URL只能在一個(gè)隊(duì)列中，我們把它稱為URL的狀態(tài)。該隊(duì)列中的 URL不能被移入其他隊(duì)列中 。 （ 1） 等待隊(duì)列 ： 在這個(gè)隊(duì)列中， URL等待被 crawl 程序處理。主要通過(guò) 類來(lái)實(shí)現(xiàn) 。 遍歷算法 crawl 程序發(fā)現(xiàn)超連接后并 不調(diào)用自己本身而是把超連接加入到等待隊(duì)列中。 輸入一個(gè)入口網(wǎng)址，和采集的網(wǎng)頁(yè)數(shù)量網(wǎng)絡(luò)爬蟲(chóng)程序?qū)⒆詣?dòng)遍歷網(wǎng)站信息保存到關(guān)系數(shù)據(jù)庫(kù)中，方便快速查詢?cè)?爬蟲(chóng)的 狀態(tài)欄目顯示當(dāng)前正分析的網(wǎng)頁(yè)信第 6 頁(yè) 共 21 頁(yè) 息。 圖 數(shù)據(jù)庫(kù)結(jié)構(gòu) 在圖 ，各字段名的含義如下： ① m_name， 音樂(lè)名稱 ； ② m_url， 音樂(lè)的 url 地址 ； ③ m_type， 音樂(lè)的類型 ； ④ m_date， 采集音樂(lè)的時(shí)間 。 4 Web音樂(lè)搜索軟件的具體實(shí)現(xiàn) 數(shù)據(jù)設(shè)計(jì) 本系統(tǒng)的開(kāi)發(fā) 采用 mysql 數(shù)據(jù)庫(kù) ，它提供強(qiáng)大的數(shù)據(jù)查詢功能，能快速的查找出用戶需要的信息。 MySQL服務(wù)器支持關(guān)鍵任務(wù)、重負(fù)載生產(chǎn)系統(tǒng)的使用，也可以將它嵌入到一個(gè)大配置(massdeployed)的軟件中 去。 MySQL是 MySQL AB的注冊(cè)商標(biāo)。 （ 5） mysql 的關(guān)系型數(shù)據(jù)庫(kù) 第 5 頁(yè) 共 21 頁(yè) MySQL是最受歡迎的開(kāi)源 SQL數(shù)據(jù)庫(kù)管理系統(tǒng)，它由 MySQL AB開(kāi)發(fā)、發(fā)布和支持。 Tomcat由 ApacheJakarta子項(xiàng)目支持并由來(lái)自開(kāi)放性源代碼Java社區(qū)的志愿者進(jìn)行維護(hù)。 Web 服務(wù)器如何工作：在 Web 頁(yè)面處理中大致可分為三個(gè)步驟 ： 第一步， Web瀏覽器向一個(gè)特定的服務(wù)器發(fā)出 Web頁(yè)面請(qǐng)求； 第二步， Web服務(wù)器接 收到 Web頁(yè)面請(qǐng)求后，尋找所請(qǐng)求的 Web頁(yè)面，并將所請(qǐng)求的 Web頁(yè)面?zhèn)魉徒o Web瀏覽器； 第三步， Web服務(wù)器接收到所請(qǐng)求的 Web頁(yè)面，并將它顯示出來(lái)。 Struts 把 Servlet、 JSP、自定義標(biāo)簽和信息資源 (message resources)整合到一個(gè)統(tǒng)一的框架中 。 （ 3） 基于 Struts 框架的 client端 Struts 是一個(gè)基于 Sun J2EE 平臺(tái)的 MVC 框架，主要是采用 Servlet 和 JSP技術(shù)來(lái)實(shí)現(xiàn)的。 （ 2） 搜索 網(wǎng)絡(luò)機(jī)器人將遍歷得到的頁(yè)面存放在系統(tǒng)緩存中，為了提高檢索效率，用正則表達(dá)式對(duì)得到的文本數(shù)據(jù)進(jìn)行分析 ,分析出 music 的超鏈接和名字并保存到mysql 數(shù)據(jù)庫(kù)內(nèi)方便查找而且執(zhí)行效率很高。因?yàn)?WEB中廣泛使用超鏈接，所以一個(gè) crawl 程序理論上可以訪問(wèn)整個(gè) WEB頁(yè)面 。 系統(tǒng)部件介紹 （ 1） 網(wǎng)絡(luò)爬蟲(chóng) 網(wǎng)絡(luò)爬蟲(chóng) (crawl)，是一個(gè)功能很強(qiáng)的 WEB 掃描程序。本章主要介紹該軟件的設(shè)計(jì)流程及步驟。通常搜索引擎會(huì)在這些鏈接下提供一小段來(lái)自這些網(wǎng)頁(yè)的摘要信息，以幫助用戶判斷此網(wǎng)頁(yè)是否含有自己需要的內(nèi)容。搜索引擎每時(shí)每刻都要接到來(lái)自大量用戶的幾乎是同時(shí)發(fā)出的查詢，它按照每個(gè)用戶的要求檢查自己的索引，在極短時(shí)間內(nèi)找到用戶需要的資料，并返回給用戶。想象一下，如果信息是不按任何規(guī)則地隨意堆放在搜索引擎的數(shù)據(jù)庫(kù)中，那么它每次找資料都得把整個(gè)資料庫(kù)完全翻查一遍，如此一來(lái)再快的計(jì)算機(jī)系統(tǒng)也沒(méi)有用。 搜索引擎不僅要保存搜集起來(lái)第 3 頁(yè) 共 21 頁(yè) 的信息，還要將它們按照一定的規(guī)則進(jìn)行編排。理論上，若網(wǎng)頁(yè)上有適當(dāng)?shù)某溄悠魅吮憧梢员闅v絕大部分網(wǎng)頁(yè)。搜索引擎利用稱為網(wǎng)絡(luò)蜘蛛 (spider)的自動(dòng)搜索機(jī)器人程序來(lái)連上每一個(gè)網(wǎng)頁(yè)上的超連結(jié)。 搜索引擎需要實(shí)現(xiàn)互聯(lián)網(wǎng)信息的快速查詢 ,要實(shí)現(xiàn)以下功能。但是隨著 Inter的發(fā)展，搜索引擎也面臨著海量信息和人們獲取所需信息能力的矛盾。 本文的各章分配是這樣安排的：第一章介紹系統(tǒng)的開(kāi)發(fā)背景；第二章介紹系統(tǒng)的需求分析；第三章介紹系統(tǒng)的總體結(jié)構(gòu)；第四章 介紹系統(tǒng)的詳細(xì)設(shè)計(jì)；第五章測(cè)試與運(yùn)行本系統(tǒng)；最后是全文的總結(jié)。為了保證用戶查找信息的精度和新鮮度，搜索引擎需要建立并維護(hù)一個(gè)龐大的索引數(shù)據(jù)庫(kù)。搜索技術(shù)的意義在此。 本課題研究的意義 搜索引擎自動(dòng)從英特網(wǎng)搜集信息，經(jīng)過(guò)一定整理以后，提供給用戶進(jìn)行查詢的系統(tǒng)。著名的因特網(wǎng)搜索引擎包括 First Search、 Google、 HotBot 等。 搜 索引擎一詞在國(guó)內(nèi)外因特網(wǎng)領(lǐng)域被廣泛使用，然而他的含義卻不盡相同。 2020年搜索引擎 2020年大會(huì)上，按照 Google公司總裁 Larry Page 的演講，Google 正在用 3,000 臺(tái)運(yùn)行 Linux 系統(tǒng)的個(gè)人電腦在搜集 Web 上的網(wǎng)頁(yè)，而且以每天 30 臺(tái)的速度向這個(gè)微機(jī)集群里添加電腦，以保持與網(wǎng)絡(luò)的發(fā)展相同步。 1997年 11 月，當(dāng)時(shí)最先進(jìn)的幾個(gè)搜索引擎號(hào)稱能建立 從 2， 000， 000到100， 000， 000的網(wǎng)頁(yè)索引。在 1994年 3月到 4月，網(wǎng)絡(luò)爬蟲(chóng) World Web Worm (WWWW)平均每天承受大約 1500次查詢。而且其檢索速度非常慢，一般都要等待 10 秒甚至更長(zhǎng)的時(shí)間。搜索引擎大約經(jīng)歷了三代的更新發(fā)展： 第一代搜索引擎出現(xiàn)于 1994年。 因此，信息的高效搜索顯得格外重要。 隨著因特網(wǎng)的迅猛發(fā)展、 WEB信息的增加，用戶要在信息海洋里查找信 息，就如同大海撈針一樣，搜索引擎恰好解決了這一難題（它可以為用戶提供信息檢索服務(wù)）。 Multithread 1 目 錄 論文總頁(yè)數(shù)： 21頁(yè) 1 引 言 ................................................................................