【正文】 ArrayList String linkList = new ArrayList String()。 (a\\s+href\\s*=\\s*\?(.*?)[\|],)。 Pattern p= return (url)。 } int index = (://.)。 private String removeWwwFromUrl(String url) { // 從URL中去掉 } } (line)。 while ((line = ()) != null) { String line。 // Read page into buffer. private String downloadPage(URL pageUrl) { return true。 } } String disallow = (i)。 i++) { for (int i = 0。 String file = ()。 } //,返回真 } catch (Exception e) { (host, disallowList)。 // 緩存此主機(jī)不允許訪問的路徑。 (disallowPath)。 disallowPath = ()。 //去掉注釋 if (mentIndex != 1) { int mentIndex = ()。 // 檢查是否有注釋。 String disallowPath =(Disallow:.length())。 while ((line = ()) != null) { String line。 // 讀robot文件，創(chuàng)建不允許訪問的路徑列表。 BufferedReader reader =new BufferedReader(new InputStreamReader(()))。 URL robotsFileUrl =new URL(:// + host + /)。 if (disallowList == null) { // 如果還沒有緩存,下載并緩存。 ArrayList String disallowList =(host)。 //獲取給出RUL的主機(jī) } // 檢測robot是否允許訪問給出的URL. private boolean isRobotAllowed(URL urlToCheck) { } return null。 try { URL verifiedUrl = null。 return null。 // 只處理HTTP URLs. } } public void run(){//啟動搜索線程 =searchString。 =startUrl。 public SearchCrawler(String startUrl,int maxUrl,String searchString){ //是否區(qū)分大小寫 boolean limitHost=false。//最大處理的url數(shù) String searchString。 String startUrl。 //搜索到的結(jié)果 ArrayList String errorList= new ArrayList String()。 , *規(guī)定站點(diǎn)上的哪些頁面是限制搜索的。 import .*。 import .*。又如： D:\javajava SearchCrawler :8080/zz3zcwbwebhome/ 20 javaStart searching... result: searchString=java :8080/zz3zcwbwebhome/ :8080/zz3zcwbwebhome/ :8080/zz3zcwbwebhome/ :8080/zz3zcwbwebhome/ :8080/zz3zcwbwebhome/ :8080/zz3zcwbwebhome/myexample/ :8080/zz3zcwbwebhome/myexample/Proxooldoc/ :8080/zz3zcwbwebhome/?id=301 :8080/zz3zcwbwebhome/?id=297 :8080/zz3zcwbwebhome/?id=291 :8080/zz3zcwbwebhome/?id=286 :8080/zz3zcwbwebhome/?id=285 :8080/zz3zcwbwebhome/?id=284 :8080/zz3zcwbwebhome/?id=276 :8080/zz3zcwbwebhome/?id=272 先請看程序運(yùn)行的過程：D:\javajavac （編譯）D:\javajava 這個程序的原型來自《java編程藝術(shù)》， 為了更好的分析，站長去掉了其中的GUI部分。 (spi)。 spidergui s = new spidergui(spi, Spider: +site)。 spider spi=new spider(site, max, base)。 } (Use init=site switch to set, or help for more info.)。 else (unrecognized switch: +args[i]+, continuing)。 } default 5000 (5 seconds))。 ( default \\ (matches all URLs))。 ( : only follow url39。 (base=URL : to limit to N sites, default 5)。 (max=N else if(args[i].startsWith(base=)){ base=args[i].substring(6,args[i].length())。 } else if(args[i].startsWith(time=)){ time=(args[i].substring(6,args[i].length()))。 } i。 int time=0。 String site=。 } repaint()。 while(()){ repaint()。 (txt, 20, 440+13*i)。 (o=())!=null。i10 amp。 } (errColor)。 if(()60)((0, 57)+..., 400, 270+13*i)。 (o=())!=null。i10 amp。 else (txt, 400, 100+13*i)。i++){ txt = (i+1) + : +()。amp。 } for(int i=0。 (()18, ()), 20, 100+13*i)。 . . . + (0, 38) + if(()65)( (o=())!=null。i23 amp。 (new Font(arial, , 12))。 (Errors:, 100, 420)。 (Completed:, 500, 80)。 (topColor)。 ((()), 350, 80)。 (numColor)。 (()30, ()), 50, 50)。 . . . + (0, 40)+ if(()80)( (new Font(arial, , 18))。 Object o。 ()。 ()。 } public void paint(Graphics g){ (g)。 hide()。 repaint()。 show()。 s=spi。 topColor = new Color(40, 40, 100)。 txtColor = new Color(0, 0, 0)。 public spidergui(spider spi, String title){ super(title)。 private Color numColor。 private Color errColor。 private spider s。 public class spidergui extends Frame{ } } }catch(Exception e){s=null。 else ret+= ( (char) data)。 while(true){ data = ()。 BufferedInputStream bufIn = new BufferedInputStream(in)。 return。 (bad content type +type+ at site +site)。amp。amp。amp。 String type = ()。 String ret=new String()。 public void run(){ try{ } public urlReader(URL u){ site = u。 URL site。 class urlReader implements Runnable{ } } } return ret。 if(ret==null){ throw new Exception(connection timed out)。 (TIMEOUT)。 (true)。 { urlReader u = new urlReader(site)。 private String getText(URL site) throws Exception */ * gets the text of a web page, times out after 10s /* } } return (beg,end)。 int end=(/title)。 int beg=(title)。 private String getTitle(String s){ try{ */ * gets the title of a web page with content s /* } return。 return。 return。 if((news:)||(Javascript:))return。 if((mailto:)||(Mailto:))return。 return。 )。 ((beg)!=39。) amp。 ((beg)!=39。end() amp。)。 ((beg)==39。beg() amp。 } beg++。end()。 } int end=beg+1。\39。)break。\39。beg()。 int start = beg。=\39。t have a href, must be an anchor beg = (=, beg)。 if(beg==1)return。 int beg=(href)。 }catch(Exception e3){} (while parsing +()+, bad frame: +linkto+, formed from: +s)。 addSite(new URL(cp, linkto))。 URL cp = new URL(()+/)。 }catch(Exception e2){} try{ addSite(new URL(linkto))。 }catch(Exception e1){} try{ addSite(new URL(at_page, linkto))。 try{ if((javascript:)||(Javascript:))return。 String linkto=(beg,end)。 } (while parsing +()+, bad frame: +s)。 if(beg=end){ end++){} } 39。amp。 39。amp。 for(end=beg+1。beg++){} 39。amp。 for(beg=start+1。 if(beg=end){//missing quotes... just take the first token after src= if((beg)==(end))break。end++){ for(。)break。 if((beg)==39。 39。 if((beg)==39。beg++){ for(。 after src: +s)。 if(beg==1)throw new Exception(while parsing +()+, bad frame, missing \39。//doesn39。 if(beg==1)beg=(SRC)。 (while parsing +()+, er