dedecms自動(dòng)采集功能教程(編輯修改稿)
2025-08-31 09:03 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 面我們也說(shuō)過(guò)采集的規(guī)則需要分為列表采集規(guī)則以及內(nèi)容采集規(guī)則，列表采集規(guī)則需要在一開(kāi)始就要被設(shè)定，只有正確的設(shè)定了列表采集規(guī)則才能夠讓服務(wù)器知道要采集那些文章。列表采集規(guī)則的設(shè)定需要2個(gè)部分，第一個(gè)部分是列表網(wǎng)址獲取規(guī)則，指定列表網(wǎng)址獲取規(guī)則主要是因?yàn)楹芏嗾鹃L(zhǎng)采集目標(biāo)網(wǎng)站的時(shí)候并非就采集幾篇內(nèi)容，可能將目標(biāo)站整個(gè)內(nèi)容采集下來(lái)，而我們?cè)诓杉臅r(shí)候發(fā)現(xiàn)這個(gè)欄目下有幾百篇內(nèi)容，這幾百篇的內(nèi)容通過(guò)“上一頁(yè)”、“下一頁(yè)”這種形式表現(xiàn)出來(lái)，我們要采集內(nèi)容之前需要讓服務(wù)器知道整個(gè)列表網(wǎng)址。設(shè)置列表采集規(guī)則還是比較簡(jiǎn)單的，列表獲取的方式主要有3種：批量生成列表網(wǎng)址，通過(guò)系統(tǒng)自動(dòng)生成批量的地址列表；手工指定列表網(wǎng)址，通過(guò)手工指定列表的頁(yè)面；從RSS中獲取，通過(guò)RSS文件獲取列表頁(yè)面。如果我們只需要采集一個(gè)列表頁(yè)面，例如我們就只要采集：，只要這10篇內(nèi)容，那我們只需要在匹配網(wǎng)址中填寫(xiě)這個(gè)網(wǎng)址。如果我們采集多個(gè)列表的內(nèi)容，可以通過(guò)自動(dòng)生成或者指定多個(gè)列表頁(yè)面完成。我們來(lái)查看下列表頁(yè)，我們單擊下面的在單擊分頁(yè)后我們觀察地址欄中的地址：…很容易發(fā)現(xiàn)，在這個(gè)網(wǎng)址列表中只有“.html”前面的內(nèi)容在發(fā)生變化，從2~10，我們換上1試試看：，發(fā)現(xiàn)這個(gè)就是我們那個(gè)欄目首頁(yè)，這樣我們可以自動(dòng)指定一個(gè)規(guī)則。點(diǎn)擊匹配網(wǎng)址后面的“測(cè)試”按鈕來(lái)看看，發(fā)現(xiàn)這個(gè)列表我們已經(jīng)成功獲取了?；蛘呶覀冞x擇手工指定，然后在網(wǎng)址列表中進(jìn)行指定：當(dāng)然這個(gè)列表部分的規(guī)則還有更多的功能，比如可以指定列表欄目導(dǎo)入的內(nèi)容，這部分詳細(xì)的設(shè)置可以查看織夢(mèng)幫助中心的：我們這里設(shè)置完了列表地址，接下來(lái)我們需要設(shè)置文章網(wǎng)址匹配規(guī)則，這個(gè)匹配規(guī)則是讓我們來(lái)采集文章列表，告訴服務(wù)器要采集哪些地方的文章，在采集這個(gè)文章列表之前我們先看幾個(gè)文章列表的頁(yè)面。我們看這幾個(gè)列表的頁(yè)面其中不變的部分是頭部導(dǎo)航、右側(cè)的推薦信息，還有底部的內(nèi)容，主要變化的地方是列表的標(biāo)題和內(nèi)容，我們采集列表文章最主要的就是采集列表的文章標(biāo)題部分，如果我們懂HTML代碼觀察，最直接的體現(xiàn)就是HTML代碼中的列表頁(yè)部分的內(nèi)容是變化的。所以我們?cè)谥付ú杉斜眄?yè)的時(shí)候只需要指定一個(gè)統(tǒng)一的規(guī)則即可，因?yàn)榱斜淼捻?yè)面都是一樣的，所以這個(gè)規(guī)則適用于所有的列表頁(yè)。當(dāng)然，我們也會(huì)發(fā)現(xiàn)內(nèi)容頁(yè)面也是如此，采集的時(shí)候只需要指定一個(gè)統(tǒng)一的規(guī)則就可以采集到相似的所有頁(yè)面的內(nèi)容。當(dāng)然有一些網(wǎng)站列表鏈接到其他的內(nèi)容，這樣就遇到了采集規(guī)則不匹配的問(wèn)題，一般表現(xiàn)為無(wú)法采集到內(nèi)容，因?yàn)橐?guī)則不適用，另外一種表現(xiàn)就是采集進(jìn)度條不動(dòng)，終止在那里，甚至有時(shí)候還會(huì)報(bào)錯(cuò)。這些原因最主要的就是規(guī)則同目標(biāo)采集網(wǎng)站不匹配造成的，所以在采集內(nèi)容之前要確保規(guī)則的正確性。(五)20110505 17:09:01 來(lái)源: 作者: 【大 中 小】 瀏覽:5030次 評(píng)論:0條 ★★我要投稿★★將此頁(yè)添加到網(wǎng)摘： 接下來(lái)我們?cè)O(shè)置列表采集頁(yè)面的采集規(guī)則，我們首先查看源文件，在IE瀏覽器右鍵選擇[查看源文件]，打開(kāi)列表頁(yè)的源代碼。如果我們有DW的話將這些代碼拷貝到DW中去，我們找到那個(gè)列表的所在位置：發(fā)現(xiàn)這個(gè)列表的內(nèi)容在“ ”這個(gè)層里面，也就是說(shuō)，我們需要告訴服務(wù)器采集列表的標(biāo)題你從這里開(kāi)始采集，然后直到這個(gè)層結(jié)束的地方采集為止，我們看到這個(gè)層結(jié)束的地方是“”，在中間沒(méi)有發(fā)現(xiàn)任何相同的代碼。 這里我們需要告訴大家的就是我們這個(gè)規(guī)則，告訴服務(wù)器的起始HTML標(biāo)簽必須是唯一的，也就是說(shuō)你在這個(gè)頁(yè)面中只有這一個(gè)標(biāo)記，這樣電腦才知道從哪個(gè)地方
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1