【導(dǎo)讀】.信息采集平臺設(shè)計.信息發(fā)布平臺設(shè)計..設(shè)計目標(biāo).軟件功能模塊及結(jié)構(gòu)..全文檢索系統(tǒng).系統(tǒng)功能概述.人們的交互手段有了一次本質(zhì)的進(jìn)步，從而要求包括政府在內(nèi)的社會各。從全球范圍看，電子政務(wù)的進(jìn)程，在世界各國明顯加。根據(jù)最近一份報告顯示，到二○○六年，美國各級政府將接受三億三千三百萬。的互聯(lián)網(wǎng)服務(wù)網(wǎng)站開通或正在建設(shè)，而其它發(fā)達(dá)國家這一比例最高為53%。務(wù)水平的要求日益提高，對政府職能的監(jiān)督也日益強(qiáng)化。方案背景及范圍本方案是針對“中國揚州”門戶網(wǎng)站建設(shè)需求而設(shè)計的。要工程，也是揚州市政府的形象工程?！爸袊鴵P州”政府門戶網(wǎng)站將涵蓋市政府主網(wǎng)。情況，最終實現(xiàn)多功能、全天候、“一站式”服務(wù)的電子政府門戶網(wǎng)站。于市政府各部門，經(jīng)過嚴(yán)格的審批程序，信息是可靠的、準(zhǔn)確的；二是便民性，保網(wǎng)絡(luò)和信息的高度安全，使政府政務(wù)信息安全流轉(zhuǎn)并得到充分利用。7×24小時不間斷服務(wù)。數(shù)據(jù)發(fā)布和靜態(tài)數(shù)據(jù)發(fā)布兩種形式的發(fā)布方式。

　　

【正文】 務(wù)器提供發(fā)布信息的制作、管理服務(wù)，服務(wù)器配置 2個 CPU、 2G內(nèi)存、 4個 36G硬盤。 一臺內(nèi)容數(shù)據(jù)庫服務(wù)器 我們選用 Dell的 PowerEdge 6450 PC服務(wù)器提供發(fā)布信息的存儲和共享服務(wù)，服務(wù)器配置 2個 CPU、 2G內(nèi)存、 4個 36G硬盤。 低檔配置 兩臺 Wｅｂ訪問服務(wù)器 我們使用 Dell的 PowerEdge 2650 PC服務(wù)器作為 Web訪問服務(wù)器，每臺服務(wù)器配置 2個 CPU、 1G內(nèi)存、 4個 36G硬盤來實現(xiàn)靜態(tài)數(shù)據(jù)的存儲和對外提供信息訪問服務(wù)。同時提供信息交互服務(wù)功能。 一臺信息采集服務(wù)器 我們使用 Dell的 PowerEdge 2650 PC服務(wù)器作為信息采集服務(wù)器，服務(wù)器配置 2個CPU、 1G內(nèi)存、 4個 36G硬盤來實現(xiàn)信息的自動采集和信息上報服務(wù)。 一臺全文檢索服務(wù)器 我們使用 Dell的 PowerEdge 2650 PC服務(wù)器提供發(fā)布信息的全文檢索服務(wù)，服務(wù)器配置 2個 CPU、 1G內(nèi)存、 4個 36G硬盤。 兩臺網(wǎng)上辦事服務(wù)器 我們使用 Dell的 PowerEdge 6450服務(wù)器作為網(wǎng)上辦事系統(tǒng)服務(wù)器，每臺服務(wù)器配置 2個CPU、 2G內(nèi)存、 4個 36G硬盤。 兩臺數(shù)據(jù)庫服務(wù)器 我們使用 Dell的 PowerEdge 6450服務(wù)器提供數(shù)據(jù)存儲服務(wù)，每臺服務(wù)器配置 2個 CPU、 2G內(nèi)存、 4個 36G硬盤來實現(xiàn)網(wǎng)上辦事和信息采集的數(shù)據(jù)存儲和訪問服務(wù)。 一臺內(nèi)容管理服務(wù)器 我們選用 Dell的 PowerEdge 2650 PC服務(wù)器提供發(fā)布信息的制作、管理服務(wù)，服務(wù)器配置2個 CPU、 1G內(nèi)存、 4個 36G硬盤。 一臺內(nèi)容數(shù)據(jù)庫服務(wù)器 我們選用 Dell的PowerEdge 2650 PC服務(wù)器提供發(fā)布信息的存儲和共享服務(wù)，服務(wù)器配置 2個 CPU、1G內(nèi)存、 4個 36G硬盤。 信息采集平臺 設(shè)計目標(biāo) 信 息采集平臺是 “中國揚州 ”門戶網(wǎng)站的輔助工作平臺，主要用于從互聯(lián)網(wǎng)上的相關(guān)網(wǎng)站和各委辦局采集相關(guān)政務(wù)信息，為門戶網(wǎng)站編輯部的工作人員提供豐富的信息源和素材，幫助他們幫助他們輕松快捷、高時效、高質(zhì)量地完成政務(wù)信息的制作和發(fā)布。 具體所來，信息采集平臺必須提供以下功能： 根據(jù)用戶的需求自動采集相關(guān)網(wǎng)站的政務(wù)信息并自動整合到門戶網(wǎng)站信息采集庫； 根據(jù)委辦局信息化建設(shè)的狀況，提供適當(dāng)?shù)男畔笏褪侄螌⑽k局需要發(fā)布的相關(guān)政務(wù)信息報送至門戶網(wǎng)站。 平臺邏輯結(jié)構(gòu)及功能 信息采集平臺的邏輯結(jié)構(gòu)圖如下所示。 如上圖所示，在信息采集平臺分為兩個部分：互聯(lián)網(wǎng)信息抓取系統(tǒng)和委辦局信息上報系統(tǒng)。下面簡單介紹一下各部分的功能。 互聯(lián)網(wǎng)信息抓取系統(tǒng)：監(jiān)測指定網(wǎng)站的內(nèi)容變化，按用戶要求自動抓取相關(guān)政務(wù)信息； 委辦局信息上報系統(tǒng)：提供委辦局向門戶網(wǎng)站上報政務(wù)信息的工具，包括遠(yuǎn)程維護(hù)和數(shù)據(jù)同步兩種方式。 互聯(lián)網(wǎng)信息抓取系統(tǒng) 概述 “中國揚州 ”政府門戶網(wǎng)站編輯部工作人員可用互聯(lián)網(wǎng)信息抓取系統(tǒng)時刻跟蹤大陸、港澳臺中文新聞網(wǎng)站和媒體網(wǎng)站，了解最全面的新聞報道，發(fā)現(xiàn)最新最熱的新聞線索；自動或手動生成文本，對新聞標(biāo)題、正文內(nèi)容 、發(fā)布時間、來自于網(wǎng)站等重新編輯；將新聞信息載入固定模板的網(wǎng)頁顯示，自動更新網(wǎng)站的新聞網(wǎng)頁，也可直接鏈接原搜索頁面以滾動方式播報；自動轉(zhuǎn)換存儲定制的新聞類別到數(shù)據(jù)庫中備用。特別對于網(wǎng)站編輯、記者來說，可實現(xiàn)每天數(shù)萬條即時新聞的收集、編輯、分類、審核、編發(fā)和更新新聞網(wǎng)頁，吸引更多網(wǎng)民，增加網(wǎng)站流量，確實讓編輯人員從繁瑣、機(jī)械的勞動中解脫出來；同時也節(jié)省了門戶網(wǎng)站上網(wǎng)搜尋信息的開支，減少人工的機(jī)械工作量，提高整體工作效率，幫助他們輕松快捷、高時效、高質(zhì)量地完成新聞監(jiān)控、搜集、閱讀、編發(fā)、網(wǎng)站更新工作?；ヂ?lián)網(wǎng)信息 抓取系統(tǒng)的示意圖如下： 該系統(tǒng)提供將網(wǎng)絡(luò)上的相關(guān)信息進(jìn)行自動收集，采用一種方便的形式提供給采編人員，供采編人員進(jìn)行參考。 系統(tǒng)架構(gòu)與實現(xiàn) 網(wǎng)站采編、分析、檢索和發(fā)布、分發(fā)等環(huán)節(jié)，利用了先進(jìn)的網(wǎng)頁分析、全文索引、內(nèi)容分類、和個性化信息推送技術(shù)，將形成如下圖所示的整個信息流程。 網(wǎng)上信息抓取系統(tǒng)采用了先進(jìn)的分布式多線程并發(fā)指令執(zhí)行體系結(jié)構(gòu)和高 效的搜索算法，在系統(tǒng)穩(wěn)定性、檢索速度、大用戶量并發(fā)訪問時的可靠性等 方面都有著很好的表現(xiàn)。該系統(tǒng)由信息抓取系統(tǒng)、自動建立索引系統(tǒng)、查詢 檢索系統(tǒng)和管理維 護(hù)系統(tǒng)等四個子系統(tǒng)組成，用戶可以通過簡易的查詢操作 直接利用瀏覽器輕松快捷地找到分散于Inter 各類政務(wù)新聞、圖片等相關(guān)素材。 系統(tǒng)功能 ① 每日網(wǎng)絡(luò)新聞監(jiān)控服務(wù)； ② 根據(jù)用戶需求設(shè)定，自動監(jiān)測網(wǎng)絡(luò)最新信息； ③ 可以根據(jù)設(shè)定的關(guān)鍵詞，監(jiān)測外界環(huán)境出現(xiàn)的最新信息，并自動通知用戶； ④ 可設(shè)定監(jiān)測特定網(wǎng)站 可設(shè)定監(jiān)測特定網(wǎng)站網(wǎng)頁的內(nèi)容變化，如可依不同的需求自訂信息來源； ⑤利用電子郵件及門戶網(wǎng)站等方式，通知用戶出現(xiàn)的最新的信息，通過連結(jié)，讓用戶可以很方便地找到原文。 ⑥ 自訂新聞收集自 動整合到門戶網(wǎng)站 根據(jù)關(guān)鍵詞設(shè)定，系統(tǒng)自動將收集到的最新信息，自動匯入所指定的網(wǎng)頁中，并自動更新。 ⑦ 可簡便地與企業(yè)已導(dǎo)入或?qū)?dǎo)入的知識管理或企業(yè)門戶網(wǎng)站方案整合系統(tǒng)提供完善的接口，可與已導(dǎo)入或正在導(dǎo)入的知識管理或企業(yè)入口網(wǎng)站方案整合。 ⑧ 可根據(jù)需求增加功能模塊 依據(jù)不同需求增加功能模塊，如無線傳輸、實時傳訊或同義詞查詢模塊等。 ⑨ 可根據(jù)不同類別需求增加信息來源模塊，如：外購新聞、財經(jīng)、體育等信息來源。 ⑩ Webbased結(jié)構(gòu)的管理方式 采通代理服務(wù)器可通過瀏覽器實現(xiàn)網(wǎng)絡(luò)遠(yuǎn)程管理，并且也無 需安裝任何客戶端程序。 系統(tǒng)技術(shù)特性 信息采集特點 ① 標(biāo)準(zhǔn)的多線程并發(fā)指令執(zhí)行設(shè)計、具有極快的信息采集速度。 監(jiān)控系統(tǒng)發(fā)現(xiàn)新更新的信息后， 90%的信息可在 5秒內(nèi)采集到本地可同時跟蹤三千家不同網(wǎng)站的內(nèi)容變化，在一分鐘內(nèi)將最新信息抓取、播出、實時索引后提供檢索、每天可自動采集處理總量達(dá)上百萬條的信息。 ② 支持動態(tài)網(wǎng)頁 針對動態(tài)網(wǎng)頁的信息采集支持進(jìn)行了專門設(shè)計，可采集 ASP、 JSP、 PHP… 等各種程序自動生成的網(wǎng)頁信息。僅采集新信息的內(nèi)容主體，自動濾除采集鏈接、相關(guān)信息鏈接等無效信息。 ③ 智能化的網(wǎng)頁抓取 設(shè)置 根據(jù)用戶需求可以細(xì)致的方便的調(diào)整網(wǎng)頁抓取設(shè)置 ,如 :可以設(shè)置需要抓取網(wǎng)站的列表 ,抓取網(wǎng)站的層數(shù)等，可以設(shè)置多個 URL同時抓取，可以最多抓 15層也就是 URL下的所有網(wǎng)頁。并可精確設(shè)定信息采集范圍、包括指定域內(nèi)、指定網(wǎng)站集群內(nèi)、指定單一網(wǎng)站內(nèi)、制定網(wǎng)站下特定目錄內(nèi)等。 ④ 增量式數(shù)據(jù)收集只采集更新和新增加的內(nèi)容。 ⑤ 可定義采集的類別，如 MP3，體育新聞、市場信息、高新技術(shù)等，并根據(jù)不同的類別采集存儲到不同的表中。 ⑥ 對于一個站點只需做一次配置，提供立體式跨越多個特征趁嫻男畔 ⒉ 杉 ⑦ 可自動填 充和提交 WEB表格 (HTML FORM)，采集范圍可擴(kuò)充到電子郵件，電子商務(wù)等通過 HTML FORM隔離的內(nèi)容。 ⑧ 內(nèi)置 JAVASCRIPT解析器，可采集由javascript腳本所指定的 URL內(nèi)容。 內(nèi)容分類和排序 ① 提供基于目錄的分類，可提供目錄采集和樹狀采集，可將定義的搜索源搜索的內(nèi)容存放到指定的分類目錄中。 ② 可對一篇文章或一個信息條目指定無限個分類，通過該文章或信息條目可以通過其所屬的各個分類關(guān)聯(lián)到相關(guān)的其它內(nèi)容。以實現(xiàn)信息的交叉索引和關(guān)聯(lián)。 ③ 可有用戶指定內(nèi)容排序或自動排序。 管理 維護(hù)系統(tǒng) ① 使用簡便 系統(tǒng)管理者可通過 web瀏覽器界面，輕松管理互聯(lián)網(wǎng)信息抓取的全部功能。非計算機(jī)人員經(jīng)培訓(xùn)也可直接操作。 ② 風(fēng)格多樣 ③ 系統(tǒng)自動更新 可根據(jù)需要對具體的數(shù)據(jù)庫資料進(jìn)行更新周期的設(shè)置。可根據(jù)網(wǎng)絡(luò)情況調(diào)節(jié)信息抓取核心自動更新舊信息的時間、包括每月、每周、每天的具體分鐘開始自動更新，以便有效利用夜間網(wǎng)絡(luò)暢通時段進(jìn)行信息更新。 ④ 自動提取熱門關(guān)鍵字 可自動對搜索關(guān)鍵詞進(jìn)行詞頻統(tǒng)計，按照搜索的次數(shù)進(jìn)行排序。 ⑤ 內(nèi)容過濾 用戶需要可對查詢結(jié)果的內(nèi)容進(jìn)行信息過濾。如反動的內(nèi)容 和不想讓用戶查詢的詞進(jìn)行過濾設(shè)置 ⑥ 具安全管控的功能 管理者帳號安全管控的功能，可使一般用戶無法任意進(jìn)入管理系統(tǒng)更改系統(tǒng)設(shè)定，以避免造成嚴(yán)重的損失。 ⑦ 用戶風(fēng)格設(shè)計 培訓(xùn)后，用戶可直接對頁面、檢索結(jié)果頁面風(fēng)格進(jìn)行設(shè)計。 ⑧ 良好的的穩(wěn)定性、擴(kuò)充性并存 委辦局信息上報系統(tǒng) 概述 “中國揚州 ”政府門戶網(wǎng)站中，提供了大量的政務(wù)信息的發(fā)布，而這些信息的來源主要來自于市政府下屬的各委辦局。由于各委辦局在技術(shù)力量、人力資源的參差不齊，因此必然存在著電子政務(wù)建設(shè)的差距。有些委辦局擁有獨立的電子政務(wù)平 臺，并且功能齊全、運營穩(wěn)定；而有些委辦局也擁有自己的網(wǎng)站，但是或者功能欠缺，或者長久沒有維護(hù)；還有一些委辦局根本無力建立獨立平臺。因此 “中國揚州 ”政府門戶網(wǎng)站的信息采集也針對各委辦局的現(xiàn)狀，存在著多種形式。 針對委辦局的信息建設(shè)的不同狀況，我們可以將各委辦局信息上報（門戶網(wǎng)站的信息采集）的方式分為兩種方式： ? 數(shù)據(jù)同步方式，這種方式主要用于那些擁有獨立的電子政務(wù)的平臺和信息庫的委辦局； ? 遠(yuǎn)程維護(hù)方式，這種方式主要用于那些信息化程度較低，缺乏獨立的電子政務(wù)的平臺和信息庫的委辦局。 系統(tǒng)架構(gòu)與實現(xiàn) 根據(jù)前 面的描述，委辦局信息上報系統(tǒng)的邏輯示意圖如下所示。 信息上報的基本策略 為了保證信息上報的可靠性、安全性、及時性我們必須建立完整的信息上報標(biāo)準(zhǔn)。我們建議建立如下策略： 建立信息上報管理機(jī)構(gòu)，相應(yīng)建立信息上報管理系統(tǒng) 首先，我們需要建一個信息上報的管理機(jī)構(gòu)，對所有需要上報的數(shù)據(jù)進(jìn)行預(yù)審、監(jiān)察、管理、分布。我們可以參照下面這個圖對管理系統(tǒng)、管理機(jī)構(gòu)進(jìn)行理解。 該模式采用三層結(jié)構(gòu)進(jìn)行評審、管理。 該模式采用三層結(jié)構(gòu)，首先，由信息的提供者提出信息上報申請，如果申請得到允許（對可信賴機(jī)構(gòu)的請求默 認(rèn)都可以允許），信息傳送到信息采集數(shù)據(jù)庫中。這也就是推的方式。 第二層中：當(dāng)數(shù)據(jù)到達(dá)采集數(shù)據(jù)庫，由管理機(jī)構(gòu)對收集的信息進(jìn)行評審，如果，允許發(fā)布，則數(shù)據(jù)傳輸?shù)絻?nèi)部信息管理服務(wù)器或發(fā)布服務(wù)器。 最終，由發(fā)布管理員，將需要發(fā)布的信息發(fā)布到發(fā)布服務(wù)器上。 建立信息采集標(biāo)準(zhǔn) 同時，我們需要建立一個信息采集標(biāo)準(zhǔn)，該數(shù)據(jù)采集指標(biāo)中主要定義如下標(biāo)準(zhǔn)： 信息采集、交換的方式 信息采集時數(shù)據(jù)的流動方向 信息采集時數(shù)據(jù)的格式 信息的分類標(biāo)準(zhǔn) 信息的密級標(biāo)準(zhǔn)方案 信息交互數(shù)據(jù)庫的表單結(jié)構(gòu)定義 通過信息標(biāo)準(zhǔn)的建 立，我們可以建立一套完整的通信方法，從而保證高效、高準(zhǔn)確率的數(shù)據(jù)交換、數(shù)據(jù)管理。 信息上報的處理流程 各委辦局和門戶網(wǎng)站之間的電子政務(wù)信息的采集、交換、發(fā)布是委辦局信息上報系統(tǒng)中的一個難點，在設(shè)計時既要考慮信息傳遞的安全性，又要兼顧信息上報的便捷性。下面我們簡單介紹以下不同報送方式下的處理流程。 同步方式下的信息上報流程 在同步方式下的信息報送，考慮到相關(guān)委辦局信息庫的安全性，我們并不直接通過 Inter訪問委辦局信息庫，而是先將各委辦局信息庫中的相關(guān)政務(wù)信息導(dǎo)出至中間文件，然后將該中間文件上傳 至門戶網(wǎng)站。在門戶網(wǎng)站再通過數(shù)據(jù)導(dǎo)入模塊將中間文件的政務(wù)信息導(dǎo)入至門戶網(wǎng)站信息采集庫，經(jīng)過進(jìn)一步編輯加工后進(jìn)入門戶網(wǎng)站信息發(fā)布庫進(jìn)行發(fā)布。整個處理流程如下圖所示。 遠(yuǎn)程維護(hù)方式下的信息上報 遠(yuǎn)程維護(hù)方式下，各通過瀏覽器使用門戶網(wǎng)站提供的遠(yuǎn)程錄入模塊直接錄入門戶網(wǎng)站信息采集庫，其信息上報流程如下圖所示。 對于各委辦局遠(yuǎn)程上報的信息，一部分由各委辦局自行維護(hù)，自動發(fā)布到外網(wǎng)上，門戶網(wǎng)站的管理人員可以有修改、刪除和反饋的權(quán)限，如辦事指南和便民問答等內(nèi)容。另一部分由門戶網(wǎng)站重新分類、整理和審核，再發(fā)布到 外網(wǎng)上，如新聞和政策法規(guī)等內(nèi)容。 信息發(fā)布平臺 設(shè)計目標(biāo) “中國揚州 ”信息發(fā)布平臺，是提供揚州市政府和各委辦局的發(fā)布政務(wù)信息的網(wǎng)絡(luò)技術(shù)平臺，用于宣傳國家政策法規(guī)及發(fā)布政務(wù)信息信息；同時致力于政府部門與市民之間建立實用的、高效的、便捷的信息交流和聯(lián)絡(luò)平臺 ,是整個 “中國揚州 ”門戶網(wǎng)站的重要組成部分，也是整個 “中國揚州 ”門戶網(wǎng)站的核心部分之一。 具體地說，整個 “中國揚州 ”門戶網(wǎng)站的設(shè)計目標(biāo)包括： 網(wǎng)站內(nèi)容管理及發(fā)布； 網(wǎng)站信息檢索； 網(wǎng)上信息采集 軟件功能模塊及結(jié)構(gòu) 我們采用如下結(jié)構(gòu)進(jìn)行 “中國揚 州 ”門戶網(wǎng)站邏輯架構(gòu)定義。 如上圖所示，在 “中國揚州 ”政務(wù)信息發(fā)布平臺的設(shè)計中，我們將信息發(fā)布平臺劃分為三個層次：最底層為網(wǎng)上信息采集系統(tǒng)，其中信息采集模塊負(fù)責(zé)通過 Inter采集制定網(wǎng)站上的素材，為信息制作提供方便；中間一層為內(nèi)容管理系統(tǒng)，負(fù)責(zé)網(wǎng)站的信息發(fā)布和管理，包括網(wǎng)站管理、模板管理、信息錄入和編輯、信息審核和網(wǎng)頁自動生成等功能；最上面一層包括兩個部分：一是信息發(fā)布服務(wù)，由 WEB服務(wù)器直接提供，另一個是信息檢索服務(wù)，由信息檢索系統(tǒng)提供。 上圖中的虛框部分，為 “中國揚州 ”的內(nèi)部系統(tǒng)管理平臺， 它提供信息發(fā)布平臺的統(tǒng)一用戶管理和統(tǒng)一日志管理功能。 內(nèi)容管理系統(tǒng) 我們建議使用上海網(wǎng)達(dá)信息技術(shù)有限公司的 WDCM產(chǎn)品實現(xiàn) “中國揚州 ”