【文章內(nèi)容簡介】 把生成頁面?zhèn)魉统鋈? . 系統(tǒng)數(shù)據(jù) 分布 . 數(shù)據(jù)量估算 源稿庫 存儲時長 稿件條數(shù) 稿件數(shù)據(jù)量 無圖片量 1 個月 ≈ （萬條） ≈ （ G） ≈ 380（ M） 3 個月 ≈ 10（萬條） ≈ 29（ G） ≈ （ G） 半年 ≈ 20（萬條） ≈ 58（ G） ≈ （ G） 1 年 ≈ 40（萬條） ≈ 117（ G） ≈ （ G） 新華網(wǎng)三期項目系統(tǒng)設計書 第 24 頁 共 111 頁 如果按歸檔規(guī)則為保存半年來計算，需要的存儲量為 。 編輯庫 根據(jù)目前多站點系統(tǒng)中的基礎數(shù)據(jù)計算 數(shù)據(jù)指標 數(shù)據(jù)值 稿件量 ≈ （萬條） 人數(shù) 413（人） 平均稿量 ≈ 56（稿件 /人） 目前所有系統(tǒng)使用人員 ≈ 950（人） 預計人員增長到 ≈ （千人） 據(jù)此計算存儲情況 ，需要存儲量為： 。 簽發(fā)庫 發(fā)布稿件條數(shù) 發(fā)布圖片量(張 ) 發(fā)布圖片數(shù)據(jù)量 (K) 稿件正文量(K) 稿簽量 (K) 稿件圖文總量(K) 1 天 30,000 55,790 1,952,660 46,973 5, 2,005,392 1 月 900,000 1,673,709 58,579,808 1,409,201 172, 60,161,774 1 年 10,950,000 20,363,457 712,720,991 17,145,274 2,101, 731,968,244 3 年 32,850,000 61,090,371 2,138,162,974 51,435,821 6,305, 2,195,904,733 5 年 54,750,000 101,817,284 3,563,604,957 85,726,368 10,509, 3,659,841,222 如果簽發(fā)庫歸檔規(guī)則平均按 1 年來計算，則簽發(fā)庫要保存的圖文總量在 732G。如果將數(shù)據(jù)控制在百萬級以內(nèi)，則存儲需要大概 350G。 發(fā)布庫 發(fā)布庫的記錄數(shù)基本與簽發(fā)庫的記錄數(shù)一致。只是對于存儲在數(shù)據(jù)中的圖片，發(fā)布庫與簽發(fā)庫共用一份，因此發(fā)布庫的數(shù)據(jù)量，一年總量在 2G。 成品庫 成品庫中保存的是發(fā)向新華社多媒體數(shù)據(jù)的稿件，目前每天 送稿量是 200，如果此數(shù)據(jù)比較平穩(wěn)，不考慮突發(fā)增長量的情況如下 稿件數(shù) 稿件量 (K) 1 天 200 20,064 1 月 6,000 601,924 3 月 18,000 1,805,771 半年 36,000 3,611,541 1 年 73,000 7,323,403 按歸檔規(guī)則保存半年的數(shù)據(jù)存儲量是 。 資料庫 資料庫中主要保存的是系統(tǒng)中歸檔的數(shù)據(jù)，也按每天 1 萬條稿件計算，情況如下 稿件數(shù) 稿件量 (K) 1 天 30,000 3,009,618 1 月 900,000 90,288,532 3 月 2,700,000 270,865,595 半年 5,400,000 541,731,190 新華網(wǎng)三期項目系統(tǒng)設計書 第 25 頁 共 111 頁 1 年 10,950,000 1,098,510,468 按歸檔規(guī)則保存半年的數(shù)據(jù)，存儲量是 542G。 系統(tǒng)日志 根據(jù)目前多站點系統(tǒng)的日志情況計算： 日志記錄數(shù) 日志量 (K) 1 天 80,300 40,150 1 月 2,409,013 1,204,506 3 月 7,227,038 3,613,519 半年 14,454,075 7,227,038 1 年 29,309,652 14,654,826 2 年 58,619,305 29,309,652 3 年 87,928,957 43,964,479 如果日志歸檔規(guī)則按保存一年的情況來計算，需要存儲量 14G。 . 數(shù)據(jù) 劃分 根據(jù)總體設計，數(shù)據(jù)存儲應用的劃分如下 稿源庫、編輯庫使用數(shù)據(jù)存儲單元： RAC RAC3，總數(shù)據(jù)存儲量為（ ＋ ＋350）＝ ，平均每單元存儲量為 6G。 a) 注：新華社圖片稿件的圖片存儲在應用服務器的 NAS 上面，每半年占據(jù) 55G 新華網(wǎng)三期項目系統(tǒng)設計書 第 26 頁 共 111 頁 數(shù)據(jù)存儲空間，由歸檔模塊負責清理 日志、用 戶、欄目、成品庫、資料庫等其他數(shù)據(jù)使用存儲單元： RAC2，總數(shù)據(jù)量為（ ＋ 542＋ 14）＝ 563G。 簽發(fā)庫、發(fā)布庫總共需要的存儲量大概是 1＋ 2＝ 3G . 軟件部署 . 系統(tǒng)總體結(jié)構(gòu) 經(jīng)過認真分析與討論，我們制定如下的 內(nèi)容管理 系統(tǒng)總體結(jié)構(gòu)，系統(tǒng)總體結(jié)構(gòu)圖的 模塊劃分 如下所示。 新華網(wǎng)三期項目系統(tǒng)設計書 第 27 頁 共 111 頁 圖 新華網(wǎng) 內(nèi)容管理系統(tǒng) 總體 結(jié)構(gòu) 通過對用戶需求的細致分析，經(jīng)過公司專家組成員的建議與評審，我們設計的 內(nèi)容管理系統(tǒng)包含如下的功能模塊。 ? 內(nèi)容采集 系統(tǒng) 內(nèi)容采集模塊，是系統(tǒng)的批量資料 導 入接口，在內(nèi)容采集模塊中，提供了標準的JavaAPI 和 WebService 接口 （包含 XML 文件 接口） ，供第三方廠商調(diào)用，提過直接調(diào)用這兩種形式的接口，可以直接把信息推送到 內(nèi)容管理 系統(tǒng)中。 比如： TRS 系統(tǒng)，通過內(nèi)容采集模塊的 WebService 接口的調(diào)用，便可以把抓取到的頁面內(nèi)容載入到 內(nèi)容管理 系統(tǒng)中，以便 內(nèi)容管理 系統(tǒng) 的內(nèi)容編輯繼續(xù)完成下一步的發(fā)布工作。 也可以通過文件共享方式，定時掃描指定目錄，把其他外接口系統(tǒng)提供的數(shù)據(jù)文件解析成內(nèi)容管理系統(tǒng)數(shù)據(jù)進行入庫。 比如：新華社電稿文件都放在某一個共享目錄中，內(nèi)容采集系統(tǒng)的輪詢引擎監(jiān)控目錄中文件變化情況，對新增的文件 進行入庫操作。 ? 內(nèi)容管理 系統(tǒng) 內(nèi)容管理模塊是網(wǎng)站 CMS 系統(tǒng)的核心分布式存儲模塊，完成 CMS 系統(tǒng)得成品資料、背景資料以及其它的需要存儲管理的資料的存儲和管理工作。 在內(nèi)容管理模塊中，系統(tǒng)提供了對于數(shù)據(jù)資料的分庫存儲管理，按照資料屬性的不同的文檔文件夾管理，多種分類方式的分類管理，元數(shù)據(jù)定義等功能，實現(xiàn)了網(wǎng)站內(nèi)容的海量存儲。 ? 發(fā)布系統(tǒng) 新華網(wǎng)三期項目系統(tǒng)設計書 第 28 頁 共 111 頁 發(fā)布系統(tǒng)完成 內(nèi)容管理系統(tǒng)中數(shù)據(jù)到頁面的 發(fā)布的工作，系統(tǒng) 依據(jù)內(nèi)容管理系統(tǒng) 模版管理、組件管理 、欄目管理、發(fā)布樹管理 等功能，很好地完成了基于 XML 信息片的實時 和定時 合成 和頁面生成 工作 。 ? 分發(fā)系統(tǒng) 把發(fā)布 系統(tǒng)生成的靜態(tài)頁面、關聯(lián)圖片、 js 文件、 css 文件等生成結(jié)果安裝指定的規(guī)則發(fā)送出去，在發(fā)送的過程中，按照指定邏輯可以對發(fā)送的文件進行一些簡單的邏輯處理 。 ? 客戶端平臺 提供完整的內(nèi)容管理系統(tǒng)功能共用戶使用。同時該平臺上采用插件結(jié)構(gòu)設計，可以把其他系統(tǒng)功能加入進來，插件可以隨時開發(fā)自由注冊，方便客戶端平臺的擴展。 ? 遠程發(fā)稿模塊 為了方便外出人員進行在系統(tǒng)中工作，遠程發(fā)稿模塊通過遠程代理的方式，實現(xiàn)了遠程使用系統(tǒng)進行發(fā)稿 、管稿、發(fā)稿等內(nèi)容管理系統(tǒng) 功能。 新華網(wǎng)三期項目系統(tǒng)設計書 第 29 頁 共 111 頁 關鍵技術與算法 . 工作流技術 工作流 是針對工作中具有固定程序的常規(guī)活動而提出的一個概念。通過將工作活動分解成定義良好的任務、角色、規(guī)則和過程來進行執(zhí)行和監(jiān)控，達到提高生產(chǎn)組織水平和工作效率的目的。 工作流引擎是用于定義、實現(xiàn)和管理工作流運行的一套軟件系統(tǒng)，它與工作流執(zhí)行者（人、應用）交互，推進工作流實例的執(zhí)行，并監(jiān)控工作流的運行狀態(tài)。為了增強適應性，工作流引擎使用一種技術手段，保證能夠由可以自己定義工作流，包括定義任務動作、狀態(tài)以及如何組合成一套流程。 . 可視化 XML 編輯技術 +修改痕跡技術 內(nèi)容管理中的稿件，最適合用 XML 表示。對于其內(nèi)容的編 輯，需要用一種可視化的編寫方法，保證所見即所得。同時，需要記錄稿件的版本與修改痕跡。 . 可視化模版編輯技術 在常規(guī)的可視化編輯頁面技術上，允許其中的部分內(nèi)容用一種 “組件 ”表示，該組件的實際內(nèi)容需要結(jié)合內(nèi)容管理中的數(shù)據(jù)才能完整呈現(xiàn)。在可視化編輯過程中， “組件 ”可以顯示為一些占位文字，也可以自動根據(jù)內(nèi)容管理中的數(shù)據(jù)生成。 . 自動發(fā)布技術 +信息片發(fā)布技術 內(nèi)容管理的內(nèi)容發(fā)生變化后，系統(tǒng)立即找到需要更新的所有最小單位，并將其迅速生成出來，同過簡潔的步驟更新到網(wǎng)站上。 新華網(wǎng)三期項目系統(tǒng)設計書 第 30 頁 共 111 頁 . 多語種技術 內(nèi)容管理系統(tǒng)在一個系統(tǒng)中同時管理多 種語言的內(nèi)容，并且能夠正確地在網(wǎng)站上發(fā)布每個語種的內(nèi)容。 . WebService 內(nèi)容管理系統(tǒng)在對業(yè)務邏輯抽象后，封裝出標準的 WebService 接口，各平臺上的各系統(tǒng)可以按標準的方式調(diào)用，即可實現(xiàn)內(nèi)容管理系統(tǒng)的某業(yè)務功能。 . 碎片 文件 發(fā)布系統(tǒng)在完成組件內(nèi)容解析后，把解析結(jié)構(gòu) 緩存 成 碎片文件。發(fā)布系統(tǒng)在生成頁面時對本次發(fā)布操作沒有影響的區(qū)域，采取直接對碎片文件的策略，減少組件解析時間提高效率。 新華網(wǎng)三期項目系統(tǒng)設計書 第 31 頁 共 111 頁 第 6章 . 系統(tǒng)單元設計 系統(tǒng)單元劃分 系統(tǒng)總體結(jié)構(gòu)設計詳見 “系統(tǒng)結(jié)構(gòu)”章節(jié)。 新華網(wǎng)內(nèi)容管理 系統(tǒng)總體結(jié)構(gòu)圖如圖 所示。本處引用如下： 圖 新華網(wǎng)內(nèi)容管理系統(tǒng) 總體 結(jié)構(gòu) ? 內(nèi)容采集 系統(tǒng) 內(nèi)容采集模塊，是系統(tǒng)的批量資料導入接口，在內(nèi)容采集模塊中，提供了標準的JavaAPI 和 WebService 接口（包含 XML 文件接口），供第三方廠商調(diào)用，提過直接調(diào)用這兩種形式的接口，可以直接把信息推送到 CMS 系統(tǒng)中。 比如： TRS 系統(tǒng)，通過內(nèi)容采集模塊的 WebService 接口的調(diào)用，便可以把抓取到的頁面內(nèi)容載入到 CMS 系統(tǒng)中，以便 CMS 的內(nèi)容編輯繼續(xù)完成下一步的發(fā)布工作。 ? 內(nèi)容管理 系統(tǒng) 內(nèi)容管理模塊是網(wǎng)站 CMS 系統(tǒng)的核心 分布式存儲模塊，完成 CMS 系統(tǒng)得成品資料、背景資料以及其它的需要存儲管理的資料的存儲和管理工作。 新華網(wǎng)三期項目系統(tǒng)設計書 第 32 頁 共 111 頁 在內(nèi)容管理模塊中，系統(tǒng)提供了對于數(shù)據(jù)資料的分庫存儲管理，按照資料屬性的不同的文檔文件夾管理，多種分類方式的分類管理，元數(shù)據(jù)定義等功能，實現(xiàn)了網(wǎng)站內(nèi)容的海量存儲。 ? 發(fā)布系統(tǒng) 發(fā)布系統(tǒng)完成內(nèi)容管理系統(tǒng)中數(shù)據(jù)到頁面的發(fā)布的工作，系統(tǒng)依據(jù)內(nèi)容管理系統(tǒng)模版管理、組件管理、欄目管理、發(fā)布樹管理等功能，很好地完成了基于 XML 信息片的實時和定時合成和頁面生成工作。 ? 分發(fā)系統(tǒng) 把發(fā)布系統(tǒng)生成的靜態(tài)頁面、關聯(lián)圖片、 js 文件、 css 文件等生成結(jié)果安裝指定的規(guī)則發(fā)送出去，在發(fā)送的過程中，按照指定邏輯可以對發(fā)送的文件進行一些簡單的邏輯處理。 ? 客戶端平臺 提供完整的內(nèi)容管理系統(tǒng)功能共用戶使用。同時該平臺上采用插件結(jié)構(gòu)設計，可以把其他系統(tǒng)功能加入進來，插件可以隨時開發(fā)自由注冊，方便客戶端平臺的擴展。 ? 遠程發(fā)稿模塊 為了方便外出人員進行在系統(tǒng)中工作，遠程發(fā)稿模塊通過遠程代理的方式，實現(xiàn)了遠程使用系統(tǒng)進行發(fā)稿、管稿、發(fā)稿等內(nèi)容管理系統(tǒng)功能。 新華網(wǎng)三期項目系統(tǒng)設計書 第 33 頁 共 111 頁 內(nèi)容采集 系統(tǒng) 內(nèi)容采集系統(tǒng)以無人值守的方式從指定的稿件源上讀取稿件數(shù)據(jù)，并把稿件添加到內(nèi)容管理系統(tǒng) 的 源稿中心。 . 結(jié)構(gòu)圖 新華網(wǎng)三期項目系統(tǒng)設計書 第 34 頁 共 111 頁 內(nèi)容采集系統(tǒng)在執(zhí)行稿源數(shù)據(jù)采集時可以由管理用戶為稿源數(shù)據(jù)指定格式模板，也可為入庫引擎指定運行策略，同時對采集到的數(shù)據(jù)可以做一定的信息過濾和自動校正的處理 。 稿件送入內(nèi)容管理系統(tǒng)前，采集程序需要調(diào)用智能處理接口，對稿件的摘要、關鍵字等稿簽項做一個自動處理。 . 模塊單元設計 . 稿源管理 稿源管理包含稿源新增、稿源修改和稿源刪除功能。 稿源是用來建立源數(shù)據(jù)文件和內(nèi)容管理系統(tǒng)源稿庫的關系的。稿源信息包含：源數(shù)據(jù)位置、目標站點、稿源模板、稿源采集規(guī)則等信息。 新華社電稿、圖片庫等稿件信息 可以通過設置稿源來實現(xiàn)入內(nèi)容管理系統(tǒng)源稿庫，同時可以通過稿源設置實現(xiàn) Email、短信、彩信等方式的投稿。 . 模板管理 模板設置 模板是用來建立源數(shù)據(jù)文件與內(nèi)容管理系統(tǒng)各元數(shù)據(jù)項直接的映射關系的。 通過在系統(tǒng)中增加模板，使得內(nèi)容采集系統(tǒng)能對采集數(shù)據(jù)源進行擴展。 系統(tǒng) 預置 CNML、 XinHuaML、 FounderEnpML 模板。 模板設置包含：模板新增、修改和刪除操作。 模板指定 把設置好的采集 模板 指定到稿源上。 . 規(guī)則管理 規(guī)則設置 設置采集引擎的工作規(guī)則， 通過規(guī)則對采集引擎的采集內(nèi)容范圍、采集內(nèi)容方式、采集內(nèi)容 數(shù)量和采集內(nèi)容大小等進行規(guī)范。 規(guī)則信息中包含：采