【文章內(nèi)容簡介】 把生成頁面?zhèn)魉统鋈? . 系統(tǒng)數(shù)據(jù) 分布 . 數(shù)據(jù)量估算 源稿庫 存儲(chǔ)時(shí)長 稿件條數(shù) 稿件數(shù)據(jù)量 無圖片量 1 個(gè)月 ≈ （萬條） ≈ （ G） ≈ 380（ M） 3 個(gè)月 ≈ 10（萬條） ≈ 29（ G） ≈ （ G） 半年 ≈ 20（萬條） ≈ 58（ G） ≈ （ G） 1 年 ≈ 40（萬條） ≈ 117（ G） ≈ （ G） 新華網(wǎng)三期項(xiàng)目系統(tǒng)設(shè)計(jì)書 第 24 頁 共 111 頁 如果按歸檔規(guī)則為保存半年來計(jì)算，需要的存儲(chǔ)量為 。 編輯庫 根據(jù)目前多站點(diǎn)系統(tǒng)中的基礎(chǔ)數(shù)據(jù)計(jì)算 數(shù)據(jù)指標(biāo) 數(shù)據(jù)值 稿件量 ≈ （萬條） 人數(shù) 413（人） 平均稿量 ≈ 56（稿件 /人） 目前所有系統(tǒng)使用人員 ≈ 950（人） 預(yù)計(jì)人員增長到 ≈ （千人） 據(jù)此計(jì)算存儲(chǔ)情況 ，需要存儲(chǔ)量為： 。 簽發(fā)庫 發(fā)布稿件條數(shù) 發(fā)布圖片量(張 ) 發(fā)布圖片數(shù)據(jù)量 (K) 稿件正文量(K) 稿簽量 (K) 稿件圖文總量(K) 1 天 30,000 55,790 1,952,660 46,973 5, 2,005,392 1 月 900,000 1,673,709 58,579,808 1,409,201 172, 60,161,774 1 年 10,950,000 20,363,457 712,720,991 17,145,274 2,101, 731,968,244 3 年 32,850,000 61,090,371 2,138,162,974 51,435,821 6,305, 2,195,904,733 5 年 54,750,000 101,817,284 3,563,604,957 85,726,368 10,509, 3,659,841,222 如果簽發(fā)庫歸檔規(guī)則平均按 1 年來計(jì)算，則簽發(fā)庫要保存的圖文總量在 732G。如果將數(shù)據(jù)控制在百萬級(jí)以內(nèi)，則存儲(chǔ)需要大概 350G。 發(fā)布庫 發(fā)布庫的記錄數(shù)基本與簽發(fā)庫的記錄數(shù)一致。只是對于存儲(chǔ)在數(shù)據(jù)中的圖片，發(fā)布庫與簽發(fā)庫共用一份，因此發(fā)布庫的數(shù)據(jù)量，一年總量在 2G。 成品庫 成品庫中保存的是發(fā)向新華社多媒體數(shù)據(jù)的稿件，目前每天 送稿量是 200，如果此數(shù)據(jù)比較平穩(wěn)，不考慮突發(fā)增長量的情況如下 稿件數(shù) 稿件量 (K) 1 天 200 20,064 1 月 6,000 601,924 3 月 18,000 1,805,771 半年 36,000 3,611,541 1 年 73,000 7,323,403 按歸檔規(guī)則保存半年的數(shù)據(jù)存儲(chǔ)量是 。 資料庫 資料庫中主要保存的是系統(tǒng)中歸檔的數(shù)據(jù)，也按每天 1 萬條稿件計(jì)算，情況如下 稿件數(shù) 稿件量 (K) 1 天 30,000 3,009,618 1 月 900,000 90,288,532 3 月 2,700,000 270,865,595 半年 5,400,000 541,731,190 新華網(wǎng)三期項(xiàng)目系統(tǒng)設(shè)計(jì)書 第 25 頁 共 111 頁 1 年 10,950,000 1,098,510,468 按歸檔規(guī)則保存半年的數(shù)據(jù)，存儲(chǔ)量是 542G。 系統(tǒng)日志 根據(jù)目前多站點(diǎn)系統(tǒng)的日志情況計(jì)算： 日志記錄數(shù) 日志量 (K) 1 天 80,300 40,150 1 月 2,409,013 1,204,506 3 月 7,227,038 3,613,519 半年 14,454,075 7,227,038 1 年 29,309,652 14,654,826 2 年 58,619,305 29,309,652 3 年 87,928,957 43,964,479 如果日志歸檔規(guī)則按保存一年的情況來計(jì)算，需要存儲(chǔ)量 14G。 . 數(shù)據(jù) 劃分 根據(jù)總體設(shè)計(jì)，數(shù)據(jù)存儲(chǔ)應(yīng)用的劃分如下 稿源庫、編輯庫使用數(shù)據(jù)存儲(chǔ)單元： RAC RAC3，總數(shù)據(jù)存儲(chǔ)量為（ ＋ ＋350）＝ ，平均每單元存儲(chǔ)量為 6G。 a) 注：新華社圖片稿件的圖片存儲(chǔ)在應(yīng)用服務(wù)器的 NAS 上面，每半年占據(jù) 55G 新華網(wǎng)三期項(xiàng)目系統(tǒng)設(shè)計(jì)書 第 26 頁 共 111 頁 數(shù)據(jù)存儲(chǔ)空間，由歸檔模塊負(fù)責(zé)清理 日志、用 戶、欄目、成品庫、資料庫等其他數(shù)據(jù)使用存儲(chǔ)單元： RAC2，總數(shù)據(jù)量為（ ＋ 542＋ 14）＝ 563G。 簽發(fā)庫、發(fā)布庫總共需要的存儲(chǔ)量大概是 1＋ 2＝ 3G . 軟件部署 . 系統(tǒng)總體結(jié)構(gòu) 經(jīng)過認(rèn)真分析與討論，我們制定如下的 內(nèi)容管理 系統(tǒng)總體結(jié)構(gòu)，系統(tǒng)總體結(jié)構(gòu)圖的 模塊劃分 如下所示。 新華網(wǎng)三期項(xiàng)目系統(tǒng)設(shè)計(jì)書 第 27 頁 共 111 頁 圖 新華網(wǎng) 內(nèi)容管理系統(tǒng) 總體 結(jié)構(gòu) 通過對用戶需求的細(xì)致分析，經(jīng)過公司專家組成員的建議與評(píng)審，我們設(shè)計(jì)的 內(nèi)容管理系統(tǒng)包含如下的功能模塊。 ? 內(nèi)容采集 系統(tǒng) 內(nèi)容采集模塊，是系統(tǒng)的批量資料 導(dǎo) 入接口，在內(nèi)容采集模塊中，提供了標(biāo)準(zhǔn)的JavaAPI 和 WebService 接口 （包含 XML 文件 接口） ，供第三方廠商調(diào)用，提過直接調(diào)用這兩種形式的接口，可以直接把信息推送到 內(nèi)容管理 系統(tǒng)中。 比如： TRS 系統(tǒng)，通過內(nèi)容采集模塊的 WebService 接口的調(diào)用，便可以把抓取到的頁面內(nèi)容載入到 內(nèi)容管理 系統(tǒng)中，以便 內(nèi)容管理 系統(tǒng) 的內(nèi)容編輯繼續(xù)完成下一步的發(fā)布工作。 也可以通過文件共享方式，定時(shí)掃描指定目錄，把其他外接口系統(tǒng)提供的數(shù)據(jù)文件解析成內(nèi)容管理系統(tǒng)數(shù)據(jù)進(jìn)行入庫。 比如：新華社電稿文件都放在某一個(gè)共享目錄中，內(nèi)容采集系統(tǒng)的輪詢引擎監(jiān)控目錄中文件變化情況，對新增的文件 進(jìn)行入庫操作。 ? 內(nèi)容管理 系統(tǒng) 內(nèi)容管理模塊是網(wǎng)站 CMS 系統(tǒng)的核心分布式存儲(chǔ)模塊，完成 CMS 系統(tǒng)得成品資料、背景資料以及其它的需要存儲(chǔ)管理的資料的存儲(chǔ)和管理工作。 在內(nèi)容管理模塊中，系統(tǒng)提供了對于數(shù)據(jù)資料的分庫存儲(chǔ)管理，按照資料屬性的不同的文檔文件夾管理，多種分類方式的分類管理，元數(shù)據(jù)定義等功能，實(shí)現(xiàn)了網(wǎng)站內(nèi)容的海量存儲(chǔ)。 ? 發(fā)布系統(tǒng) 新華網(wǎng)三期項(xiàng)目系統(tǒng)設(shè)計(jì)書 第 28 頁 共 111 頁 發(fā)布系統(tǒng)完成 內(nèi)容管理系統(tǒng)中數(shù)據(jù)到頁面的 發(fā)布的工作，系統(tǒng) 依據(jù)內(nèi)容管理系統(tǒng) 模版管理、組件管理 、欄目管理、發(fā)布樹管理 等功能，很好地完成了基于 XML 信息片的實(shí)時(shí) 和定時(shí) 合成 和頁面生成 工作 。 ? 分發(fā)系統(tǒng) 把發(fā)布 系統(tǒng)生成的靜態(tài)頁面、關(guān)聯(lián)圖片、 js 文件、 css 文件等生成結(jié)果安裝指定的規(guī)則發(fā)送出去，在發(fā)送的過程中，按照指定邏輯可以對發(fā)送的文件進(jìn)行一些簡單的邏輯處理 。 ? 客戶端平臺(tái) 提供完整的內(nèi)容管理系統(tǒng)功能共用戶使用。同時(shí)該平臺(tái)上采用插件結(jié)構(gòu)設(shè)計(jì)，可以把其他系統(tǒng)功能加入進(jìn)來，插件可以隨時(shí)開發(fā)自由注冊，方便客戶端平臺(tái)的擴(kuò)展。 ? 遠(yuǎn)程發(fā)稿模塊 為了方便外出人員進(jìn)行在系統(tǒng)中工作，遠(yuǎn)程發(fā)稿模塊通過遠(yuǎn)程代理的方式，實(shí)現(xiàn)了遠(yuǎn)程使用系統(tǒng)進(jìn)行發(fā)稿 、管稿、發(fā)稿等內(nèi)容管理系統(tǒng) 功能。 新華網(wǎng)三期項(xiàng)目系統(tǒng)設(shè)計(jì)書 第 29 頁 共 111 頁 關(guān)鍵技術(shù)與算法 . 工作流技術(shù) 工作流 是針對工作中具有固定程序的常規(guī)活動(dòng)而提出的一個(gè)概念。通過將工作活動(dòng)分解成定義良好的任務(wù)、角色、規(guī)則和過程來進(jìn)行執(zhí)行和監(jiān)控，達(dá)到提高生產(chǎn)組織水平和工作效率的目的。 工作流引擎是用于定義、實(shí)現(xiàn)和管理工作流運(yùn)行的一套軟件系統(tǒng)，它與工作流執(zhí)行者（人、應(yīng)用）交互，推進(jìn)工作流實(shí)例的執(zhí)行，并監(jiān)控工作流的運(yùn)行狀態(tài)。為了增強(qiáng)適應(yīng)性，工作流引擎使用一種技術(shù)手段，保證能夠由可以自己定義工作流，包括定義任務(wù)動(dòng)作、狀態(tài)以及如何組合成一套流程。 . 可視化 XML 編輯技術(shù) +修改痕跡技術(shù) 內(nèi)容管理中的稿件，最適合用 XML 表示。對于其內(nèi)容的編 輯，需要用一種可視化的編寫方法，保證所見即所得。同時(shí)，需要記錄稿件的版本與修改痕跡。 . 可視化模版編輯技術(shù) 在常規(guī)的可視化編輯頁面技術(shù)上，允許其中的部分內(nèi)容用一種 “組件 ”表示，該組件的實(shí)際內(nèi)容需要結(jié)合內(nèi)容管理中的數(shù)據(jù)才能完整呈現(xiàn)。在可視化編輯過程中， “組件 ”可以顯示為一些占位文字，也可以自動(dòng)根據(jù)內(nèi)容管理中的數(shù)據(jù)生成。 . 自動(dòng)發(fā)布技術(shù) +信息片發(fā)布技術(shù) 內(nèi)容管理的內(nèi)容發(fā)生變化后，系統(tǒng)立即找到需要更新的所有最小單位，并將其迅速生成出來，同過簡潔的步驟更新到網(wǎng)站上。 新華網(wǎng)三期項(xiàng)目系統(tǒng)設(shè)計(jì)書 第 30 頁 共 111 頁 . 多語種技術(shù) 內(nèi)容管理系統(tǒng)在一個(gè)系統(tǒng)中同時(shí)管理多 種語言的內(nèi)容，并且能夠正確地在網(wǎng)站上發(fā)布每個(gè)語種的內(nèi)容。 . WebService 內(nèi)容管理系統(tǒng)在對業(yè)務(wù)邏輯抽象后，封裝出標(biāo)準(zhǔn)的 WebService 接口，各平臺(tái)上的各系統(tǒng)可以按標(biāo)準(zhǔn)的方式調(diào)用，即可實(shí)現(xiàn)內(nèi)容管理系統(tǒng)的某業(yè)務(wù)功能。 . 碎片 文件 發(fā)布系統(tǒng)在完成組件內(nèi)容解析后，把解析結(jié)構(gòu) 緩存 成 碎片文件。發(fā)布系統(tǒng)在生成頁面時(shí)對本次發(fā)布操作沒有影響的區(qū)域，采取直接對碎片文件的策略，減少組件解析時(shí)間提高效率。 新華網(wǎng)三期項(xiàng)目系統(tǒng)設(shè)計(jì)書 第 31 頁 共 111 頁 第 6章 . 系統(tǒng)單元設(shè)計(jì) 系統(tǒng)單元?jiǎng)澐? 系統(tǒng)總體結(jié)構(gòu)設(shè)計(jì)詳見 “系統(tǒng)結(jié)構(gòu)”章節(jié)。 新華網(wǎng)內(nèi)容管理 系統(tǒng)總體結(jié)構(gòu)圖如圖 所示。本處引用如下： 圖 新華網(wǎng)內(nèi)容管理系統(tǒng) 總體 結(jié)構(gòu) ? 內(nèi)容采集 系統(tǒng) 內(nèi)容采集模塊，是系統(tǒng)的批量資料導(dǎo)入接口，在內(nèi)容采集模塊中，提供了標(biāo)準(zhǔn)的JavaAPI 和 WebService 接口（包含 XML 文件接口），供第三方廠商調(diào)用，提過直接調(diào)用這兩種形式的接口，可以直接把信息推送到 CMS 系統(tǒng)中。 比如： TRS 系統(tǒng)，通過內(nèi)容采集模塊的 WebService 接口的調(diào)用，便可以把抓取到的頁面內(nèi)容載入到 CMS 系統(tǒng)中，以便 CMS 的內(nèi)容編輯繼續(xù)完成下一步的發(fā)布工作。 ? 內(nèi)容管理 系統(tǒng) 內(nèi)容管理模塊是網(wǎng)站 CMS 系統(tǒng)的核心 分布式存儲(chǔ)模塊，完成 CMS 系統(tǒng)得成品資料、背景資料以及其它的需要存儲(chǔ)管理的資料的存儲(chǔ)和管理工作。 新華網(wǎng)三期項(xiàng)目系統(tǒng)設(shè)計(jì)書 第 32 頁 共 111 頁 在內(nèi)容管理模塊中，系統(tǒng)提供了對于數(shù)據(jù)資料的分庫存儲(chǔ)管理，按照資料屬性的不同的文檔文件夾管理，多種分類方式的分類管理，元數(shù)據(jù)定義等功能，實(shí)現(xiàn)了網(wǎng)站內(nèi)容的海量存儲(chǔ)。 ? 發(fā)布系統(tǒng) 發(fā)布系統(tǒng)完成內(nèi)容管理系統(tǒng)中數(shù)據(jù)到頁面的發(fā)布的工作，系統(tǒng)依據(jù)內(nèi)容管理系統(tǒng)模版管理、組件管理、欄目管理、發(fā)布樹管理等功能，很好地完成了基于 XML 信息片的實(shí)時(shí)和定時(shí)合成和頁面生成工作。 ? 分發(fā)系統(tǒng) 把發(fā)布系統(tǒng)生成的靜態(tài)頁面、關(guān)聯(lián)圖片、 js 文件、 css 文件等生成結(jié)果安裝指定的規(guī)則發(fā)送出去，在發(fā)送的過程中，按照指定邏輯可以對發(fā)送的文件進(jìn)行一些簡單的邏輯處理。 ? 客戶端平臺(tái) 提供完整的內(nèi)容管理系統(tǒng)功能共用戶使用。同時(shí)該平臺(tái)上采用插件結(jié)構(gòu)設(shè)計(jì)，可以把其他系統(tǒng)功能加入進(jìn)來，插件可以隨時(shí)開發(fā)自由注冊，方便客戶端平臺(tái)的擴(kuò)展。 ? 遠(yuǎn)程發(fā)稿模塊 為了方便外出人員進(jìn)行在系統(tǒng)中工作，遠(yuǎn)程發(fā)稿模塊通過遠(yuǎn)程代理的方式，實(shí)現(xiàn)了遠(yuǎn)程使用系統(tǒng)進(jìn)行發(fā)稿、管稿、發(fā)稿等內(nèi)容管理系統(tǒng)功能。 新華網(wǎng)三期項(xiàng)目系統(tǒng)設(shè)計(jì)書 第 33 頁 共 111 頁 內(nèi)容采集 系統(tǒng) 內(nèi)容采集系統(tǒng)以無人值守的方式從指定的稿件源上讀取稿件數(shù)據(jù)，并把稿件添加到內(nèi)容管理系統(tǒng) 的 源稿中心。 . 結(jié)構(gòu)圖 新華網(wǎng)三期項(xiàng)目系統(tǒng)設(shè)計(jì)書 第 34 頁 共 111 頁 內(nèi)容采集系統(tǒng)在執(zhí)行稿源數(shù)據(jù)采集時(shí)可以由管理用戶為稿源數(shù)據(jù)指定格式模板，也可為入庫引擎指定運(yùn)行策略，同時(shí)對采集到的數(shù)據(jù)可以做一定的信息過濾和自動(dòng)校正的處理 。 稿件送入內(nèi)容管理系統(tǒng)前，采集程序需要調(diào)用智能處理接口，對稿件的摘要、關(guān)鍵字等稿簽項(xiàng)做一個(gè)自動(dòng)處理。 . 模塊單元設(shè)計(jì) . 稿源管理 稿源管理包含稿源新增、稿源修改和稿源刪除功能。 稿源是用來建立源數(shù)據(jù)文件和內(nèi)容管理系統(tǒng)源稿庫的關(guān)系的。稿源信息包含：源數(shù)據(jù)位置、目標(biāo)站點(diǎn)、稿源模板、稿源采集規(guī)則等信息。 新華社電稿、圖片庫等稿件信息 可以通過設(shè)置稿源來實(shí)現(xiàn)入內(nèi)容管理系統(tǒng)源稿庫，同時(shí)可以通過稿源設(shè)置實(shí)現(xiàn) Email、短信、彩信等方式的投稿。 . 模板管理 模板設(shè)置 模板是用來建立源數(shù)據(jù)文件與內(nèi)容管理系統(tǒng)各元數(shù)據(jù)項(xiàng)直接的映射關(guān)系的。 通過在系統(tǒng)中增加模板，使得內(nèi)容采集系統(tǒng)能對采集數(shù)據(jù)源進(jìn)行擴(kuò)展。 系統(tǒng) 預(yù)置 CNML、 XinHuaML、 FounderEnpML 模板。 模板設(shè)置包含：模板新增、修改和刪除操作。 模板指定 把設(shè)置好的采集 模板 指定到稿源上。 . 規(guī)則管理 規(guī)則設(shè)置 設(shè)置采集引擎的工作規(guī)則， 通過規(guī)則對采集引擎的采集內(nèi)容范圍、采集內(nèi)容方式、采集內(nèi)容 數(shù)量和采集內(nèi)容大小等進(jìn)行規(guī)范。 規(guī)則信息中包含：采