【文章內(nèi)容簡介】 WEB搜索技術(shù)與企業(yè)的全文檢索技術(shù)相結(jié)合，提供具有豐富檢索手段的高性能全文檢索系統(tǒng)。為解決大數(shù)據(jù)快速檢索的問題，檢索系統(tǒng)采用集群技術(shù)架構(gòu)，可通過擴展子集群的數(shù)量，提高系統(tǒng)的數(shù)據(jù)規(guī)模負載能力，以滿足更大的數(shù)據(jù)量需求；通過擴展子集群內(nèi)的副本數(shù)量，提高系統(tǒng)的并發(fā)檢索的負載能力，以滿足大量并發(fā)檢索的需求。 智能分析技術(shù)方正智思智能分析系統(tǒng)以方正多年積累的中文信息處理技術(shù)和自然語言理解技術(shù)為基礎(chǔ)，融合最新的人工智能、信息檢索及文本挖掘的研究成果，采用不同的智能分析策略，利用各種模型與算法，有效地克服了傳統(tǒng)信息分析在海量數(shù)據(jù)環(huán)境下面臨的困境，形成了高效、智能的方正智思智能分析技術(shù),實現(xiàn)對海量文檔、圖片、視音頻等數(shù)字化內(nèi)容的智能檢索、智能分析及自動處理，以其智能、先進的技術(shù)手段，幫助用戶完成海量信息的智能化處理。 基于E5基礎(chǔ)內(nèi)容管理平臺的系統(tǒng)建設E5是本公司自主研發(fā)的基礎(chǔ)平臺，E5平臺是一個開放的平臺，能方便集成業(yè)界最新的服務端和前端技術(shù)框架，能不斷進行升級和優(yōu)化，同時E5平臺是穩(wěn)定和可靠的技術(shù)開發(fā)平臺，E5平臺在后面有專門的介紹。在E5平臺上研發(fā)的系統(tǒng)，目前已經(jīng)在國內(nèi)和國際上得到使用，在新加坡聯(lián)合報業(yè)集團（SPH），采用我們E5平臺研發(fā)的數(shù)字采編系統(tǒng)，來實現(xiàn)SPH的核心數(shù)字采編業(yè)務，支持報社大并發(fā)和高可用要求。在新華社采用E5平臺研發(fā)了多媒體數(shù)據(jù)庫系統(tǒng)，全球圖片總匯系統(tǒng)、信息中心全媒體編輯系統(tǒng)（E5 ），都是運行著新華社最核心的業(yè)務。 HTML5規(guī)范支持本項目編輯的稿件全面支持Html5標準，實現(xiàn)圖文混排；支持文、圖和視音頻內(nèi)容統(tǒng)一編輯和管理平臺，在發(fā)布平臺，采用Html5標準的稿件，推向網(wǎng)站、移動應用和微信應用等。 支持W3C標準，支持跨瀏覽器應用要求開發(fā)的應用系統(tǒng)和通過應用系統(tǒng)建設的網(wǎng)站，要求提供良好的用戶UI體驗，操作簡捷便利，都能實現(xiàn)跨瀏覽器要求，因此在應用建設上，要充分考慮跨瀏覽器的能力。采用的第三方JS框架，都必須滿足跨瀏覽器要求，本公司在JS框架選擇上，選擇跨瀏覽器的Jquery等前端框架，一些不能跨瀏覽器的前端框架將不再采用。 開源緩存數(shù)據(jù)庫支持本項目采用的緩存數(shù)據(jù)庫采用Redis。Redis是一個keyvalue存儲系統(tǒng)。和Memcached類似，它支持存儲的value類型相對更多，包括string(字符串)、list(鏈表)、set(集合)、zset(sorted set 有序集合)和hash（哈希類型）。這些數(shù)據(jù)類型都支持push/pop、add/remove及取交集并集和差集及更豐富的操作，而且這些操作都是原子性的。在此基礎(chǔ)上，Redis支持各種不同方式的排序。與memcached一樣，為了保證效率，數(shù)據(jù)都是緩存在內(nèi)存中。區(qū)別的是Redis會周期性的把更新的數(shù)據(jù)寫入磁盤或者把修改操作寫入追加的記錄文件，并且在此基礎(chǔ)上實現(xiàn)了masterslave(主從)同步。數(shù)據(jù)可以從主服務器向任意數(shù)量的從服務器上同步，從服務器可以是關(guān)聯(lián)其他從服務器的主服務器。這使得Redis可執(zhí)行單層樹復制。存盤可以有意無意的對數(shù)據(jù)進行寫操作。由于完全實現(xiàn)了發(fā)布/訂閱機制，使得從數(shù)據(jù)庫在任何地方同步樹時，可訂閱一個頻道并接收主服務器完整的消息發(fā)布記錄。同步對讀取操作的可擴展性和數(shù)據(jù)冗余很有幫助。下面是官方的benchmark數(shù)據(jù)：測試完成了50個并發(fā)執(zhí)行100000個請求。設置和獲取的值是一個256字節(jié)字符串。Linux box是運行Linux 。文本執(zhí)行使用loopback接口()。結(jié)果:讀的速度是110000次/s,寫的速度是81000次/s 。 輕量級分布式文件存儲本項目采用的分布式文件存儲管理軟件是FastDFS，它是為互聯(lián)網(wǎng)應用量身定做的分布式文件系統(tǒng)，充分考慮了冗余備份、負載均衡、線性擴容等機制，并注重高可用、高性能等指標。和現(xiàn)有的類GoogleFS分布式文件系統(tǒng)相比，F(xiàn)astDFS的架構(gòu)和設計理念有其獨到之處，主要體現(xiàn)在輕量級、分組方式和對等結(jié)構(gòu)三個方面。 數(shù)據(jù)交換格式標準本項目采用的JSON作為數(shù)據(jù)交換格式，它是一種輕量級的數(shù)據(jù)交換格式。它基于JavaScript（Standard ECMA262 3rd Edition December 1999）的一個子集。 JSON采用完全獨立于語言的文本格式，但是也使用了類似于C語言家族的習慣（包括C, C++, C, Java, JavaScript, Perl, Python等）。這些特性使JSON成為理想的數(shù)據(jù)交換語言。 易于人閱讀和編寫，同時也易于機器解析和生成(網(wǎng)絡傳輸速度)。JSON與XML的最大區(qū)別在于有效數(shù)據(jù)率。JSON作為數(shù)據(jù)包格式傳輸?shù)臅r候具有更高的效率，這是因為JSON不像XML那樣需要有嚴格的閉合標簽，這就讓有效數(shù)據(jù)量與總數(shù)據(jù)包比大大提升，從而減少同等數(shù)據(jù)流量的情況下，網(wǎng)絡的傳輸壓力。第4章 方正新媒體融合一體化平臺 新媒體矩陣統(tǒng)一管理后臺方正新媒體矩陣統(tǒng)一管理平臺重點打造移動優(yōu)先的新媒體矩陣管理體系，真正實現(xiàn)融合多元形態(tài)的管理方式。保留歷史版本的優(yōu)勢同時，著重對系統(tǒng)的易用性、瀏覽器兼容性、新媒體矩陣管理、社會化媒體管理、圖片管理、視音頻富媒體管理等進行功能拓展和性能優(yōu)化。新媒體矩陣統(tǒng)一管理平臺集網(wǎng)站、APP、微博、微信等管理與一身，系統(tǒng)采用消息觸發(fā)技術(shù)為基礎(chǔ)的頁面生成技術(shù)來完成內(nèi)容的生成，該技術(shù)將對數(shù)據(jù)庫內(nèi)容的操作及時的同步到網(wǎng)站，保證內(nèi)容及時有效更新。為實現(xiàn)內(nèi)容的全方位報道和多終端覆蓋，系統(tǒng)實現(xiàn)一鍵多屏、一鍵多終端的發(fā)布機制，發(fā)布內(nèi)容自動適配各終端方便瀏覽。引入多級數(shù)據(jù)緩存機制，減少對系統(tǒng)資源的占用。另外重點對觸發(fā)式發(fā)布機制進行改造，實現(xiàn)頁面的區(qū)域化更新，減少頁面合成及分發(fā)所帶來的開銷。 新媒體矩陣統(tǒng)一管理 管理中心管理中心是內(nèi)容發(fā)布系統(tǒng)平臺后臺管理的重要組成部分，具有我的工作臺、站點管理、角色管理、部門管理、用戶管理等功能點模塊組成。作為整個系統(tǒng)的管理核心，管理中心主要負責個人工作情況統(tǒng)計，角色分配，部門管理，用戶管理，系統(tǒng)情況監(jiān)控，保證系統(tǒng)訪問的順暢，權(quán)限分配的合理性。 內(nèi)容平臺內(nèi)容平臺是內(nèi)容發(fā)布系統(tǒng)的核心，也是整個項目內(nèi)容端的關(guān)鍵。具備在線編輯器、撤稿中心、報題管理、圖片管理、視頻管理、發(fā)布庫，是APP內(nèi)容生產(chǎn)的主要功能模塊。B/S架構(gòu)編輯器體系解決擴平臺及系統(tǒng)兼容性的操作問題，排版更富有新穎多樣化，展示效果更全面。按照權(quán)限分配控制對對文章進行撤稿操作，撤稿范圍全面。應用提供類似門戶網(wǎng)站高清幻燈展示組圖功能，可以批量上傳本地圖片和選取圖片庫中的圖片，調(diào)整圖片的順序，按名稱排序，批量設置圖片說明，設置移動端的抽圖比例。動態(tài)效果在APP新聞客戶端逐漸成為網(wǎng)民的瀏覽首選，內(nèi)容平臺具備視頻管理功能，可實現(xiàn)客戶端視頻的上傳、存儲、管理、播放等多媒體功能，支持自上傳、外部接入、視頻多碼率、視頻廣告功能等等。 管理平臺管理平臺是新聞客戶端內(nèi)容發(fā)布系統(tǒng)的重要管理樞紐，具備欄目管理、稿件類型管理、模板管理、內(nèi)容標簽管理、敏感詞、關(guān)鍵詞、日志、發(fā)布監(jiān)控、統(tǒng)計等管理功能。內(nèi)容標簽管理是實現(xiàn)對資訊信息的聚類，通過分類屬性可直接辨別內(nèi)容方向，再加之有機結(jié)合內(nèi)容管理本身分類進行外部數(shù)據(jù)的補充，實現(xiàn)具有針對性內(nèi)容自動聚類展示。支持多頻道多欄目，可按樹型結(jié)構(gòu)包含任意層級和數(shù)量的頻道及子欄目，實現(xiàn)對文章的分類管理。可以創(chuàng)建文章分類，并可以將文章添加在該分類、或移除出該分類等操作。編輯可以對該分類下面的文章進行手動排序。支持在線制作模板，可以導入導出模板。內(nèi)容審核把關(guān)是新聞發(fā)布的重要環(huán)節(jié)，需要實現(xiàn)新聞客戶端內(nèi)容發(fā)布審核管理，還要兼具新聞采編一體化平臺的內(nèi)容同步發(fā)布管理。首先應用支持PC、移動端的內(nèi)容按權(quán)限管理發(fā)布。同時根據(jù)業(yè)務流程實現(xiàn)，稿件投稿到采編一體化平臺后，進入客戶端的業(yè)務處理流程，由客戶端內(nèi)容編輯人員進行適配客戶端呈現(xiàn)方式的編輯加工處理后，進入客戶端的審核把關(guān)環(huán)節(jié)。 互動管理自媒體的發(fā)展越來越快，網(wǎng)民更喜歡發(fā)表自己的觀點、看法、意見，交流互動的作用就顯得尤為重要，只有互動APP新聞客戶端才更具“粘性”。系統(tǒng)后臺實現(xiàn)互動主要功能的操作管理，功能模塊包括：評論、點贊、分享、積分活動等，每一項都獨具特色并操作簡便易用，互動的結(jié)果報表生成豐富。 內(nèi)容發(fā)布HTML5技術(shù)的成熟運用，實現(xiàn)界面瀏覽的多樣性。應用支持發(fā)布為客戶端版及手機網(wǎng)頁版，內(nèi)容受權(quán)限審核控制狀態(tài)，實現(xiàn)文章、組圖、專題、圖片廣告的設置幻燈片功能，支持各模塊幻燈片自動輪播。支持正文內(nèi)組件嵌入，每篇新聞可內(nèi)嵌圖集、視頻、互動等相關(guān)組件，且位置可任意設置。 新媒體矩陣統(tǒng)一管理功能設計 原稿庫方正新媒體融合一體化平臺在內(nèi)容管理方面加入原稿庫的功能，隨著內(nèi)容發(fā)布的多樣性，各媒介存在差異，比如微博內(nèi)容單篇只允許140字，對于長篇內(nèi)容來說需要進行二次加工。為了避免發(fā)布庫稿件的原始性，便于稿件版本溯源，原稿庫中稿件沒有欄目信息，可以將原稿庫的稿件，簽發(fā)到發(fā)布庫欄目下，對已經(jīng)簽發(fā)的渠道不可以二次簽發(fā)。 內(nèi)容編輯器方正新媒體融合一體化平臺采用B/S架構(gòu)，解決編輯器兼容性問題的同時提升采編效率。系統(tǒng)的ueditor編輯器獲得所見即所得的編輯效果，適配chrome、火狐、360等主流瀏覽器，使編輯人員在內(nèi)容管理操作性上更便捷。 圖片管理方正新媒體融合一體化平臺圖片管理重新定義了對圖片的存儲、選取、引用功能,界面化操作更便于圖片庫的管理，同時使新聞首頁的圖片新聞，動態(tài)化效果更加豐富、更具吸引力。l 組圖功能圖片上傳至圖片庫，可通過檢索功能進行圖片查找，結(jié)合內(nèi)容模板圖片建立成 “組圖”，以組圖新聞形式發(fā)布。同時，形成的組圖稿件可以采取插件方式整合到編輯器中，與文章整合性發(fā)布，形成更加綜合的內(nèi)容展示。l 抽圖功能后臺獨立多線程服務，對內(nèi)容管理系統(tǒng)中上傳的圖片進行小、中、大圖的自動抽取，用于移動端圖片展示，以提高圖片打開速度，降低用戶手機流量，提高用戶體驗。 內(nèi)容模型定制系統(tǒng)支持用戶定義新的數(shù)據(jù)結(jié)構(gòu)，在繼承原有稿件基本格式基礎(chǔ)上添加擴展字段，用以承載除內(nèi)容信息之外的如商務信息、統(tǒng)計信息、服務信息等一些列不同格式、不同應用需求的數(shù)據(jù)。同時在模板制作環(huán)節(jié)，Dreamwaver組件能夠調(diào)用新定義的數(shù)據(jù)表和數(shù)據(jù)類型，使內(nèi)容經(jīng)過內(nèi)容管理、內(nèi)容發(fā)布等環(huán)節(jié)發(fā)布到外網(wǎng)，滿足不同用戶的網(wǎng)站發(fā)布需要。 元數(shù)據(jù)推送服務元數(shù)據(jù)推送服務對于網(wǎng)站的拓展性有著積極重要的作用，網(wǎng)站可以通過提供元數(shù)據(jù)和第三方應用進行數(shù)據(jù)資源共享，增加內(nèi)容多樣性的展現(xiàn)，并為獨立的第三方系統(tǒng)提供數(shù)據(jù)支撐。元數(shù)據(jù)推送可以降低了開發(fā)成本，規(guī)避安全隱患。與此同時，生成的元數(shù)據(jù)還可以成為網(wǎng)站數(shù)據(jù)持久化輕量級的備份，增強了網(wǎng)站的災備能力。元數(shù)據(jù)是指在數(shù)據(jù)倉庫建設過程中所產(chǎn)生的有關(guān)數(shù)據(jù)源定義，目標定義，轉(zhuǎn)換規(guī)則等相關(guān)的關(guān)鍵數(shù)據(jù)。在系統(tǒng)中元數(shù)據(jù)包括：站點信息，欄目信息，欄目關(guān)系，模板信息，稿件內(nèi)容，相關(guān)稿件等構(gòu)建網(wǎng)站的支撐數(shù)據(jù)。目前，元數(shù)據(jù)推送服務提供XML和JSON兩種數(shù)據(jù)格式。l 推送至其他數(shù)據(jù)倉儲元數(shù)據(jù)推送可以直接推送給第三方應用作為數(shù)據(jù)倉儲，第三方可以對元數(shù)據(jù)二次加工后不同應用場景的展現(xiàn)。l 推送到終端設備元數(shù)據(jù)推送可以直接被終端設備調(diào)用，如移動終端、平板電腦、戶外大屏等設備，可以直接通過本地應用訪問元數(shù)據(jù)，展現(xiàn)更多想要得到的效果。 工作流管理針對系統(tǒng)中的欄目，稿件需要進行審核，通過工作流對發(fā)稿流程進行控制。工作流可以綁定到欄目上，這樣在這個欄目下寫稿，就稿件按照該工作方式進行流轉(zhuǎn)。用戶登錄系統(tǒng)后，在“我的工作臺”中看到待審核、已審核的稿件，和需要自己審核的稿件，方便用戶對工作流中的稿件進行處理。 監(jiān)控管理方正新媒體融合一體化平臺監(jiān)控管理主要用于網(wǎng)站管理人員對稿件、人員工作量的統(tǒng)計和網(wǎng)站頁面的發(fā)布監(jiān)控。l 稿件統(tǒng)計支持按部門、稿件來源、稿件欄目，進行稿件統(tǒng)計。支持按渠道（網(wǎng)站、APP）進行稿件統(tǒng)計。支持按時間跨度統(tǒng)計稿件量，并支持稿件點擊量、評論量的統(tǒng)計。支持第三方系統(tǒng)接入，并對稿件其他維度進行統(tǒng)計。支持稿件數(shù)據(jù)的文件導出功能。l 工作量統(tǒng)計支持按時間和用戶查詢每個用戶工作的工作量（稿件量、原創(chuàng)量、點擊量、評論量）支持按渠道（網(wǎng)站、APP）進行用戶工作量統(tǒng)計。支持用戶工作量的數(shù)據(jù)導出功能。 l 發(fā)布監(jiān)控為了便于查看發(fā)布任務的發(fā)布情況，系統(tǒng)提供了發(fā)布監(jiān)控功能，用于對站點、欄目、稿件發(fā)布任務進行查看和操作。 專題管理專題是以新聞事件為核心，形成一組新聞信息，并以特定的模式進行展現(xiàn)。專題的制作主要涉及兩方面的工作，美工負責模板制作和編輯負責內(nèi)容聚合。方正新媒體融合一體化平臺在原有可視化專題的基礎(chǔ)上，以全新的功能點和交互體驗，滿足對快速新聞事件的快速美觀的專題報道。專題DIY模板制作工具傳統(tǒng)的專題制作方式，需要美工和編輯的全程參與，存在很多問題：人員交互多、制作周期長、流程復雜，內(nèi)容更新不便等。系統(tǒng)的專題管理功能專門針對傳統(tǒng)專題制作的不足，提出了高效的專題制作方案。美工專門負責通用性基礎(chǔ)模板的制作，基礎(chǔ)模板由系統(tǒng)進行維護和管理。 編輯負責選擇基礎(chǔ)模板和內(nèi)容聚合。內(nèi)容聚合也可以有系統(tǒng)自動完成，系統(tǒng)可以通過關(guān)鍵詞等進行內(nèi)容的自動聚合。系統(tǒng)基