【正文】 庫（需要安裝安全接入平臺，同時還需要與其他部門協(xié)調(diào)獲得，系統(tǒng)留有接口）3．?dāng)?shù)據(jù)倉庫新增數(shù)據(jù)倉庫建設(shè)，數(shù)據(jù)倉庫是在基礎(chǔ)業(yè)務(wù)數(shù)據(jù)庫基礎(chǔ)上，數(shù)據(jù)結(jié)構(gòu)以公安部五要素分類為基礎(chǔ)，并在上層綜合系統(tǒng)的要求下進(jìn)行一定的擴充，數(shù)據(jù)將以利于整合信息邏輯、能優(yōu)化檢索速度的格式存儲，通過深層次挖掘公安業(yè)務(wù)信息，按照不同的分析主題（OLAP 多維分析）、數(shù)據(jù)挖掘和情報研判模型，建立模型庫、主題庫和知識庫， 應(yīng)用一定的推理邏輯， 實現(xiàn)情報研判和公安宏觀分析的自動化，為領(lǐng)導(dǎo)和一線民警提供輔助決策和偵察破案服務(wù)。 數(shù)據(jù)倉庫分析主題庫建設(shè)可以包括治安專題、戶籍專題、消防專題、旅客專題、監(jiān) 管專題和民警專題 ，以下以治安 專題為例描述各分析對象的分析維度：? 接警分析：分析維度：報警方式,事別,報警發(fā)生和發(fā)現(xiàn)時間的年、月、日? 處警分析：分析維度：處警單位，處警事別， 處警意向，處警時間(時間的年、月、日) ，時間段(0－6；6－12；12－18；18－24)? 刑事案件分析：分析維度：案件的階段：受理、立案、破案、不立案、偵查終結(jié)；案件受理的時間：年、月、日；辦案單位：分局、派出所、民警；案件的類別：大案別、二級案別、小案 別? 行政案件分析：分析維度：案件的階段：受理、裁決處罰、處罰執(zhí)行、行政復(fù)議、行政訴訟；案件受理的時間：年、月、日；辦案 單位：分局、派出所、警務(wù)綜合平臺 蓋特佳信息安全技術(shù)股份有限公司 第 22 頁民警；案件的類別：大案別、二級案別、小案 別? 多發(fā)性案件分析：分析維度：在特定時間范圍內(nèi)各種事別占總案件數(shù)的百分比，具體分析每天各時間段(0－6；6－12；12－18；18－24)的案發(fā)率? 多犯罪人員綜合分析：分析維度：犯罪人員的年齡，性別，婚姻狀況，文化程度，所屬行政區(qū)劃，籍貫，所犯罪 別， 職業(yè)? 社會治安綜合分析：發(fā)案率的環(huán)比，同比，轄區(qū)管轄人口發(fā)案率 綜合庫數(shù)據(jù)整合過程1．全文檢索庫的生成：網(wǎng)頁等非結(jié)構(gòu)化數(shù)據(jù)、各數(shù)據(jù)庫數(shù)據(jù)通過搜索引擎產(chǎn)品自帶的“網(wǎng)絡(luò)爬蟲 “可以不間 斷的獲得可訪問的網(wǎng)絡(luò)通路上的任何 資源，并動態(tài)更新資源的快照以緩存資源。通過對數(shù)據(jù)字段的抽取生成全文檢索庫2．基礎(chǔ)業(yè)務(wù)數(shù)據(jù)庫的生成：公安業(yè)務(wù)數(shù)據(jù)庫（包括市局各業(yè)務(wù)部門數(shù)據(jù)庫和區(qū)縣各業(yè)務(wù)部門數(shù)據(jù)庫），公安部級數(shù)據(jù)庫（八大資源庫），社會信息數(shù)據(jù)庫（需要建設(shè)安全接入平臺，還需要與有關(guān)部門協(xié)調(diào)獲得數(shù)據(jù)，系統(tǒng)留有接口）通過ETL 工具完成數(shù)據(jù)抽取、清洗， 轉(zhuǎn)換，裝 載到基礎(chǔ)業(yè)務(wù)數(shù)據(jù)庫，ETL 工具運行描述如下：? 標(biāo)準(zhǔn)庫建立：首先根據(jù)公安部標(biāo)準(zhǔn)，國家標(biāo)準(zhǔn)建立公安業(yè)務(wù)數(shù)據(jù)標(biāo)準(zhǔn)，并建立標(biāo)準(zhǔn)庫，包括數(shù)據(jù)字段類型， 長度，可選數(shù)值和 標(biāo)準(zhǔn)代碼庫? 數(shù)據(jù)抽?。阂詷?biāo)準(zhǔn)庫為基礎(chǔ)，建立業(yè)務(wù)庫與基礎(chǔ)業(yè)務(wù)數(shù)據(jù)庫的數(shù)據(jù)映射規(guī)則，即數(shù)據(jù)抽取規(guī)則，然后根據(jù)數(shù)據(jù)抽取 規(guī)則抽取業(yè)務(wù)庫數(shù)據(jù)到轉(zhuǎn)儲數(shù)據(jù)庫中，數(shù)據(jù)抽取遵循原則參照 警務(wù)綜合平臺 蓋特佳信息安全技術(shù)股份有限公司 第 23 頁? 數(shù)據(jù)清洗：對轉(zhuǎn)儲的業(yè)務(wù)數(shù)據(jù)，根據(jù)定義的數(shù)據(jù)清洗規(guī)則進(jìn)行清洗，對于有問題的數(shù)據(jù)則存儲到問題數(shù)據(jù)庫中? 數(shù)據(jù)轉(zhuǎn)換：以標(biāo)準(zhǔn)庫為基礎(chǔ)定義數(shù)據(jù)轉(zhuǎn)換規(guī)則，包括字符集轉(zhuǎn)換，格式轉(zhuǎn)換，代碼轉(zhuǎn)換，值轉(zhuǎn)換，根據(jù)數(shù)據(jù) 轉(zhuǎn)換規(guī)則對經(jīng)過第一步清洗的數(shù)據(jù)， 進(jìn)行數(shù)據(jù)轉(zhuǎn)換? 數(shù)據(jù)校驗：對完成整合的綜合數(shù)據(jù)通過校驗器按定義好的校驗規(guī)則進(jìn)行數(shù)據(jù)校驗，找出第二批的問題數(shù)據(jù)，使得數(shù)據(jù)的質(zhì)量進(jìn)一步提高? 數(shù)據(jù)裝載：把完成前面步驟的數(shù)據(jù)裝載到基礎(chǔ)業(yè)務(wù)數(shù)據(jù)庫中，產(chǎn)生的數(shù)據(jù)是經(jīng)過整合的基礎(chǔ)業(yè)務(wù)數(shù)據(jù)庫 平臺工具 ETL 工具ETL 工具完成定期把公安的各個業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)按照新的主題模型加載到數(shù)據(jù)倉庫中去的任務(wù)，隨著業(yè)務(wù)需求的發(fā)展，有更多的業(yè)務(wù)系統(tǒng)如人口系統(tǒng)的數(shù)據(jù)源將通過 ETL 過程集中并轉(zhuǎn)換到數(shù)據(jù)倉庫中去，目前我們的 ETL 工具完全可以滿足市級公安每天 100 萬條的業(yè)務(wù)新增數(shù)據(jù)量。同時我們在選擇 ETL 工具 時必須考慮了以下幾點性能： 對平臺的支持對數(shù)據(jù)源的支持?jǐn)?shù)據(jù)轉(zhuǎn)換功能管理和調(diào)度功能警務(wù)綜合平臺 蓋特佳信息安全技術(shù)股份有限公司 第 24 頁集成和開放管理對元數(shù)據(jù)的管理 數(shù)據(jù)倉庫的存儲我們以公安目前需要的 TB 級以上數(shù)據(jù)的需求來看，我們在建設(shè)數(shù)據(jù)庫倉庫從以下幾點來保證系統(tǒng)性能：對平臺的支持對數(shù)據(jù)源的支持?jǐn)?shù)據(jù)建模的功能，能方便的建立客戶的商業(yè)模型管理和調(diào)度功能提供對服務(wù)的進(jìn)度、資源等項目的管理。與其它數(shù)據(jù)倉庫的數(shù)據(jù)遷移功能 前端展現(xiàn)工具為了滿足目前公安系統(tǒng)對計算性能的需求，以及開發(fā)人員的開發(fā)速度和系統(tǒng)低維護(hù)成本的要求，在前端工具的選擇上我們從以下幾點來保證性能：易于使用易于設(shè)置靈活地展現(xiàn)數(shù)據(jù)倉庫的結(jié)構(gòu)，將數(shù)據(jù) 倉庫的設(shè)計翻譯成業(yè)務(wù)術(shù)語。能彌補 SQL 的限制，增加如 running totals、跨聚合級別比較數(shù)據(jù)、排名次等功能。便于最終用戶使用，無須編程。使用查詢和報表的同一工具必須也提供分析能力，這樣不需要另外的警務(wù)綜合平臺 蓋特佳信息安全技術(shù)股份有限公司 第 25 頁培訓(xùn)學(xué)習(xí)，而且也不需要 IT 人員的幫助將數(shù)據(jù)從一個工具 轉(zhuǎn)換到另一個工具中。允許在一個報表中溶入多個數(shù)據(jù)源的數(shù)據(jù)。 這些數(shù)據(jù)源可以包括任何異構(gòu)的關(guān)系數(shù)據(jù)庫、OLAP Server 和本地數(shù)據(jù)文件 開發(fā)方法針對公安系統(tǒng)的業(yè)務(wù)發(fā)展特點，以及采用的基于數(shù)據(jù)倉庫技術(shù)的系統(tǒng)架構(gòu)，我們在項目實施上采用 CRISPDM 方法論來規(guī)范、指 導(dǎo)開發(fā)實施人員的工作，我們在開發(fā)系統(tǒng)中發(fā)現(xiàn)數(shù)據(jù)倉庫項目不單是數(shù)據(jù)的組織或者呈現(xiàn)，也不僅是數(shù)據(jù)分析和統(tǒng)計建模，而是一個從理解業(yè)務(wù)需求、 尋求解決方案到接受實踐檢驗的完整過程。我們在系統(tǒng)建設(shè)中包括以下六個階段（如下圖所示）：業(yè)務(wù)理解，數(shù)據(jù)理解，數(shù)據(jù)準(zhǔn)備，建模， 評估和發(fā)布。商業(yè)理解 數(shù)據(jù)理解數(shù)據(jù)準(zhǔn)備建模評估發(fā)布 數(shù)據(jù)圖 系統(tǒng)建設(shè)的六個階段警務(wù)綜合平臺 蓋特佳信息安全技術(shù)股份有限公司 第 26 頁 在項目的具體實施過程中我們將嚴(yán)格按照以下的開發(fā)流程。 業(yè)務(wù)理解1. 找問題－確定分析的業(yè)務(wù)目標(biāo)2. 對現(xiàn)有數(shù)據(jù)的評估3. 確定問題是否能夠通過數(shù)據(jù)分析來解決4. 確定數(shù)據(jù)分析的目標(biāo)5. 制定數(shù)據(jù)分析的計劃 數(shù)據(jù)理解1. 確定數(shù)據(jù)分析所需要的數(shù)據(jù)2. 對數(shù)據(jù)進(jìn)行描述3. 數(shù)據(jù)的初步探索4. 檢查數(shù)據(jù)的質(zhì)量 數(shù)據(jù)準(zhǔn)備1. 選擇數(shù)據(jù)2. 清理數(shù)據(jù)3. 對數(shù)據(jù)進(jìn)行重建4. 調(diào)整數(shù)據(jù)格式使之適合建模警務(wù)綜合平臺 蓋特佳信息安全技術(shù)股份有限公司 第 27 頁 建立模型1. 對各個模型進(jìn)行評價2. 選擇數(shù)據(jù)分析模型3. 建立模型 模型評估1. 評估數(shù)據(jù)分析的結(jié)果2. 對整個數(shù)據(jù)分析過程的前面步驟進(jìn)行評估3. 確定下一步怎么辦？是發(fā)布模型？還是對數(shù)據(jù)分析過程進(jìn)行進(jìn)一步的調(diào)整，產(chǎn)生新的模型 模型發(fā)布1. 把數(shù)據(jù)分析模型的結(jié)果送到相應(yīng)的管理人員手中2. 對模型進(jìn)行日常的監(jiān)測和維護(hù)3. 定期更新數(shù)據(jù)分析模型 系統(tǒng)的特點 基于數(shù)據(jù)倉庫技術(shù)的體系結(jié)構(gòu)本系統(tǒng)采用了數(shù)據(jù)倉庫的技術(shù)體系，該體系結(jié)構(gòu)從技術(shù)架構(gòu)和管理體系上保證了面向分析型的數(shù)據(jù)處理，使得公安系統(tǒng)能快速地從原有的操作型數(shù)據(jù)庫系統(tǒng)建立面向主題的、集成的、相對穩(wěn)定的、反映 歷 史變化的數(shù)據(jù)集合。并且為業(yè)務(wù)分析的改進(jìn)提供一個平臺，逐步把先進(jìn)的數(shù)據(jù)倉庫技術(shù)引入到公安系統(tǒng)的警務(wù)綜合平臺 蓋特佳信息安全技術(shù)股份有限公司 第 28 頁實際業(yè)務(wù)工作中。 靈活的多維數(shù)據(jù)分析系統(tǒng)采用成熟的多維數(shù)據(jù)建模技術(shù)。在數(shù)據(jù)分析時可以靈活地在任意維度上進(jìn)行不同層次的數(shù)據(jù)分析，在完成對數(shù)據(jù)的鉆取、旋轉(zhuǎn)和切片等基本操作功能時,最終取代傳統(tǒng)的定制報表程序設(shè)計的方式，滿足用戶各種不同角度的數(shù)據(jù)統(tǒng)計分析。 強大的數(shù)據(jù)分析技術(shù)基于數(shù)據(jù)倉庫技術(shù)，系統(tǒng)可以方便地提供優(yōu)秀的數(shù)據(jù)分析技術(shù)，例如：挖掘算法模型,如粗集方法、遺傳 算法、決策 樹方法、神 經(jīng) 網(wǎng)絡(luò)方法等。通過對公安行業(yè)業(yè)務(wù)的深刻理解，快速建立原始數(shù)據(jù)挖掘模型，提供模型評估機制對模型和結(jié)果進(jìn)行評估和優(yōu)化，從而形成 優(yōu)化的、可持 續(xù)改進(jìn)的 針對業(yè)務(wù)主題的數(shù)據(jù)分析模型。 工程方法論的運用本系統(tǒng)在實施上針對數(shù)據(jù)倉庫技術(shù)的特點,采用 CRISPDM 方法論來規(guī)范、指導(dǎo)開發(fā)實施人員的工作。 CRISPDM 方法論是實際項目的經(jīng)驗總結(jié)和理論抽象，完成一個從理解業(yè)務(wù)需求、尋求解決方案到接受 實踐檢驗的完整過程。在系統(tǒng)其它輔助模塊開發(fā)上，運用軟件工程方法管理、指導(dǎo)系統(tǒng)建設(shè)。警務(wù)綜合平臺 蓋特佳信息安全技術(shù)股份有限公司 第 29 頁 數(shù)據(jù)倉庫建設(shè)我們依據(jù)公安系統(tǒng)的特點，結(jié)合數(shù)據(jù)倉庫的技術(shù)原則，在系統(tǒng)建設(shè)上采用如下的體系結(jié)架構(gòu)數(shù)據(jù)倉庫人口系統(tǒng)元數(shù)據(jù)服務(wù)(ETL)元數(shù)據(jù)管理 數(shù)據(jù)清理 數(shù)據(jù)集成 數(shù)據(jù)變換 數(shù)據(jù)歸約數(shù)據(jù)壓縮概念分層治安信息數(shù)據(jù)集市分析建模服務(wù)報表OLAP 分析數(shù)據(jù)挖掘 等車輛等系統(tǒng)人口信息等數(shù)據(jù)集市數(shù)據(jù)展現(xiàn)...數(shù)據(jù)抽取層 數(shù)據(jù)分析建模層 數(shù)據(jù)發(fā)布層.案件系統(tǒng). 數(shù)據(jù)抽取層在本層實現(xiàn)公安各業(yè)務(wù)部門的源數(shù)據(jù)抽取到數(shù)據(jù)倉庫中的過程。本層提供元數(shù)據(jù)管理，可以方便地將公安業(yè)務(wù)中的數(shù)據(jù)按照“人、事、地、物、 組織”五要素來分類管理,通過元數(shù)據(jù)細(xì)化數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)資料間的關(guān)系,包括別名、代碼表、缺省值、數(shù) 值單位等，同時也包括對公安業(yè)務(wù)規(guī)則的理解。在數(shù)據(jù)抽取到數(shù)據(jù) 倉庫前對數(shù)據(jù)進(jìn)行數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)變換、數(shù)據(jù) 歸約等操作。警務(wù)綜合平臺 蓋特佳信息安全技術(shù)股份有限公司 第 30 頁 數(shù)據(jù)分析建模層該層提供數(shù)據(jù)建模，直接實現(xiàn)用戶的業(yè)務(wù)規(guī)則。包括支持 OLAP、模型神 經(jīng)網(wǎng)絡(luò)、回歸 分析、主成分分析/因子等分析方法，既有 OLAP 的分析又有 Data Mining 的分析。通過對公安業(yè)務(wù)的分析建立分析模型，針對公安各業(yè)務(wù)部門的業(yè)務(wù)特點，形成主題表，據(jù)此從數(shù)據(jù)倉庫 中選出多個數(shù)據(jù)子集，即數(shù)據(jù)集市（DataMart），以便于對跨業(yè)務(wù)部門的分析主題的分析。 數(shù)據(jù)表現(xiàn)層本層實現(xiàn)了 OLAP 分析和知識評估以及發(fā)布的功能。針對不同的業(yè)務(wù)部門，不同的發(fā)布對象提供統(tǒng)一的發(fā)布平臺，包括以下幾個方面。 查詢：實現(xiàn)預(yù)定義查詢、動態(tài)查詢、 OLAP 查詢與決策支持智能查詢； 報表：產(chǎn)生關(guān)系數(shù)據(jù)表格、復(fù)雜表格、 OLAP 表格、報告以及各種綜合報表；給業(yè)務(wù)用戶以不同方法分析數(shù)據(jù)的能力和自由度，而不受預(yù)先設(shè)定的一組報告的限制； 可視化：用易于理解的點線圖、直方圖、 餅圖、網(wǎng)狀圖、交互式可視化、動態(tài)模擬、計算機動畫技術(shù)表現(xiàn)復(fù)雜數(shù)據(jù)及其相互關(guān)系； 統(tǒng)計：進(jìn)行平均值、最大值、最小 值、期望、方差、匯總、排序等各種統(tǒng)計模型的分析； 挖掘：利用分類、回歸、聚類等各種數(shù)據(jù)挖掘方法，從數(shù)據(jù)中得到關(guān)于數(shù)據(jù)關(guān)系和業(yè)務(wù)模式的知識。警務(wù)綜合平臺 蓋特佳信息安全技術(shù)股份有限公司 第 31 頁 數(shù)據(jù)倉庫設(shè)計步驟數(shù)據(jù)倉庫設(shè)計的主要步驟如下:1. 概念模型的設(shè)計：主要是對原有數(shù)據(jù)庫系統(tǒng)進(jìn)行分析，在此基礎(chǔ)上確定數(shù)據(jù)倉庫的概念模型，確定數(shù)據(jù)倉庫的主題。2. 數(shù)據(jù)庫的邏輯設(shè)計：在確定主題后, 需要對主題包含的信息進(jìn)行詳細(xì)定義, 并對事實表和維表的關(guān)系詳細(xì)定義。3. 數(shù)據(jù)庫的物理設(shè)計：物理設(shè)計主要考慮數(shù)據(jù)的存儲方式，使得系統(tǒng)有較好的性能。對于記錄龐大的事實表，可以考 慮分區(qū)存放。而記錄很少的維表則可以集中存放于某一表空間, 甚至可以讓其數(shù)據(jù)在首次讀取時駐留在系統(tǒng)內(nèi)存中, 以加快數(shù)據(jù)存取速度。索引的建立也在物理設(shè)計中完成。4. 源數(shù)據(jù)獲取、清洗、整理及裝載設(shè)計：以統(tǒng)一定義的格式從各個系統(tǒng)抽取出來，經(jīng)過清洗，再經(jīng)過數(shù)據(jù)裝載和整理程序進(jìn)入數(shù)據(jù)倉庫。5. 數(shù)據(jù)表達(dá)及訪問設(shè)計：數(shù)據(jù)按統(tǒng)一格式、不同的主題存放到數(shù)據(jù)倉庫后，下一步要著手?jǐn)?shù)據(jù)表達(dá)及訪問。這主要考慮用戶對信息的具體需求, 對應(yīng)采用不同的方式。比如, 使用 Oracle 數(shù)據(jù)庫存放數(shù)據(jù), 可以用 PL/SQL編制報表, 也可以用 Developer 2022 或 Visual Basic 編制報表, 當(dāng)然也可以采用一些業(yè)界優(yōu)秀的 OLAP 產(chǎn)品, 例如 Cognos 公司的Transformer、PowerPlay Enterprise、Oracle 公司的 Express 等。6. 編碼、測試及實施。警務(wù)綜合平臺 蓋特佳信息安全技術(shù)