【導(dǎo)讀】湖南省物業(yè)服務(wù)行業(yè)移動信息綜合系統(tǒng)。長沙協(xié)輝房地產(chǎn)咨詢有限公司

　　

【正文】 Identifier) 在特定的范圍內(nèi)給予資源的一個明確的標(biāo)識 來源 (Source) 對當(dāng)前資源來源的參照 語種 (Language) 描述資源知識內(nèi)容的語種 關(guān)聯(lián) (Relation) 對相關(guān)資源的參照 覆蓋范圍 (Coverage) 資源內(nèi)容所涉及的外延或范圍 權(quán)限 (rights) 有關(guān)資源本身所有的或被賦予的權(quán)限信息 2) 數(shù)據(jù)更新標(biāo)準(zhǔn) 以元數(shù)據(jù)標(biāo)準(zhǔn)為核心，從制度和技術(shù)上保障各類數(shù)據(jù)更新的及時、有效 ，制度上要對各數(shù)據(jù)集提供機構(gòu)進行績效考核。 湖南省物業(yè)服務(wù)行業(yè)移動信息綜合系統(tǒng) 建設(shè)方案 22 a) 更新內(nèi)容 數(shù)據(jù)庫中已發(fā)生變化并符合更新條件的所有數(shù)據(jù)應(yīng)及時更新。按數(shù)據(jù)庫表現(xiàn)主題，更新內(nèi)容主要包括 信用數(shù)據(jù)、商品及服務(wù)數(shù)據(jù) 等。 各類數(shù)據(jù)庫更新后須更新與其對應(yīng)的元數(shù)據(jù)。 b) 更新方法 根據(jù)不同的環(huán)境、不同的數(shù)據(jù)庫類型等實際情況，制定可行的更新方法。 各類元數(shù)據(jù)采用其原來的元數(shù)據(jù)建立時采用的方法更新。未建立元數(shù)據(jù)的，依照相關(guān) 標(biāo)準(zhǔn) 建立元數(shù)據(jù)。 c) 質(zhì)量控制 質(zhì)量控制 依據(jù)有關(guān)法律法規(guī)、國家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)等，制定數(shù)據(jù)質(zhì)量控制與保障措施，并在數(shù)據(jù)庫更新的各個階段和環(huán)節(jié)嚴格執(zhí)行 。 更新設(shè)計書應(yīng)依據(jù)充分、格式規(guī)范，并經(jīng)主管部門審批認可。 利用的資料和數(shù)據(jù)源應(yīng)符合更新設(shè)計書的要求。 更新過程中采用的技術(shù)方法應(yīng)符合更新設(shè)計書的要求。 質(zhì)量考核要求 需遵循相關(guān)規(guī)定要求，內(nèi)容完整，符合邏輯。要求文檔齊全，編制規(guī)范，內(nèi)容完整。 符合更新設(shè)計中規(guī)定的其他質(zhì)量要求。 湖南省物業(yè)服務(wù)行業(yè)移動信息綜合系統(tǒng) 建設(shè)方案 23 d) 更新成果 更新數(shù)據(jù)庫包括已更新的數(shù)據(jù)及其元數(shù)據(jù)等。 其它成果包括數(shù)據(jù)庫更新需提交的技術(shù)文檔（如數(shù)據(jù)更新設(shè)計書、實施方案和詳細技術(shù)方案等）、各類資料（采用的標(biāo)準(zhǔn)、數(shù)據(jù)分析資料等），以及驗收資料等歸檔成果。 (二 ) 數(shù)據(jù)中心結(jié)構(gòu)設(shè)計 體系結(jié) 構(gòu)設(shè)計 == 數(shù)據(jù)中心 涉及數(shù)據(jù)量龐大、數(shù)據(jù)種類多、多時態(tài)并存。根據(jù)數(shù)據(jù)來源和數(shù)據(jù)結(jié)構(gòu)特性，數(shù)據(jù)庫的 核心框架 由 3 部分組成： ODS、數(shù)據(jù)倉庫（ DW） 、數(shù)據(jù)集市（ DM） ，在 核心框架的支撐下， 分 不同類型、主題 建設(shè)，有利于數(shù)據(jù)的使用與維護更新。 1) ODS 外部系統(tǒng)數(shù)據(jù) 在被 轉(zhuǎn)換、加載 入數(shù)據(jù)倉庫前都將存儲在操作型數(shù)湖南省物業(yè)服務(wù)行業(yè)移動信息綜合系統(tǒng) 建設(shè)方案 24 據(jù)存儲（ Operating Data Store， ODS）中。 ODS 按功能分為數(shù)據(jù)緩沖區(qū)和統(tǒng)一信息視圖區(qū) 兩 個區(qū)域。 ODS 緩沖區(qū) 是 一段臨時存儲區(qū)，存放由 外部系統(tǒng) 提供的數(shù)據(jù)。不同數(shù)據(jù)庫平臺（包括文本 文件類型 ）的數(shù) 據(jù)到達緩沖區(qū)后， 應(yīng)保持與原系統(tǒng)上 的一致，方便進行數(shù)據(jù)整合和處理。緩沖區(qū)存儲的數(shù)據(jù)基本上與 外部 系統(tǒng)保持一致。緩沖區(qū)存儲的數(shù)據(jù)被處理后，不會被保留。 ODS 是數(shù)據(jù)倉庫架構(gòu)中重要的功能區(qū)域，除了作為數(shù)據(jù)在進入數(shù)據(jù)倉庫區(qū)域前的緩沖區(qū)外，它集成了來自 外部系統(tǒng) 數(shù)據(jù)庫的各類業(yè)務(wù)數(shù)據(jù)，并通過對數(shù)據(jù) 整合 形成一致的企業(yè)數(shù)據(jù)集成視圖，有利于 數(shù)據(jù)使用者 更好地通觀全局，這一區(qū)域被稱作 ODS 的統(tǒng)一信息視圖區(qū)。統(tǒng)一信息視圖區(qū)內(nèi)近實時的集成數(shù)據(jù) ， 使得最終用戶能夠快速查詢近期 的 細節(jié)數(shù)據(jù)；此外，此區(qū)域還能夠以更高的性能生成操作型報表。 2) 數(shù)據(jù)倉 庫 (DW) 數(shù)據(jù)倉庫 （ Data WareHouse,DW） 是專門針對企業(yè)數(shù)據(jù)整合和數(shù)據(jù)歷史存儲需求而組織的集中化、一體化的數(shù)據(jù)存儲區(qū)域。數(shù)據(jù)倉庫由覆蓋多個主題域的企業(yè)信息組成，這些信息主要是低級別、細粒度數(shù)據(jù)，同時可以根據(jù)數(shù)據(jù)分析需求建立一定粒度的匯總數(shù)據(jù)。它們按照一定頻率定期更新，主要用于為數(shù)據(jù)集市提供整合后的、高質(zhì)量的數(shù)據(jù)。數(shù)據(jù)倉庫一般很少直接面向最終用戶 ， 數(shù)據(jù)倉庫側(cè)重于數(shù)據(jù)的存儲和整合，通常采用輕量級索引。 數(shù)據(jù)倉庫區(qū)內(nèi)的數(shù)據(jù)按照主題存放，數(shù)據(jù)粒度與 ODS 緩沖區(qū)一致或粗于緩沖區(qū)，這些數(shù)據(jù)主要是企業(yè)級數(shù) 據(jù)與歷史信息，數(shù)據(jù)在線湖南省物業(yè)服務(wù)行業(yè)移動信息綜合系統(tǒng) 建設(shè)方案 25 存儲的周期一般較長。數(shù)據(jù)倉庫區(qū)的數(shù)據(jù)是由 ODS 緩沖區(qū)的數(shù)據(jù)按照數(shù)據(jù)倉庫模型的要求進行整合后形成的。 3) 數(shù)據(jù)集市 (DM) 數(shù)據(jù)集市 （ Data Mart， DM） 是一組特定的、針對某個主題域、部門或用戶分類的數(shù)據(jù)集合。這些數(shù)據(jù)需要針對用戶的快速訪問和數(shù)據(jù)輸出進行優(yōu)化，優(yōu)化的方式可以通過對數(shù)據(jù)結(jié)構(gòu)進行匯總和索引。通過數(shù)據(jù)集市可以保障數(shù)據(jù)倉庫的高可用性、可擴展性和高性能。 需要注意的是，數(shù)據(jù)集市的建立完全由業(yè)務(wù)需求驅(qū)動，因此當(dāng)業(yè)務(wù)部門產(chǎn)生新的數(shù)據(jù)分析 或應(yīng)用 需求時， 建立 數(shù)據(jù)集市。 數(shù)據(jù)集市的建立可以 采用 兩 種形式：邏輯集市（視圖方式）和物理集市。其中邏輯集市具有開發(fā)周期稍短，易擴展，節(jié)省存儲空間的優(yōu)點，其缺點是性能較低，而通過物理集市往往可以獲得較高的性能，但其開發(fā)設(shè)計周期相對較長、擴展性低、對于存儲空間要求較高。 。 邏輯模型設(shè)計 == 1) 總體邏輯結(jié)構(gòu) 。 2) 星型模式構(gòu)建 。 湖南省物業(yè)服務(wù)行業(yè)移動信息綜合系統(tǒng) 建設(shè)方案 26 物理模型設(shè)計 == 。 (三 ) 數(shù)據(jù)入庫 數(shù)據(jù)入庫是數(shù)據(jù)庫建設(shè)的一個重要環(huán)節(jié)，起著舉足輕重的作用。合理有效科學(xué)的數(shù)據(jù)入庫可以保證源數(shù)據(jù)的質(zhì)量 ， 保證系統(tǒng)功能得到正確和充分的發(fā)揮。數(shù)據(jù)入庫 ， 指在信息系統(tǒng)的建設(shè)前期即數(shù)據(jù)準(zhǔn)備時期 ， 將信息系統(tǒng)所必需 的各類數(shù)據(jù)由客戶經(jīng)過修測維護后轉(zhuǎn)入到符合信息系統(tǒng)要求的數(shù)據(jù)庫中。 入庫流程 數(shù) 據(jù) 源數(shù) 據(jù) 源數(shù) 據(jù) 提 取數(shù) 據(jù) 提 取屬 性 表屬 性 表數(shù) 據(jù) 質(zhì) 檢數(shù) 據(jù) 質(zhì) 檢質(zhì) 檢質(zhì) 檢O D SO D S失 敗成 功數(shù) 據(jù) 清 洗數(shù) 據(jù) 清 洗D WD W數(shù) 據(jù) 融 合數(shù) 據(jù) 融 合D MD M是 否 空 間化是 否 空 間化字 段 空 間 化字 段 空 間 化是否 通過編寫數(shù)據(jù)融合工具腳本，將數(shù)據(jù)源的數(shù)據(jù)提取到數(shù)據(jù)庫的屬湖南省物業(yè)服務(wù)行業(yè)移動信息綜合系統(tǒng) 建設(shè)方案 27 性表中，數(shù)據(jù)質(zhì)檢工具檢查屬性表中的數(shù)據(jù)集是否符合數(shù)據(jù)規(guī)范，對符合規(guī)范的數(shù)據(jù)入到 ODS 中。根據(jù)數(shù)據(jù)分析人員的建模要求，對 ODS中的數(shù)據(jù)做數(shù)據(jù)清洗，再入到 DW 中。最后根據(jù)實際項目需要對 DW數(shù)據(jù)做挖掘分析，得到的結(jié)果入到 DM。這是整個數(shù)據(jù)庫的入庫流程。 數(shù)據(jù)提取 數(shù)據(jù)提取是通過融合工具將數(shù)據(jù)源的數(shù)據(jù)提取到數(shù)據(jù)庫的過程。數(shù)據(jù)融合 工具提供了轉(zhuǎn)換流程設(shè)計器用來編輯轉(zhuǎn)換流程，然后在通過作業(yè)設(shè)計器指定轉(zhuǎn)換流程順序，最后執(zhí)行作業(yè)腳本來執(zhí)行轉(zhuǎn)換。 1) 轉(zhuǎn)換流程設(shè)計 轉(zhuǎn)換流程設(shè)計器提供了圖形化轉(zhuǎn)換定制功能，它包括數(shù)據(jù)輸入、輸出、轉(zhuǎn)換這三大類。輸入就是數(shù)據(jù)源的讀取，輸出就是數(shù)據(jù)集的寫入，轉(zhuǎn)換就是在輸入和輸出間做的字段轉(zhuǎn)換。 2) 作業(yè)流程設(shè)計 作業(yè)設(shè)計器同樣提供了圖形化流程定制功能。通過作業(yè)設(shè)計器，湖南省物業(yè)服務(wù)行業(yè)移動信息綜合系統(tǒng) 建設(shè)方案 28 可以規(guī)劃作業(yè)步驟，定制步驟間的依賴關(guān)系，使得整個作業(yè)定制過程更簡潔、清晰。它最大的好處是支持作業(yè)的重復(fù)執(zhí)行以及定時執(zhí)行，讓作業(yè)任務(wù)化。 3) 執(zhí)行腳本 通過轉(zhuǎn) 換流程設(shè)計器設(shè)計的一個腳本，它保存的文件是一個轉(zhuǎn)換腳本，文件后綴是 *.ktr。 通過作業(yè)流程設(shè)計器設(shè)計的一個腳本，它保存的文件是一個作業(yè)轉(zhuǎn)換腳本，文件后綴是 *.kjb。數(shù)據(jù)融合工具提供了三個命令文件，分別為 、 、 。 是數(shù)據(jù)融合工具的啟動腳本，它負責(zé)腳本文件的設(shè)計； 是作業(yè)文件的執(zhí)行腳本，它負責(zé)執(zhí)行作業(yè)文件； 是轉(zhuǎn)換文件的執(zhí)行腳本，它負責(zé)執(zhí)行轉(zhuǎn)換文件。 數(shù)據(jù)質(zhì)檢 數(shù)據(jù)中心內(nèi)的數(shù)據(jù)大多在不同的時間從不同的渠道獲取， 雖然在數(shù)據(jù)融合 工具 中對入庫的數(shù)據(jù)進行了清洗、轉(zhuǎn)換，但仍然有可能存在部分錯誤或者相互矛盾的數(shù)據(jù)。數(shù)據(jù)質(zhì)檢工具就是用來對數(shù)據(jù)中心內(nèi)湖南省物業(yè)服務(wù)行業(yè)移動信息綜合系統(tǒng) 建設(shè)方案 29 數(shù)據(jù)的正確性進行檢查。 數(shù)據(jù)質(zhì)檢中預(yù)設(shè)了若干檢查規(guī)則，質(zhì)檢人員可以根據(jù)數(shù)據(jù)的實際情況選擇檢查規(guī)則對數(shù)據(jù)進行檢查，并對問題數(shù)據(jù)進行編輯處理。為滿足業(yè)務(wù)需求，支持通過二次開發(fā)的方式對檢查規(guī)則進行擴展。 數(shù)據(jù)清洗 數(shù)據(jù) 清洗是過濾那些不符合要求的數(shù)據(jù)。不符合要求的數(shù)據(jù)主要是有不完整的數(shù)據(jù)、錯誤的數(shù)據(jù)、重復(fù)的數(shù)據(jù)三大類。 數(shù)據(jù)清洗的工具是數(shù)據(jù)融合工具，通過轉(zhuǎn)換流程設(shè)計器設(shè)計一個數(shù)據(jù)清洗腳本，然 后執(zhí)行該腳本，這就是數(shù)據(jù)清洗的流程。 挖掘分析 基于數(shù)據(jù)中心所存儲的多主題的海量數(shù)據(jù)，使用數(shù)據(jù)挖掘模塊提取隱含在其中的、未知但又是潛在有用的信息和知識。 數(shù)據(jù)挖掘工具在進行挖掘分析前需要通過數(shù)據(jù)融合 工具 將分析的數(shù)據(jù)提取到臨時分析區(qū)，基于臨時分析區(qū)內(nèi)的數(shù)據(jù)選擇適合的分析模型進行處理。分析得到的結(jié)果可以在數(shù)據(jù)挖掘工具中直觀地展現(xiàn)出來，也可以為經(jīng)過驗證的分析模型定制開發(fā)服務(wù)，進行發(fā)布，對外提供分類、預(yù)測等功能。 數(shù)據(jù)挖掘工具內(nèi)部的主要流程如下圖所示： 湖南省物業(yè)服務(wù)行業(yè)移動信息綜合系統(tǒng) 建設(shè)方案 30 (四 ) 數(shù)據(jù)庫更新 == 。 (五 ) 數(shù)據(jù)備份與恢復(fù) 隨著數(shù)據(jù)庫管理系統(tǒng)（ Database Management System,DBMS）在當(dāng)代的廣泛應(yīng)用，它在社會中的地位日益重要。但 DBMS 可能會由于一些不可預(yù)知的軟硬件故障而影響事務(wù)的正確運行，造成數(shù)據(jù)庫中的數(shù)據(jù)丟失甚至破壞數(shù)據(jù)庫，為系統(tǒng)帶來難以挽回的損失，大大降低了系統(tǒng)的可靠性和可用性。 DBMS 的備份與恢復(fù)部分 正是 要解決這些問題。因此，為保證 DBMS 的穩(wěn)定性和可用性，向用戶提供完善的安全的、可靠的備份和恢復(fù)功能，已成為 DBMS 一個必不可少的部分，也是 DBMS 性能的一個重要指標(biāo)。 在 DBMS 中，以下情況可能造成數(shù)據(jù)的丟失或系統(tǒng)的 崩潰：系統(tǒng)硬件故障； DBMS 相關(guān)軟件癱瘓；黑客攻擊或者病毒；人為誤操作；應(yīng)用程序中不可預(yù)見的 BUG。 湖南省物業(yè)服務(wù)行業(yè)移動信息綜合系統(tǒng) 建設(shè)方案 31 達夢數(shù)據(jù)庫備份與恢復(fù)策略 設(shè)計備份與恢復(fù)子系統(tǒng)時 ,要考慮到解決三類典型故障和實現(xiàn)聯(lián)機備份 ,考慮到與達夢的整體結(jié)構(gòu)相適應(yīng)，以及恢復(fù)時或聯(lián)機備份時對系統(tǒng)性能的影響不能太大。 在綜合考慮下，設(shè)計出一個備份與恢復(fù)子系統(tǒng)，它將具有多種備份方式和采用基于 REDO 日志、回滾段和操作一致性檢查點的恢復(fù)技術(shù)。 由于日志和備份與恢復(fù)有密切聯(lián)系，故下面將先給出日志的基本策略，再在此基礎(chǔ)上給出恢復(fù)的策略和備份的策略，以實現(xiàn)子系統(tǒng)的設(shè)計目標(biāo)和要求。 1) 日志的基本策略 日志采用的方式對于備份與恢復(fù)有著重要的影響。在于系統(tǒng)中，日志將采用的幾個基本策略。 （ WriteAhead LOG， WAL） WAL 是確保系統(tǒng)恢復(fù)時所有日志記錄都可用的最主要原則 ， 也是保持一致性的重要規(guī)則。它保證了所有寫盤了的數(shù)據(jù)庫修改 ， 在日志記錄中都有記載。 但當(dāng)緩沖區(qū)采用 NO_ATOMIC、 STEAL、 MP_FORCE 策略的情況下 ，它不能保證提交了的事務(wù)的日志一定都寫入日志文件中了 (可能其日志和修改的數(shù)據(jù)塊都還在緩沖區(qū)中 )。 (Force at Commit Rule， FCR) FCR 規(guī)則使得事務(wù)提交時 ,它的相應(yīng)的日志信息就刷新到磁盤上湖南省物業(yè)服務(wù)行業(yè)移動信息綜合系統(tǒng) 建設(shè)方案 32 了 ， 而不是還在日志緩沖區(qū) ， 它彌補了 WAL 的缺陷。它和 WAL 原則共同確保了 REDO 文件中的日志信息是完整的。 日志可以采用物理日志方式 ， 也可以采用邏輯日志方式 ， 或者二者混合的方式。邏輯日志可以有效的減小記錄的日志量 ， 但純粹的邏輯日志將使得恢復(fù)系統(tǒng)的設(shè)計十分復(fù)雜。在綜合考慮下，將采用邏輯日志和物理日志相混合的方式，充分利用它們各自的優(yōu)勢。 REDO 日志記錄了事務(wù)的所有更新