數(shù)據(jù)倉庫技術(shù)簡(jiǎn)介(編輯修改稿)
2024-08-26 06:58 本頁面
【文章內(nèi)容簡(jiǎn)介】 用戶使用一些工具通過網(wǎng)絡(luò)獲取數(shù)據(jù)。因此這種方法最終會(huì)使提取和維護(hù)大量數(shù)據(jù)的開銷最小。這種方法為用戶提供了最多的非預(yù)先準(zhǔn)備好的查詢可能。虛擬數(shù)據(jù)倉庫是在應(yīng)用層上進(jìn)行研究的，其組織形式是用原有的關(guān)系表模擬多維數(shù)據(jù)。用戶通過可視化的維定義工具，定義數(shù)據(jù)倉庫中的各維，但在物理存儲(chǔ)上并不實(shí)際進(jìn)行數(shù)據(jù)倉庫的組織，而只是在用戶進(jìn)行數(shù)據(jù)查詢使用時(shí)，臨時(shí)從網(wǎng)絡(luò)和數(shù)據(jù)庫中獲取數(shù)據(jù)源定義的各維數(shù)據(jù)。由于采用虛擬的方式，無需建立大量的數(shù)據(jù)存儲(chǔ)，虛擬的數(shù)據(jù)訪問方式著眼于最終用戶對(duì)數(shù)據(jù)的直接訪問，其特點(diǎn)在于用戶可以直接訪問數(shù)據(jù)而無需做大量的分析和結(jié)構(gòu)映射。3數(shù)據(jù)倉庫系統(tǒng)結(jié)構(gòu)數(shù)據(jù)倉庫是在原有關(guān)系數(shù)據(jù)庫基礎(chǔ)上發(fā)展形成的，但不同于數(shù)據(jù)庫系統(tǒng)的組織結(jié)構(gòu)形式，它從原有的業(yè)務(wù)數(shù)據(jù)庫中獲得的基本數(shù)據(jù)和綜合數(shù)據(jù)被分成一些不同的層次。一般數(shù)據(jù)倉庫的結(jié)構(gòu)組成包括當(dāng)前基本數(shù)據(jù)、歷史基本數(shù)據(jù)、輕度綜合數(shù)據(jù)、高度綜合數(shù)據(jù)、元數(shù)據(jù)。當(dāng)前基本數(shù)據(jù)是最近時(shí)期的業(yè)務(wù)數(shù)據(jù)，是數(shù)據(jù)倉庫用戶最感興趣的部分，數(shù)據(jù)量大。當(dāng)前基本數(shù)據(jù)隨時(shí)間的推移，由數(shù)據(jù)倉庫的時(shí)間控制機(jī)制轉(zhuǎn)為歷史基本數(shù)據(jù)，一般被轉(zhuǎn)存于一些轉(zhuǎn)換介質(zhì)中，如磁帶等。輕度綜合數(shù)據(jù)是從當(dāng)前基本數(shù)據(jù)中提取出來的，設(shè)計(jì)這層數(shù)據(jù)結(jié)構(gòu)時(shí)會(huì)遇到“綜合處理數(shù)據(jù)的時(shí)間段選取”、“綜合數(shù)據(jù)包含哪些數(shù)據(jù)屬性”和“內(nèi)容”等問題。最高一層的數(shù)據(jù)十分精練，是一種準(zhǔn)決策數(shù)據(jù)。數(shù)據(jù)倉庫系統(tǒng)是一個(gè)廣義概念。整個(gè)系統(tǒng)包括從操作數(shù)據(jù)庫和外部其他數(shù)據(jù)源的提取、轉(zhuǎn)換工具、數(shù)據(jù)倉庫數(shù)據(jù)部分（主要指構(gòu)成數(shù)據(jù)倉庫數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)庫和數(shù)據(jù)倉庫管理系統(tǒng)）、基于數(shù)據(jù)倉庫的數(shù)據(jù)分析工具以及與以上各部分相關(guān)的管理綜合部件，構(gòu)成了整個(gè)數(shù)據(jù)倉庫系統(tǒng)。數(shù)據(jù)倉庫系統(tǒng)所要完成的功能包括輔助用戶設(shè)計(jì)建立數(shù)據(jù)倉庫系統(tǒng)的數(shù)據(jù)組織和存儲(chǔ)。管理、維護(hù)數(shù)據(jù)倉庫的正常工作，即完成數(shù)據(jù)倉庫服務(wù)器的管理，接受用戶查詢數(shù)據(jù)的請(qǐng)求，使數(shù)據(jù)倉庫數(shù)據(jù)與操作數(shù)據(jù)庫中的數(shù)據(jù)保持有效同步等工作。綜合集成多種分析工具（包括數(shù)學(xué)統(tǒng)計(jì)分析工具、OLAP多維分析工具、數(shù)據(jù)開采工具），完成用戶根據(jù)決策需求對(duì)數(shù)據(jù)倉庫的有效使用。：圖2 數(shù)據(jù)倉庫系統(tǒng)的總體結(jié)構(gòu)從圖中可以看出數(shù)據(jù)倉庫系統(tǒng)包括以下內(nèi)容：252。 數(shù)據(jù)抽取和轉(zhuǎn)換工具，它們可以完成對(duì)數(shù)據(jù)源的抽取、清洗、維護(hù)等功能。252。 數(shù)據(jù)建模工具，用于建立數(shù)據(jù)倉庫與源數(shù)據(jù)庫間的概念模型。252。 模型、元數(shù)據(jù)。252。 能夠支持高速存取、有效地支持多維數(shù)據(jù)模型的前端工具。這樣，整個(gè)數(shù)據(jù)倉庫的組織大致分為三個(gè)部分：數(shù)據(jù)在進(jìn)入數(shù)據(jù)倉庫的存儲(chǔ)體之前，包括源數(shù)據(jù)庫、外部數(shù)據(jù)文件的清洗、變換、裝載和刷新的工具，這是第一部分。第二部分是數(shù)據(jù)倉庫的具體數(shù)據(jù)、元數(shù)據(jù)的存儲(chǔ)和數(shù)據(jù)倉庫服務(wù)器（包括數(shù)據(jù)庫服務(wù)器和OLAP服務(wù)器）。第三部分是基于數(shù)據(jù)倉庫的查詢工具，主要包括數(shù)學(xué)統(tǒng)計(jì)分析、OLAP查詢和數(shù)據(jù)開采三類工具。數(shù)據(jù)倉庫的建立首先是根據(jù)數(shù)據(jù)庫（包括關(guān)系數(shù)據(jù)庫和其他數(shù)據(jù)源）使用多維視圖定義工具完成數(shù)據(jù)模型的設(shè)計(jì)，再通過“抽取”工具將數(shù)據(jù)庫中原始數(shù)據(jù)轉(zhuǎn)入數(shù)據(jù)倉庫的存儲(chǔ)結(jié)構(gòu)（有關(guān)數(shù)據(jù)庫和多維數(shù)據(jù)庫兩種存儲(chǔ)形式）中。這部分要完成清洗、變換和集成數(shù)據(jù)，將數(shù)據(jù)裝載到數(shù)據(jù)倉庫中，定期清理數(shù)據(jù)倉庫，消除數(shù)據(jù)倉庫與源數(shù)據(jù)庫的不一致，清除失效數(shù)據(jù)等。在數(shù)據(jù)初次提取和以后數(shù)據(jù)同步時(shí)，需要花費(fèi)的時(shí)間開銷大，需要留出充裕的時(shí)間。而且，這一部分的程序可能是數(shù)據(jù)倉庫中最難管理的，并且有可能是各類軟件組成的集成體。數(shù)據(jù)倉庫中另一個(gè)比較重要的部分是元數(shù)據(jù)管理部件。數(shù)據(jù)倉庫中數(shù)據(jù)的存儲(chǔ)和管理由多維數(shù)據(jù)視圖來表現(xiàn)，是元數(shù)據(jù)的最主要部分。元數(shù)據(jù)存儲(chǔ)有數(shù)據(jù)倉庫的結(jié)構(gòu)信息，相應(yīng)也有一些工具程序完成對(duì)多維視圖的定義，元數(shù)據(jù)的管理、存儲(chǔ)，對(duì)整個(gè)數(shù)據(jù)倉庫的檢測(cè)和管理。數(shù)據(jù)倉庫系統(tǒng)是為決策支持服務(wù)的，在數(shù)據(jù)倉庫的數(shù)據(jù)存儲(chǔ)建立以后，用戶可以使用系統(tǒng)提供的多分析工具完成對(duì)數(shù)據(jù)的操作，獲取個(gè)人需要的信息。4數(shù)據(jù)倉庫的關(guān)鍵技術(shù) 與關(guān)系數(shù)據(jù)庫不同，數(shù)據(jù)倉庫并沒有嚴(yán)格的數(shù)學(xué)理論基礎(chǔ)，它更偏向于工程。由于數(shù)據(jù)倉庫的這種工程性，因而在技術(shù)上可以根據(jù)它的工作過程分為：數(shù)據(jù)的抽取、存儲(chǔ)和管理、數(shù)據(jù)的表現(xiàn)以及數(shù)據(jù)倉庫設(shè)計(jì)的技術(shù)咨詢四個(gè)方面。1） 數(shù)據(jù)的抽取數(shù)據(jù)的抽取是數(shù)據(jù)進(jìn)入倉庫的入口。由于數(shù)據(jù)倉庫是一個(gè)獨(dú)立的數(shù)據(jù)環(huán)境，它需要通過抽取過程將數(shù)據(jù)從聯(lián)機(jī)事務(wù)處理系統(tǒng)、外部數(shù)據(jù)源、脫機(jī)的數(shù)據(jù)存儲(chǔ)介質(zhì)中導(dǎo)入到數(shù)據(jù)倉庫。數(shù)據(jù)抽取在技術(shù)上主要涉及互連、復(fù)制、增量、轉(zhuǎn)換、調(diào)度和監(jiān)控等幾個(gè)方面。數(shù)據(jù)倉庫的數(shù)據(jù)并不要求與聯(lián)機(jī)事務(wù)處理系統(tǒng)保持實(shí)時(shí)的同步，因此數(shù)據(jù)抽取可以定時(shí)進(jìn)行，但多個(gè)抽取操作執(zhí)行的時(shí)間、相互的順序、成敗對(duì)數(shù)據(jù)倉庫中信息的有效性則至關(guān)重要。 在技術(shù)發(fā)展上，數(shù)據(jù)抽取所涉及的單個(gè)技術(shù)環(huán)節(jié)都已相對(duì)成熟，其中有一些是躲不開編程的，但整體的集成度還很不夠。目前市場(chǎng)上所提供的大多是數(shù)據(jù)抽取工具。這
黨政相關(guān)相關(guān)推薦
鄂ICP備17016276號(hào)-1