數(shù)據(jù)倉庫系統(tǒng)結(jié)構(gòu)模型-閱讀頁
2025-06-04 11:15本頁面
【正文】 AID 4相似，它將數(shù)據(jù)以大塊 形式條帶化到陣列中的磁盤上。數(shù)據(jù)冗余 通過奇偶校驗(yàn)信息提供。 與磁盤鏡像 (RAID 1) 相比，具有 奇偶校驗(yàn)的條帶化可提供更好的 性能。 RAID 5 是最常 用的 RAID 配置之一。該級別使用條帶化的磁盤陣列，而 該陣列又鏡像到另一組相同的條帶化磁盤。然后，條帶化的磁盤 陣列使用另一組（四個(gè)）條帶化的磁盤進(jìn)行鏡像。 在所有的 RAID 級別中， RAID 10 提供的讀取 /寫入性能最高，代價(jià) 是使用的磁盤數(shù)量是其他級別的兩倍。 廣義索引 ? ? ? ? 對于一些經(jīng)常性的查詢，利用一個(gè)規(guī)模小得多的 “廣義索引 ”，比去 針對所有數(shù)據(jù)建立索引效率高，如 上司的電話 廣義索引是在數(shù)據(jù)裝載的同時(shí)建立，它是一種元數(shù)據(jù) 廣義索引涉及的是用戶最關(guān)心的問題，需要在數(shù)據(jù)加載前進(jìn)行調(diào)查 了解。 比較適合經(jīng)常性的查詢，開銷比較小 目錄 ? Inmon數(shù)據(jù)倉庫設(shè)計(jì) ? ? 體系結(jié)構(gòu)化環(huán)境 三級模型 ? ? ? 高級模型 中級模型 低級模型 ? 性能優(yōu)化 數(shù)據(jù)倉庫的物理性能優(yōu)化 ? ? 數(shù)據(jù)倉庫的具有數(shù)據(jù)量大，操作簡單（主要為查詢操作） 的特點(diǎn)，因此，數(shù)據(jù)倉庫的性能優(yōu)化主要集中在物理 I/O 的性能上，應(yīng)盡量減少 I/O次數(shù)，使每次 I/O能夠返回盡量 多的記錄。故，合適的粒度設(shè)計(jì)會提高查詢效率。 粒度 指的是數(shù)據(jù)倉 庫中數(shù)據(jù)單元的細(xì)節(jié)程度或綜合程度的級別 數(shù)據(jù)倉庫中存在著不同的綜合級別，粒度越大， 表示細(xì)節(jié)程度越低，綜合程度越高。 對 于決策信息查詢 一般 采用高粒度級更為合適 。 把 村長 用的粒度與 總理 用的粒度調(diào)換一下便知粒度的 重要性了，兩個(gè)肯定都叫苦。 粒度的形式 ? 粒度可以分為三種形式 ? ? ? 一般意義的粒度（指最低粒度，常用） 多重粒度（常用，效率高） 活樣本數(shù)據(jù)庫（效率高） ? 在實(shí)際中，三種形式的粒度都有可能存在 ? ? 第一種形式的粒度是對數(shù)據(jù)倉庫中的數(shù)據(jù)的綜合 程度高低的一個(gè)度量，指的是最低粒度。 細(xì)節(jié)程度越高，粒度級就 越低，回答查詢的種類就越多， （官越?。?。 數(shù)據(jù)倉庫的主要作用是 DSS分析，因而其絕大部分 查詢都基于一定程度的綜合數(shù)據(jù)之上，而只有極 少的查詢涉及細(xì)節(jié)。 雙重粒度 ? ? 當(dāng)一個(gè)企業(yè)或組織的數(shù)據(jù)倉庫中擁有大量數(shù)據(jù)、 資源足夠，并需要多種類型的查詢以及追求高效 率的情況下，可以考慮多重粒度。 低粒度級的數(shù)據(jù)可以存儲在 I/O效率相對較低的介 質(zhì)上 ，當(dāng) DSS分析員需要分析更低的數(shù)據(jù)時(shí)，可以 對這些數(shù)據(jù)進(jìn)行操作。 雙重粒度 適合大多數(shù)機(jī)構(gòu)或組織的數(shù)據(jù)倉庫構(gòu)建， 單重粒度則只適用于相對較少的數(shù)據(jù)情況。而萬 一需要對細(xì)節(jié)查詢，小粒度數(shù)據(jù)也可以滿足。 Cube中的粒度設(shè)計(jì) ? 維度粒度 ：維度一般是有層次結(jié)構(gòu)的，而粒度一般是 指最細(xì)粒度。 ? 事實(shí)粒度 ：事實(shí)是由事實(shí)單元（度量）構(gòu)成的，每個(gè) 度量與參與維度的最細(xì)粒度相對應(yīng)，所以，事實(shí)存儲 的是所有參與維度的最細(xì)粒度的度量值。 350kg為最細(xì)粒 度的度量值。 ? ? ? ? 活樣本數(shù)據(jù)庫不能回答一些細(xì)節(jié)性的問題 抽樣的方法很多，一般是隨機(jī)抽取。并不是所有的數(shù)據(jù)對于具體的分析來說都具有相同 的價(jià)值，不能不分主次地對數(shù)據(jù)進(jìn)行分析（選代表）。 活樣本數(shù)據(jù)的特點(diǎn) 活樣本數(shù)據(jù)庫的主要用途 ? ? 特別是在分析工作中，有許多探索的過程，有時(shí)分析 的目的只是要建立起分析模型或是得到相對準(zhǔn)確、能 反映趨勢的數(shù)據(jù)，從而驗(yàn)證用戶的猜想，為下一步的 策略確定方向或?qū)Ξ?dāng)前分析程序做出相應(yīng)調(diào)整，而 并 不要求精確的結(jié)果 。 與數(shù)據(jù)庫系統(tǒng)的分片相似，數(shù)據(jù)倉庫的分割也分 為水平分割、垂直分割、混合分割和導(dǎo)出分割。 分區(qū)的目標(biāo) 仍然是提高數(shù)據(jù)倉庫的訪問效率，是 一種系統(tǒng)性能優(yōu)化策略。 分割方法 ? ? ? ? ? ? ? ? 數(shù)據(jù)量決定是否需要分割，規(guī)則： 小的 主題不分大的分 ； 不同主題的數(shù)據(jù)分割方法也不同，如商品按品類，供應(yīng)商 按地址； 分割標(biāo)準(zhǔn)要簡單可行，一般與現(xiàn)實(shí)業(yè)務(wù)對應(yīng)比較適合作為 標(biāo)準(zhǔn)； 分割與 粒度 掛鉤，即分片 對應(yīng) 粒度級別 恰當(dāng)?shù)臄?shù)據(jù)分區(qū)使得數(shù)據(jù)增長便于管理 如果數(shù)據(jù)分區(qū)不合理則會為數(shù)據(jù)增長和管理造成許多困難 簡單地說，數(shù)據(jù)倉庫的本質(zhì)之一是使數(shù)據(jù)訪問變得 靈活高 效 ，如果都是大塊的數(shù)據(jù)就達(dá)不到這一目標(biāo) 因此，一般情況下，對所有當(dāng)前細(xì)節(jié)的數(shù)據(jù)倉庫都要進(jìn)行 分區(qū)。（與 DBMS管理數(shù)據(jù) 同） 這種將多個(gè)表中相互關(guān)聯(lián)的記錄相鄰存儲的方式稱為合并表 性能優(yōu)化 3：表優(yōu)化 數(shù)據(jù)序列 ? 數(shù)據(jù)序列 ? 把經(jīng)常按照某一序列訪問并處理的一組表存儲在一 起可減少 I/O次數(shù) 性能優(yōu)化 3：表優(yōu)化 引入冗余 ? ? ? ? ? 數(shù)據(jù)分析處理的數(shù)據(jù)是廣泛的，數(shù)據(jù)源中的數(shù)據(jù)可能在多個(gè)地 方出現(xiàn)，如有些表的屬性不經(jīng)常發(fā)生變化，可以將某些屬性復(fù) 制到多個(gè)主題中。 由于存在事務(wù)處理，操作型數(shù)據(jù)中不適合引入冗余，否則會導(dǎo) 致數(shù)據(jù)的不一致性；而數(shù)據(jù)倉庫中不存在事務(wù)管理的問題，因 此可以采用引入冗余的技術(shù)。 增加冗余，減少連接，提高效率 性能優(yōu)化 3：表優(yōu)化 利用導(dǎo)出數(shù)據(jù) ? ? 有些匯總計(jì)算所得數(shù)據(jù)可以進(jìn)行物化處理，這種數(shù)據(jù) 為導(dǎo)出數(shù)據(jù)。 討論：規(guī)范化 /反規(guī)范化 ? ? ? ? 規(guī)范化是 OLTP系統(tǒng)中為避免數(shù)據(jù)不一致（解決數(shù)據(jù) 依賴，更新異常）和減少冗余的一種重要技術(shù)。 原因：數(shù)據(jù)倉庫中沒有更新操作，所以不會引起更新 異常問題。 性能優(yōu)化 3：表優(yōu)化 建立廣義索引 ? ? 思想：常用的數(shù)據(jù)建索引，具體內(nèi)容略。 小結(jié) ? ? ? 數(shù)據(jù)倉庫系統(tǒng)的性能優(yōu)化方法很多，可以借鑒數(shù)據(jù)庫 系統(tǒng)的優(yōu)化方法。 另外，需要針對具體的系統(tǒng)和應(yīng)用情況而制定優(yōu)化策 略
醫(yī)療健康相關(guān)推薦
鄂ICP備17016276號-1