oracle數(shù)據(jù)倉(cāng)庫(kù)-全文預(yù)覽
【正文】 r 數(shù)據(jù)庫(kù) 簡(jiǎn)單的 OLTP, 特殊的 SQL 查詢 客戶 /服務(wù)器 方式的 OLTP 數(shù)據(jù)倉(cāng)庫(kù)和 高端的 OLTP 擴(kuò)展的 關(guān)系型 Web方式的 應(yīng)用 集中數(shù)據(jù)的 應(yīng)用平臺(tái) 2022 Oracle9i Inter 商務(wù)平臺(tái) 2022 Grid 網(wǎng)格計(jì)算 Oracle10g 下一代 Inter 計(jì)算技術(shù) (Source: DM Review, May 2022) Oracle: 最大的數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)廠商 全球數(shù)據(jù)倉(cāng)庫(kù)工具市場(chǎng)份額 IBM 16% Microsoft 9% NCR 3% Sybase 1% Others 37% SAS 9% Cognos 4% Oracle 21% (Source: IDC, Aug 2022) 議程 ? Oracle 公司簡(jiǎn)介 ? Oracle 數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)整體解決方案 ? 數(shù)據(jù)的管理 ? 數(shù)據(jù)的獲取 ? 數(shù)據(jù)的展現(xiàn) ? 問(wèn)題與討論 數(shù)據(jù) 數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)建設(shè)過(guò)程，而不是一個(gè)產(chǎn)品。 ? 使用 Cache Fusion, 僅當(dāng) 該數(shù)據(jù)塊不在全局共享的緩存中，才會(huì)執(zhí)行磁盤(pán)讀操作 數(shù)據(jù)共享問(wèn)題 Data AZ 應(yīng)用 Data AZ 應(yīng)用 Oracle9i Real Application Clusters 可伸縮性 增加系統(tǒng)擴(kuò)充能力 ? 增加機(jī)器時(shí)，系統(tǒng)性能的最佳響應(yīng) ? 快速增長(zhǎng)的集群結(jié)構(gòu) Clusters ? 快速增加節(jié)點(diǎn)和硬盤(pán) ? 當(dāng)擴(kuò)展節(jié)點(diǎn)時(shí)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)無(wú)須重新組織和分布數(shù)據(jù) Si n g l eN o d e2 N o d e s 4 N o d e s05001 , 0 0 01 , 5 0 02 , 0 0 02 , 5 0 03 , 0 0 03 , 5 0 04 , 0 0 0 Users 1,026 1,900 3,648 Oracle EBusiness Suite 11i Oracle9i RAC 可伸縮性 數(shù)據(jù)庫(kù)服務(wù)器 : HP NClass 6x440MHz CPUs 89% Scalability 93% 生產(chǎn)數(shù)據(jù)庫(kù) 延遲和零數(shù)據(jù)丟失模式 (Both) 物理后備 數(shù)據(jù)庫(kù) 建立綜合信息庫(kù)高效的備份中心 Oracle9i Data Guard (Oracle Standby database) ? 零數(shù)據(jù)丟失的災(zāi)難保護(hù) ? 通過(guò)同步 /異步的日志 log傳輸控制 ? 排除人為錯(cuò)誤 ? 通過(guò)延遲提交 ? 靈活的切換操作 ? 主數(shù)據(jù)庫(kù)和備份數(shù)據(jù)庫(kù)可以靈活的互換角色 ? Data Guard Manager ? 在 OEM圖形界面管理工具內(nèi)，配置、監(jiān)控和管理災(zāi)難保護(hù)系統(tǒng) 物理備份數(shù)據(jù)庫(kù) 生產(chǎn)系統(tǒng) 邏輯備份數(shù)據(jù)庫(kù) 主備系統(tǒng) 雙向切換 管理員控制臺(tái)和 統(tǒng)一管理平臺(tái) (Both) 延遲和零數(shù)據(jù)丟失模式 (Both) 保持?jǐn)?shù)據(jù)庫(kù) 打開(kāi)狀態(tài) SQL 提交 附加的索引 和物化視圖 建立綜合信息庫(kù)高效的備份中心 Oracle9i Data Guard (Oracle Standby database) 按固定字段的范圍分區(qū)、哈希分區(qū)、混合分區(qū)、列表分區(qū) 靈活應(yīng)用、 SQL語(yǔ)句自動(dòng)重寫(xiě)、自優(yōu)化能力 高效、靈活、易于使用的 OLAP分析、數(shù)據(jù)挖掘和數(shù)據(jù)抽取、轉(zhuǎn)換、傳輸、存儲(chǔ)服務(wù) 提高索引效率、增強(qiáng)的外連接索引能力 Oracle9i, 數(shù)據(jù)倉(cāng)庫(kù)的增強(qiáng)技術(shù) 數(shù)據(jù)分區(qū) 物化視圖 集成的 OLAP、 Data Mining和 ETL服務(wù) 位圖連接索引 數(shù)據(jù)分區(qū) 位圖索引 真正倉(cāng)庫(kù) 物化視圖 其他匯總數(shù)據(jù) 按月匯總的 不同種類(lèi)貨運(yùn)數(shù)據(jù) 按地區(qū)匯總的 每月貨運(yùn)數(shù)據(jù) 查詢 詳細(xì) 貨運(yùn)記錄 查詢 自動(dòng)重寫(xiě) 匯總數(shù)據(jù)管理 物化視圖 Materialized View 蚌埠和上海分局在過(guò)去三個(gè)月的貨運(yùn)總量是多少？ 表壓縮 (Oracle9i, 版本 2) ? 表能被壓縮 ? 在分區(qū)級(jí)別上壓縮也能具體指定 ? 典型壓縮比率從 3:1到 5:1 ? 壓縮由實(shí)際數(shù)據(jù)決定 ? 壓縮規(guī)則基于數(shù)據(jù)冗余 ? 主要好處是節(jié)省開(kāi)銷(xiāo) ? 節(jié)省 TB級(jí)的存儲(chǔ)而不影響性能或功能 數(shù)據(jù)分區(qū) 位圖索引 真正倉(cāng)庫(kù) 物化視圖 Oracle9i Database 單一的商業(yè)智能數(shù)據(jù)服務(wù)器 Relational ETL OLAP Data Mining M e t a d a t a 數(shù)據(jù)獲取 數(shù)據(jù)管理 數(shù)據(jù)展現(xiàn) 傳統(tǒng)的分析服務(wù)器 數(shù)據(jù)倉(cāng)庫(kù)引擎 數(shù)據(jù)整合引擎 OLAP 引擎 數(shù)據(jù)挖掘引擎 數(shù)據(jù)獲取 數(shù)據(jù)管理 數(shù)據(jù)展現(xiàn) Oracle9i 分析平臺(tái) Data Warehousing ETL OLAP Data Mining Oracle9i 數(shù)據(jù)獲取 數(shù)據(jù)管理 數(shù)據(jù)展現(xiàn) 更強(qiáng)大的分析能力 更加安全可靠 部署和管理更加簡(jiǎn)單 ? 目前業(yè)界最先進(jìn)的 OLAP處理方法 ? 所有 OLAP數(shù)據(jù)和處理過(guò)程都存儲(chǔ)在 Oracle9iDB ? 多維結(jié)構(gòu)（維表， cube立方體）存儲(chǔ)在數(shù)據(jù)庫(kù)中 ? 沒(méi)有外部文件存儲(chǔ)或單獨(dú)的 OLAP處理 (不同于競(jìng)爭(zhēng)對(duì)手產(chǎn)品 ) ? SQL直接訪問(wèn)多維目標(biāo)、模型、預(yù)測(cè)等 … ? 開(kāi)放的、基于 Java標(biāo)準(zhǔn)的 OLAP API ? 利用 BI Beans方式加速基于 inter的應(yīng)用開(kāi)發(fā) Oracle9iDB集成 OLAP和 Data Mining OLAP 數(shù)據(jù)分區(qū) 位圖索引 真正倉(cāng)庫(kù) 物化視圖 應(yīng)用部署 Oracle 9iAS Java 應(yīng)用或 Applet Servlet PDA Mobile Phone PC Browser Oracle 9i OLAP 服務(wù) 數(shù)據(jù)倉(cāng)庫(kù) BI Beans 庫(kù) ? 提高了應(yīng)用的預(yù)報(bào)和洞察力 ? 例如，建立貨運(yùn)量的趨勢(shì)分析模型 ? Data Mining 嵌入了 Oracle9i Database ? 簡(jiǎn)單的過(guò)程，避免了數(shù)據(jù)遷移，提 供了更好的運(yùn)行性能和可擴(kuò)展性 ? 開(kāi)放的、基于 Java標(biāo)準(zhǔn)的 API ? 用于開(kāi)發(fā)商業(yè)智能的應(yīng)用 Oracle9i Data Mining Data Mining 數(shù)據(jù)分區(qū) 位圖索引 真正倉(cāng)庫(kù) 物化視圖 ETL的壓力和挑戰(zhàn) ? 短時(shí)間內(nèi)完成大量數(shù)據(jù)的抽取、轉(zhuǎn)換和裝載 (ETL) ? 不能影響數(shù)據(jù)源系統(tǒng) (業(yè)務(wù)運(yùn)營(yíng)系統(tǒng) )和目標(biāo)系統(tǒng) (分析系統(tǒng) ) ? ETL是分析系統(tǒng)中非常復(fù)雜和關(guān)鍵的處理步驟 傳統(tǒng) ETL 處理的方法 ? 方式一：數(shù)據(jù)庫(kù)外部的 ETL ? 方式二：數(shù)據(jù)上載到數(shù)據(jù)庫(kù)的存儲(chǔ)區(qū)域 （ Staging)進(jìn)行 ETL 方式一：數(shù)據(jù)庫(kù)外部 ETL 方式一：數(shù)據(jù)庫(kù)外部 ETL ? 主要的風(fēng)險(xiǎn)和缺點(diǎn) ? 擴(kuò)展性差 ? 缺乏數(shù)據(jù)恢復(fù)能力 ? 難于維護(hù) ? 沒(méi)有充分利用數(shù)據(jù)庫(kù)的處理能力 方式二：數(shù)據(jù)庫(kù) Stage中的 ETL 方式二：數(shù)據(jù)庫(kù) Stage中的 ETL ? 主要的風(fēng)險(xiǎn)和缺點(diǎn) ? 數(shù)據(jù)庫(kù)需要存儲(chǔ)兩份數(shù)據(jù)：原始數(shù)據(jù)和中間結(jié)果數(shù)據(jù) ? 數(shù)據(jù)庫(kù)工具和語(yǔ)言對(duì)處理特殊的 ETL問(wèn)題沒(méi)有優(yōu)化 幾種高效的 ETL技術(shù) 獲取變化數(shù)據(jù) （ Change Data Capture —— CDC ) ? 從數(shù)據(jù)源中獲取變化的數(shù)據(jù) ? 異步： Oracle LogMiner 將從歸檔日志中發(fā)現(xiàn)變化數(shù)據(jù) ? 同步：復(fù)制技術(shù) ? CDC 不僅有獲取變化數(shù)據(jù)能力，而且還可提供發(fā)布的機(jī)制，不同的系統(tǒng)可進(jìn)行定制 ? 特別適合于多個(gè)數(shù)據(jù)集市（ Data Mart)的系統(tǒng) Consumption Staging Capture Oracle Stream
公司管理相關(guān)推薦
鄂ICP備17016276號(hào)-1