數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘綜述-資料下載頁(yè)
2025-05-24 13:26本頁(yè)面
【導(dǎo)讀】數(shù)據(jù)挖掘應(yīng)用平臺(tái)。對(duì)數(shù)據(jù)倉(cāng)庫(kù)的一些誤解。定單處理；應(yīng)收帳目；應(yīng)付帳目；…典型的主題領(lǐng)域：客戶；產(chǎn)品；交易；帳目。主題領(lǐng)域以一組相關(guān)的表來(lái)具體實(shí)現(xiàn)。相關(guān)的表通過(guò)公共的鍵碼聯(lián)系起來(lái)。每個(gè)鍵碼都有時(shí)間元素（從日期到日期；每月累積；單獨(dú)日期…主題內(nèi)數(shù)據(jù)可以存儲(chǔ)在不同介質(zhì)上。數(shù)據(jù)提取、凈化、轉(zhuǎn)換、裝載。批處理增加，倉(cāng)庫(kù)已經(jīng)存在的數(shù)據(jù)不會(huì)改變。隨時(shí)間而變化（時(shí)間維）。數(shù)據(jù)集市--小型的，面向部門(mén)或工作組級(jí)。操作數(shù)據(jù)存儲(chǔ)—ODS是能支持企業(yè)日常的全。據(jù)環(huán)境,是DW擴(kuò)展后得到的一個(gè)混合形式。關(guān)于數(shù)據(jù)的數(shù)據(jù)，用于構(gòu)造、維持、管理、和使用數(shù)據(jù)。數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)單位中保存數(shù)據(jù)的細(xì)化或綜合程度的級(jí)。數(shù)據(jù)分散到各自的物理單元中去，它們能獨(dú)立地處理。需要非范式化處理。元數(shù)據(jù)庫(kù)及元數(shù)據(jù)管理。數(shù)據(jù)訪問(wèn)和分析工具
【正文】 20xx (Analysis service) ? IBM IntelligentMiner on DB2 ? SAS EnterpriseMiner: data warehousing + mining ? Querybased mining ? Querying database/DW/Web knowledge ? Efficiency and flexibility: preprocessing, online processing, optimization, integration, etc. “ Vertical” Data Mining ? Generic data mining tools? —Too simple to match domainspecific, sophisticated applications ? Expert knowledge and business logic represent many years of work in their own fields! ? Data mining + business logic + domain experts ? A multidimensional view of data miners ? Complexity of data: Web, sequence, spatial, multimedia, … ? Complexity of domains: DNA, astronomy, market, tele, … ? Domainspecific data mining tools ? Provide concrete, killer solution to specific problems ? Feedback to build more powerful tools Invisible Data Mining ? Build mining functions into daily information services ? Web search engine (link analysis, authoritative pages, user profiles)—adaptive web sites, etc. ? Improvement of query processing: history + data ? Making service smart and efficient ? Benefits from/to data mining research ? Data mining research has produced many scalable, efficient, novel mining solutions ? Applications feed new challenge problems to research Towards Intelligent Tools for Data Mining ? Integration paves the way to intelligent mining ? Smart interface brings intelligence ? Easy to use, understand and manipulate ? One picture may worth 1,000 words ? Visual and audio data mining ? HumanCentered Data Mining ? Towards selftuning, selfmanaging, selftriggering data mining Integrated Mining: A Booster for Intelligent Mining ? Integration paves the way to intelligent mining ? Data mining integrates with DBMS, DW, WebDB, etc ? Integration inherits the power of uptodate information technology: querying, MD analysis, similarity search, etc. ? Mining can be viewed as querying database knowledge ? Integration leads to standard interface/language, function/process standardization, utility, and reachability ? Efficiency and scalability bring intelligent mining to reality 數(shù)據(jù)挖掘與標(biāo)準(zhǔn)化進(jìn)程 ? CRISP—DM ? 過(guò)程標(biāo)準(zhǔn)化 （ CRossIndustry Standard Process for Data Mining） ? XML ? 與數(shù)據(jù)預(yù)處理相結(jié)合 ? SOAP（ Simple Object Access Protocol ） ? 數(shù)據(jù)庫(kù)與系統(tǒng)互操作的標(biāo)準(zhǔn) ? PMML ? 預(yù)言模型交換標(biāo)準(zhǔn) ? OLE DB For Data Mining ? 數(shù)據(jù)挖掘系統(tǒng)基于 API的接口 提綱 ? 數(shù)據(jù)倉(cāng)庫(kù)概念 ? 數(shù)據(jù)倉(cāng)庫(kù)體系結(jié)構(gòu)及組件 ? 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì) ? 數(shù)據(jù)倉(cāng)庫(kù)技術(shù)（與數(shù)據(jù)庫(kù)技術(shù)的區(qū)別） ? 數(shù)據(jù)倉(cāng)庫(kù)性能 ? 數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用 ? 數(shù)據(jù)挖掘應(yīng)用概述 ? 數(shù)據(jù)挖掘技術(shù)與趨勢(shì) ? 數(shù)據(jù)挖掘應(yīng)用平臺(tái)（科委申請(qǐng)項(xiàng)目） 數(shù)據(jù)挖掘應(yīng)用平臺(tái) ?項(xiàng)目最終目標(biāo) ?研究?jī)?nèi)容（含系統(tǒng)結(jié)構(gòu)、層次等） ?技術(shù)路線和實(shí)現(xiàn)方法 ?關(guān)鍵技術(shù)分析 ?成果形式和考核指標(biāo) 項(xiàng)目最終目標(biāo)（ 1） ? 一年內(nèi)，研究數(shù)據(jù)挖掘技術(shù)，實(shí)現(xiàn)數(shù)據(jù)挖掘主要算法，開(kāi)發(fā)出擁有自主知識(shí)產(chǎn)權(quán)并具有擴(kuò)充性好、便于應(yīng)用的特點(diǎn)的數(shù)據(jù)挖掘應(yīng)用平臺(tái)，建立一套規(guī)范實(shí)用的數(shù)據(jù)挖掘?qū)嶋H應(yīng)用方法論 項(xiàng)目最終目標(biāo)（ 2） ? 所研究的數(shù)據(jù)挖掘技術(shù)達(dá)到國(guó)際先進(jìn)水平 ? 實(shí)現(xiàn)主要的數(shù)據(jù)挖掘算法，如關(guān)聯(lián)規(guī)則、聚集、分類等 ? 所開(kāi)發(fā)的數(shù)據(jù)挖掘應(yīng)用平臺(tái)擁有自主知識(shí)產(chǎn)權(quán)，并具有擴(kuò)充性好，便于應(yīng)用的特點(diǎn) ? 所建立的數(shù)據(jù)挖掘應(yīng)用的方法論規(guī)范實(shí)用 研究?jī)?nèi)容 ? 層次結(jié)構(gòu) ? 數(shù)據(jù)挖掘 + 商業(yè)邏輯 + 行業(yè)應(yīng)用 ? 可擴(kuò)展性的體系結(jié)構(gòu) ? 軟件結(jié)構(gòu) ? 數(shù)據(jù)挖掘平臺(tái)的應(yīng)用 ? 針對(duì)行業(yè)的解決方案 ? 軟件開(kāi)發(fā)商二次開(kāi)發(fā) 層次結(jié)構(gòu)： 數(shù)據(jù)挖掘 + 商業(yè)邏輯 + 行業(yè)應(yīng)用 關(guān)聯(lián)規(guī)則、序列模式、分類、聚集、神經(jīng)元網(wǎng)絡(luò)、偏差分析 … 數(shù)據(jù)挖掘算法層 產(chǎn)品推薦、客戶細(xì)分、客戶流失、欺詐甄別、特征分析 … 商業(yè)邏輯層 基因（ DNA） 分析、銀行、保險(xiǎn)、電信、證券、零售業(yè) … 行業(yè)應(yīng)用層 數(shù)據(jù)挖掘應(yīng)用平臺(tái) 可擴(kuò)展性的體系結(jié)構(gòu) MIS ERP CRM E_Business 數(shù)據(jù)挖掘應(yīng)用平臺(tái) 探索數(shù)據(jù)倉(cāng)庫(kù) 數(shù)據(jù)挖掘 算法庫(kù) 模型庫(kù) 組件庫(kù) 產(chǎn)品推薦 客戶細(xì)分 客戶流失 欺詐甄別 特征分析 序列分析 … … 行業(yè)應(yīng)用 知識(shí) 數(shù)據(jù)挖掘應(yīng)用服務(wù)器 信息系統(tǒng) 行業(yè)客戶端 軟件結(jié)構(gòu) ? 供數(shù)據(jù)挖掘使用的數(shù)據(jù)倉(cāng)庫(kù) ? ETL工具 ? 數(shù)據(jù)挖掘應(yīng)用服務(wù)器 ? 數(shù)據(jù)挖掘應(yīng)用服務(wù)器管理平臺(tái) ? 針對(duì)行業(yè)的分析平臺(tái) 數(shù)據(jù)挖掘應(yīng)用服務(wù)器管理平臺(tái)其他行業(yè)分析平臺(tái)銀行數(shù)據(jù)挖掘分析平臺(tái)基因（DNA）序列分析平臺(tái)數(shù)據(jù)挖掘應(yīng)用服務(wù)器數(shù)據(jù)挖掘平臺(tái)的應(yīng)用： 針對(duì)行業(yè)的解決方案 數(shù)據(jù)挖掘應(yīng)用服務(wù)器探索數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)挖掘算法商業(yè)決策分析模型信息系統(tǒng) 數(shù)據(jù)源 數(shù)據(jù)挖掘應(yīng)用服務(wù)器管理平臺(tái)針對(duì)行業(yè)的數(shù)據(jù)挖掘應(yīng)用 模型使用 數(shù)據(jù)挖掘平臺(tái)的應(yīng)用 ： 軟件開(kāi)發(fā)商二次開(kāi)發(fā) 數(shù)據(jù)挖掘應(yīng)用服務(wù)器探索數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)挖掘算法商業(yè)決策分析模型信息系統(tǒng) 數(shù)據(jù)源 數(shù)據(jù)挖掘應(yīng)用服務(wù)器管理平臺(tái)軟件產(chǎn)品： MIS、 ERP、CRM…… 模型使用 原來(lái)的 軟件產(chǎn)品 增加數(shù)據(jù)挖掘決策支持模塊 技術(shù)路線和實(shí)現(xiàn)方法 數(shù)據(jù)挖掘應(yīng)用服務(wù)器 應(yīng)用服務(wù)器管理平臺(tái) 行業(yè)應(yīng)用 1了解掌握研究動(dòng)態(tài) 2 商業(yè)模型研究 3 數(shù)據(jù)倉(cāng)庫(kù)建模 4 數(shù)據(jù)挖掘算法實(shí)現(xiàn) 5 服務(wù)器框架構(gòu)建 階段一 階段二 階段三 1 模型創(chuàng)建可視化 2 服務(wù)器調(diào)度和監(jiān)聽(tīng) 3 數(shù)據(jù)抽取工具研制 4 用戶界面友好 1 模型顯示可視化 2 模型組件的應(yīng)用 3 特定行業(yè)應(yīng)用 4 組件二次開(kāi)發(fā)應(yīng)用 5 人機(jī)接口友好 關(guān)鍵技術(shù)分析 ? 商業(yè)模型在數(shù)據(jù)倉(cāng)庫(kù)中的實(shí)現(xiàn) ? 商業(yè)模型可視化研究 ? 模型平滑地嵌入其他應(yīng)用（ ERP， CRM） ? ETL（ 抽取、轉(zhuǎn)換、裝載）工具的研制 ? 挖掘算法與商業(yè)模型之間的映射關(guān)系 ? 數(shù)據(jù)挖掘算法的優(yōu)化 Any Questions?
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1