數(shù)據(jù)倉庫與數(shù)據(jù)挖掘技術(shù)教案ppt(6-10章)-文庫吧在線文庫
【正文】 挖掘的難點 ? 對數(shù)據(jù)來源分析 ? 異構(gòu)數(shù)據(jù)環(huán)境 ? 半結(jié)構(gòu)化的數(shù)據(jù)結(jié)構(gòu) ? 解決半結(jié)構(gòu)化的數(shù)據(jù)源問題 ? 文本總結(jié) ? XML與 Web數(shù)據(jù)挖掘技術(shù) ? XML的產(chǎn)生與發(fā)展 ? XML的主要特點 EMAIL: Web數(shù)據(jù)挖掘 非結(jié)構(gòu)化數(shù)據(jù)源 ? XML在 Web數(shù)據(jù)挖掘中的應(yīng)用 ? 兩個或更多異質(zhì)數(shù)據(jù)庫之間進行通信的應(yīng)用 ? 大部分處理負載從 Web服務(wù)器轉(zhuǎn)到 Web客戶端的應(yīng)用 ? Web客戶端將同樣的數(shù)據(jù)以不同的瀏覽形式提供給不同的用戶的應(yīng)用 ? 需要智能 Web代理根據(jù)用戶個人的需要裁減信息內(nèi)容的應(yīng)用 EMAIL: Web數(shù)據(jù)挖掘 Web挖掘分類 Web挖掘 Web content mining (Web內(nèi)容挖掘 ) Web structure mining (Web結(jié)構(gòu)挖掘 ) Web usage mining (Web訪問挖掘 ) Search result mining(搜索結(jié)果再挖掘 ) General access pattern tracking （一般訪問模式跟蹤） Customized usage tracking (定制的使用跟蹤 ) Web page content mining(Web頁面內(nèi)容挖掘 ) 圖 Web挖掘分類 EMAIL: Web挖掘三種方法比較 Web內(nèi)容挖掘 Web結(jié)構(gòu)挖掘 Web訪問挖掘 處理數(shù)據(jù)類型 IR方法 數(shù)據(jù)庫方法 Web結(jié)構(gòu)挖掘 用戶訪問挖掘 無結(jié)構(gòu)和半結(jié)構(gòu)化數(shù)據(jù) 半結(jié)構(gòu)化數(shù)據(jù) 主要數(shù)據(jù) 自由文本、 HTML標(biāo)記的超文本 HTML標(biāo)記的超文本 文檔內(nèi)及文檔間的超鏈接 Serverlog,proxy serverlog,client log 表示方法 詞集、段落、概念、 IR的三種經(jīng)典模型 OEM 關(guān)系 圖 關(guān)系表、圖 處理方法 TFIDF、統(tǒng)計、機器學(xué)習(xí)、自然語言理解 數(shù)據(jù)庫技術(shù) 機器學(xué)習(xí)、專有算法（如 HITS pagerank） 統(tǒng)計、機器學(xué)習(xí)、關(guān)聯(lián)規(guī)則 主要應(yīng)用 分類、聚類、模式發(fā)現(xiàn) 模式發(fā)現(xiàn)、數(shù)據(jù)向?qū)?、多維數(shù)據(jù)庫、站點創(chuàng)建與維護 頁面權(quán)重分類聚類、模式發(fā)現(xiàn) 用戶個性化、自適應(yīng) Web站點、商業(yè)決策 EMAIL: Web數(shù)據(jù)挖掘 ? Web挖掘的基本構(gòu)架 訪問者 注冊用戶 網(wǎng)站 交易信息 瀏覽信息 數(shù)據(jù)庫、數(shù)據(jù)倉庫 Web日志文件 Web Serer中其他信息 數(shù)據(jù)預(yù)處理模塊 結(jié)構(gòu)數(shù)據(jù)挖掘模塊 Web挖掘的基本構(gòu)架 頁面訪問情況 Web結(jié)構(gòu)模式 Web內(nèi)容模式 知識 非結(jié)構(gòu)數(shù)據(jù)挖掘模塊 EMAIL: Web數(shù)據(jù)挖掘 Web內(nèi)容挖掘 ? 信息檢索（ information retrieve ， IR）方法 ? 數(shù)據(jù)庫方法 Web結(jié)構(gòu)挖掘 ? PageRank方法 Web訪問挖掘 ? 對 Web日志進行清洗、過濾和轉(zhuǎn)換以及剔除無關(guān)記錄 ? 采用統(tǒng)計學(xué)、模式識別、人工智能、數(shù)據(jù)庫數(shù)據(jù)挖掘等領(lǐng)域的成熟技術(shù)在 Web的使用記錄中挖掘知識 ? Web使用挖掘中的模式分析 EMAIL: Web數(shù)據(jù)挖掘 利用 Web日志的聚類算法 ?客戶群體的模糊聚類算法 ?用戶訪問興趣的算法 ?客戶群體聚類的 Hamming距離算法 ?基于模糊理論的 Web頁面聚類算法 ? Web頁面聚類的 Hamming距離算法 EMAIL: Web數(shù)據(jù)挖掘 電子商務(wù)中的 Web挖掘 ?電子商務(wù)中 Web挖掘的作用 ?電子商務(wù)中 Web挖掘的基本問題 ?電子商務(wù)中的數(shù)據(jù)挖掘工具 ? 文本信息挖掘工具 ? 用戶訪問模式挖掘工具 ? 用戶導(dǎo)航行為挖掘工具 ? 綜合性的 Web分析工具 EMAIL: 空間群數(shù)據(jù)挖掘 空間群數(shù)據(jù)挖掘 概念 從空間數(shù)據(jù)中抽取隱含的知識、空間關(guān)系、空間及與非空間之間的有意義的特征或模式。 for each transaction t in database do increment the count of all candidates in Ck+1 that are contained in t Lk+1 = candidates in Ck+1 with min_support end return ?k Lk。 EMAIL: 數(shù)據(jù)挖掘的關(guān)聯(lián)算法 關(guān)聯(lián)規(guī)則的概念及分類 ? 2 關(guān)聯(lián)規(guī)則的分類 分類標(biāo)準(zhǔn) 類別 規(guī)則中所處理的值 布爾關(guān)聯(lián)規(guī)則，量化關(guān)聯(lián)規(guī)則 規(guī)則中所涉及的數(shù)據(jù)維 單維關(guān)聯(lián)規(guī)則和多維關(guān)聯(lián)規(guī)則 規(guī)則中所涉及的抽象層 單層關(guān)聯(lián)規(guī)則和多層關(guān)聯(lián)規(guī)則 規(guī)則中的擴充 最大的模式和頻繁閉項集 關(guān)聯(lián)特性 分類分析與相關(guān)分析 EMAIL: 數(shù)據(jù)挖掘的關(guān)聯(lián)算法 簡單形式的關(guān)聯(lián)規(guī)則算法（單維、單層和布爾關(guān)聯(lián)規(guī)則） ? 1．簡單形式的關(guān)聯(lián)規(guī)則的核心算法 ? 找到所有支持度大于最小支持度的項集 ,即頻集 ,有 k個數(shù)據(jù)頻集稱為 k項頻集 .找出所有的頻集由 apriori算法實現(xiàn)。 EMAIL: 分類規(guī)則挖掘 決策樹 3．決策樹的可擴展性 4．基于決策樹方法的數(shù)據(jù)挖掘工具 KnowledgSEEKER EMAIL: 分類規(guī)則挖掘 貝葉斯分類 1．貝葉斯信任網(wǎng)絡(luò)如何工作 邊緣 主區(qū)域 手機呼叫 服務(wù)區(qū)域 no yes 外界 圖 簡單的貝葉斯網(wǎng)圖 EMAIL: 分類規(guī)則挖掘 貝葉斯分類 2．貝葉斯定理與樸素貝葉斯分類 ? 貝葉斯定理 : P(H|X)=P(X|H)P(H)/P(X) 其中， P(H|X)表示條件 X下 H的概率，也稱為條件概率或稱為后驗概率(posteriori probabilities)。還有 K最臨近分類、基于案例的推理、遺傳算法、粗糙集和模糊集方法 。 ? 步驟： 模型創(chuàng)建、模型使用 EMAIL: 分類規(guī)則挖掘 ? 4 評估分類方法 ? 要考慮的指標(biāo)：預(yù)測準(zhǔn)確率、速度、創(chuàng)建速度、使用速度、魯棒性、處理噪聲和丟失值、伸縮性、對磁盤駐留數(shù)據(jù)的處理能力、可解釋性、對模型的可理解程度、規(guī)則好壞的評價、決策樹的大小和分類規(guī)則的簡明性。 ? 樸素貝葉斯分類： 假定有 m個類 C1, … Cm,對于數(shù)據(jù)樣本 X,分類
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1