[理學(xué)]廈門大學(xué)數(shù)據(jù)挖掘課件之第1章數(shù)據(jù)挖掘概述(編輯修改稿)
2025-01-30 23:50 本頁面
【文章內(nèi)容簡介】 據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程 . ? 它是涉及機(jī)器學(xué)習(xí)、模式識別、統(tǒng)計(jì)學(xué)、人工智能、數(shù)據(jù)庫管理及數(shù)據(jù)可視化等學(xué)科的邊緣學(xué)科 . 2022/1/4 這個(gè)定義包括好幾層含義 ： ? 數(shù)據(jù)源必須是真實(shí)的、大量的、含噪聲的； ? 發(fā)現(xiàn)的是用戶感興趣的知識； ? 發(fā)現(xiàn)的知識要可接受、可理解、可運(yùn)用； ? 這些知識是相對的，是有特定前提和約束條件的，在特定領(lǐng)域中具有實(shí)際應(yīng)用價(jià)值 . 2022/1/4 什么是知識呢 ? ? 從廣義上理解，數(shù)據(jù)、信息是知識的表現(xiàn)形式，但是人們更把 概念、規(guī)則、模式、規(guī)律和約束等看作知識 . ? 人們把數(shù)據(jù)看作是形成知識的源泉，好像從礦石中采礦或淘金一樣 . ? 原始數(shù)據(jù)可以是 結(jié)構(gòu)化的 ，如關(guān)系數(shù)據(jù)庫中的數(shù)據(jù)；也可以是 半結(jié)構(gòu)化的 ，如文本、圖形和圖像數(shù)據(jù)；甚至是分布在網(wǎng)絡(luò)上的異構(gòu)型數(shù)據(jù) . ? 發(fā)現(xiàn)知識的方法可以是 數(shù)學(xué)的， 也可以 是非數(shù)學(xué)的； 可以是 演繹的， 也可以是 歸納的 . 發(fā)現(xiàn)的知識可以被用于信息管理、查詢優(yōu)化、決策支持和過程控制等，還可以用于數(shù)據(jù)自身的維護(hù) . 2022/1/4 167。 數(shù)據(jù)挖掘的商業(yè)定義 從商業(yè)應(yīng)用角度看，數(shù)據(jù)挖掘是一種新的商業(yè)信息處理技術(shù) . 其主要特點(diǎn)是對商業(yè)數(shù)據(jù)庫中的大量業(yè)務(wù)數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、分析和其他模型化處理，從中提取輔助商業(yè)決策的關(guān)鍵性知識，即從一個(gè)數(shù)據(jù)庫中自動發(fā)現(xiàn)相關(guān)商業(yè)模式 . 實(shí)際上多年來，統(tǒng)計(jì)學(xué)家就開始手工挖掘數(shù)據(jù)庫，從數(shù)據(jù)庫中尋找符合統(tǒng)計(jì)學(xué)規(guī)律的有意義的模式 .這也是統(tǒng)計(jì)學(xué)類型的數(shù)據(jù)挖掘技術(shù)，是目前數(shù)據(jù)挖掘技術(shù)中最為成熟的重要原因之一 . 2022/1/4 數(shù)據(jù)挖掘也可以描述為：按企業(yè)既定業(yè)務(wù)目標(biāo)，對大量的企業(yè)數(shù)據(jù)進(jìn)行探索和分析，揭示隱藏的、未知的或驗(yàn)證已知的規(guī)律性，且進(jìn)一步將其模型化的數(shù)據(jù)處理方法 . 2022/1/4 167。 數(shù)據(jù)挖掘與知識發(fā)現(xiàn) （ DM amp。 KDD） 167。 知識發(fā)現(xiàn) (Knowledge Discovery in Database)過程 知識發(fā)現(xiàn)過程可以粗略的理解為三部曲： 數(shù)據(jù)準(zhǔn)備 (data preparation) 數(shù)據(jù)挖掘 (data mining) 結(jié)果的解釋評估 (interpretation and evaluation) 2022/1/4 知識發(fā)現(xiàn)過程示意圖 2022/1/4 ? 數(shù)據(jù)準(zhǔn)備又可分為三個(gè)子步驟 ： 數(shù)據(jù)選取、數(shù)據(jù)預(yù)處理和數(shù)據(jù)變換 . ? 數(shù)據(jù)選取 的目的是確定發(fā)現(xiàn)任務(wù)的操作對象，即目標(biāo)數(shù)據(jù) . ? 數(shù)據(jù)預(yù)處理 一般可能包括消除噪聲、推導(dǎo)計(jì)算缺值數(shù)據(jù)、消除重復(fù)記錄、完成數(shù)據(jù)類型轉(zhuǎn)換等 . ? 數(shù)據(jù)變換 的主要目的是消減數(shù)據(jù)維數(shù)或降維，即從初始特征中找出真正有用的特征以減少數(shù)據(jù)開采時(shí)要考慮的特征或變量數(shù) . 2022/1/4 ? 數(shù)據(jù)挖掘階段 主要是確定開采的任務(wù)，如 數(shù)據(jù)總結(jié)、分類、聚類、關(guān)聯(lián)規(guī)則發(fā)現(xiàn)或序列模式發(fā)現(xiàn)等 . ? 確定了開采任務(wù)后，就要決定使用什么樣的開采算法 . 選擇實(shí)現(xiàn)算法有兩個(gè)需要考慮的因素： 一是不同的數(shù)據(jù)有不同的特點(diǎn)，需要用與之相應(yīng)的算法來開采； 二是根據(jù)用戶或?qū)嶋H運(yùn)行系統(tǒng)的要求來開采 . 2022/1/4 ? 結(jié)果解釋和評價(jià) 主要是數(shù)據(jù)挖掘階段發(fā)現(xiàn)出的模式，經(jīng)過用戶和機(jī)器的評價(jià)，可能存在冗余或無關(guān)的模式，這時(shí)需要將其剔除 .如果有的模式不滿足用戶要求，需要將整個(gè)發(fā)現(xiàn)過程退回到發(fā)現(xiàn)階段之前 . ? 最終結(jié)果是要面向用戶，有時(shí)要對發(fā)現(xiàn)的模式進(jìn)行可視化，或著將結(jié)果轉(zhuǎn)化為用戶易懂的另一種形式 . 2022/1/4 167。 數(shù)據(jù)挖掘的地位 KDD是一種知識發(fā)現(xiàn)的一連串程序，數(shù)據(jù)挖掘只是KDD的一個(gè)重要程序 . 數(shù)據(jù)挖掘主要是利用某些特定的知識發(fā)現(xiàn)算法，在一定的運(yùn)算效率的限制內(nèi)，從數(shù)據(jù)中發(fā)現(xiàn)有關(guān)的知識，即隱藏的模式 . 數(shù)據(jù)挖掘是 KDD中最重要的一步，在 KDD的全過程中起到了至關(guān)重要的作用 . 因此，人們往往不加區(qū)別地使用數(shù)據(jù)挖掘和 KDD. 2022/1/4 167。 數(shù)據(jù)挖掘?qū)ο? 數(shù)據(jù)挖掘的范圍非常廣泛， 可以是社會科學(xué)、經(jīng)濟(jì)學(xué)、商業(yè)數(shù)據(jù)、科學(xué)處理產(chǎn)生的數(shù)據(jù)和衛(wèi)星觀測得到的數(shù)據(jù) .它們的數(shù)據(jù)結(jié)構(gòu)也各不相同，可以是層次的、網(wǎng)狀的、關(guān)系的和面向?qū)ο蟮臄?shù)據(jù) . 2022/1/4 167。 關(guān)系數(shù)據(jù)庫 ? 關(guān)系數(shù)據(jù)庫是表的集合，每個(gè)表都賦予一個(gè)唯一的名字
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1