【正文】 即可以任取其中一種狀態(tài)編碼為 1或者 0 對于對稱的二員變量，采用 簡單匹配系數(shù) 來評價兩個對象之間的相異度 dcba cb jid ??? ??),(2020年 10月 5日星期一 Data Mining: Concepts and Techniques 53 二元變量 ? 非對稱的 如果變量的兩個狀態(tài)不是同樣重要的，則稱該變量是不對稱的。 2020年 10月 5日星期一 Data Mining: Concepts and Techniques 5 分類過程：模型創(chuàng)建 訓練集 N A M E RANK Y E A R S T E N U R E DM ik e A s s is t a n t P r o f 3 noM a r y A s s is t a n t P r o f 7 y e sB il l P r o f e s s o r 2 y e sJ im A s s o c ia t e P r o f 7 y e sD a v e A s s is t a n t P r o f 6 noA n n e A s s o c ia t e P r o f 3 no分類算法 IF rank = ‘professor’ OR years 6 THEN tenured = ‘yes’ 模型 2020年 10月 5日星期一 Data Mining: Concepts and Techniques 6 分類過程 (2): 使用模型 模型 測試集 N A M E RANK Y E A R S T E N U R E DT o m A s s i s t a n t P r o f 2 noM e r l i s a A s s o c i a t e P r o f 7 noG e o r g e P r o f e s s o r 5 y e sJ o s e p h A s s i s t a n t P r o f 7 y e s未知數(shù)據(jù) (Jeff, Professor, 4) Tenured? 2020年 10月 5日星期一 Data Mining: Concepts and Techniques 7 有監(jiān)督和無監(jiān)督學習 ? 有監(jiān)督學習 (分類 ) ? 訓練集是帶有類標簽的 ? 新的數(shù)據(jù)是基于訓練集進行分類的。 ? 規(guī)則好壞的評價 ? 決策樹的大小 ? 分類規(guī)則的簡明性 2020年 10月 5日星期一 Data Mining: Concepts and Techniques 11 分類和預測 ? 什么是分類？什么是預測 ? 關(guān)于分類和預測的一些問題 ? 使用決策樹進行分類 ? 貝葉斯分類 ? 帶回饋的分類 ? 基于關(guān)聯(lián)規(guī)則的分類 ? 其他分類方法 ? 預測 ? 分類的準確率 ? 總結(jié) 2020年 10月 5日星期一 Data Mining: Concepts and Techniques 12 使用決策樹進行分類 ? 決策樹 ? 一個樹性的結(jié)構(gòu) ? 內(nèi)部節(jié)點上選用一個屬性進行分割 ? 每個分叉都是分割的一個部分 ? 葉子節(jié)點表示一個分布 ? 決策樹生成算法分成兩個步驟 ? 樹的生成 ? 開始，數(shù)據(jù)都在根節(jié)點 ? 遞歸的進行數(shù)據(jù)分片 ? 樹的修剪 ? 去掉一些可能是噪音或者異常的數(shù)據(jù) ? 決策樹使用 : 對未知數(shù)據(jù)進行分割 ? 按照決策樹上采用的分割屬性逐層往下，直到一個葉子節(jié)點 2020年 10月 5日星期一 Data Mining: Concepts and Techniques 13 訓練集 a g e i n co me st u d e n t cre d i t _ ra t i n g b u ys_ co mp u t e r=3 0 h i g h no f a i r no=3 0 h i g h no e x ce l l e n t no3 0 …4 0 h i g h no f a i r ye s4 0 me d i u m no f a i r ye s4 0 l o w ye s f a i r ye s4 0 l o w ye s e x ce l l e n t no3 1 …4 0 l o w ye s e x ce l l e n t ye s=3 0 me d i u m no f a i r no=3 0 l o w ye s f a i r ye s4 0 me d i u m ye s f a i r ye s=3 0 me d i u m ye s e x ce l l e n t ye s3 1 …4 0 me d i u m no e x ce l l e n t ye s3 1 …4 0 h i g h ye s f a i r ye s4 0 me d i u m no e x ce l l e n t noID3算法 2020年 10月 5日星期一 Data Mining: Concepts and Techniques 14 Output: A Decision Tree for “buys_puter” age? overcast student? credit rating? no yes fair excellent =30 40 no no yes yes yes 30..40 2020年 10月 5日星期一 Data Mining: Concepts and Techniques 15 決策樹算法 ? 基本算法（貪心算法） ? 自上而下分而治之的方法 ? 開始時，所有的數(shù)據(jù)都在根節(jié)點 ? 屬性都是種類字段 (如果是連續(xù)的，將其離散化 ) ? 所有記錄用所選屬性遞歸的進行分割 ? 屬性的選擇是基于一個啟發(fā)式規(guī)則或者一個統(tǒng)計的度量 (如 , information gain) ? 停止分割的條件 ? 一個節(jié)點上的數(shù)據(jù)都是屬于同一個類別 ? 沒有屬性可以再用于對數(shù)據(jù)進行分割 2020年 10月 5日星期一 Data Mining: Concepts and Techniques 16 屬性選擇的統(tǒng)計度量 ? Information gain (ID3/) ? 所有屬性假設都是種類字段 ? 經(jīng)過修改之后可以適用于數(shù)值字段 ? Gini index (IBM IntelligentMiner) ? 能夠適用于種類和數(shù)值字段 2020年 10月 5日星期一 Data Mining: Concepts and Techniques 17 Information Gain (ID3/) ? 選擇屬性的標準：具有最高 Information Gain ? 假設有兩個類 , P 和 N ? 假設集合 S中含有 p個類別 P的記錄 ,n個類別 N的記錄 ? 決定任意一個記錄屬于類別 P或者 N所需要的 information. npnnpnnppnppnpI??????? 22 l o gl o g),(2020年 10月 5日星期一 Data Mining: Concepts and