【正文】 尼瑪 交友 推薦系統(tǒng)的構(gòu)造和優(yōu)化 ? 尼美對熵的論述 （ 其實應(yīng)該是轉(zhuǎn)述 ） – 熵的數(shù)學(xué)定義 ? 根據(jù) Shannon1948信息論 理論 。 ? 尼美 ： 長 的怎么樣 ？ ? 母親 ：挺帥的 。 就 這樣交差 ， 肯定還是會被批評的 …… ， 還有這么多麻煩 …… ， 你舉個栗子 ？ 尼瑪 交友 推薦系統(tǒng)的構(gòu)造和優(yōu)化 ? 假如 尼瑪 的數(shù)據(jù)是這樣的 (注意 紅 字 ) 序號 姓名 職業(yè)分類 職位評級 收入 有房有車 債務(wù)情況 評級 1 A 金融 A類 40W 1 低 鉆石男 2 B IT A類 18W 3 高 經(jīng)適男 3 C 行政 A類 19W 2 低 經(jīng)適男 4 D 司法 A類 35W 0 低 鉆石男 5 E 行政 B類 11W 3 中 牛奮男 6 F 金融 B類 3 低 鉆石男 7 G IT B類 12W 2 中 牛奮男 8 H 司法 A類 2 低 經(jīng)適男 9 J 行政 A類 0 低 經(jīng)適男 10 K 教育 C類 3 低 牛奮男 11 L 司法 A類 50W 3 中 鉆石男 12 M 教育 C類 2 低 牛奮男 13 N IT B類 17W 0 低 牛奮男 14 P 教育 A類 32W 2 中 經(jīng)適男 15 Q 教育 C類 14W 2 低 經(jīng)適男 16 R IT B類 2 高 牛奮男 尼瑪 交友推薦系統(tǒng)的構(gòu)造和優(yōu)化 ? 尼瑪 使用 ID3重新構(gòu)造了自己的決策樹 – 按照各種分類進(jìn)行屬性分裂的期望熵 ? 職業(yè)分類 IA(S)= ? 職位評級 IB(S)= ? 收入 IC’(S)=0!(這是感嘆號 ， 不是階乘 ) ? 有房有車 ID(S)= ? 債務(wù) 水平 IE(S)= 尼瑪 交友 推薦系統(tǒng)的構(gòu)造和優(yōu)化 ? 生成的決策樹會是這樣滴 …… – 這樣的分類可用嗎 ？ ? 現(xiàn)在有 X男 ， 年收入 ， 查無此分支 – 這樣的分類有意義嗎 ？ ? 分類不具有代表性 ? ID號也會成為最佳的分裂屬性 ? OMG！ 收入鉆石男經(jīng)適男牛奮男經(jīng)適男鉆石男鉆石男牛奮男經(jīng)適男經(jīng)適男牛奮男鉆石男牛奮男牛奮男經(jīng)適男經(jīng)適男牛奮男9 . 5 W 50 W 11 . 8 W 17 W 32 W 14 W 19 . 2 W40 W 18 W 19 W 35 W 11 W 37 . 5 W 12 W 19 . 8 W 24 . 2 W尼瑪 交友 推薦系統(tǒng)的構(gòu)造和優(yōu)化 ? 關(guān)于收入這個分裂屬性的特征 – 多 值屬性 ? 分裂 子集小 ， 所以分裂的期望熵較低 ? 分裂 屬性的值本身引入了較大的混亂度 – 收入是連續(xù)型變量 ? 將其當(dāng)作離散數(shù)據(jù)分析無法形成正確的分類 ? 如何解決這些問題 收入鉆石男經(jīng)適男牛奮男經(jīng)適男鉆石男鉆石男牛奮男經(jīng)適男經(jīng)適男牛奮男鉆石男牛奮男牛奮男經(jīng)適男經(jīng)適男牛奮男9 . 5 W 50 W 11 . 8 W 17 W 32 W 14 W 19 . 2 W40 W 18 W 19 W 35 W 11 W 37 . 5 W 12 W 19 . 8 W 24 . 2 W尼瑪 交友 推薦系統(tǒng)的構(gòu)造和優(yōu)化 ? 思路 – 采用 信息增益率 取代信息增益作為分裂屬性選取的標(biāo)準(zhǔn) – 對連續(xù)型的屬性值進(jìn)行 離散化 Hey， Guys！ 可以嘗試下 。 所謂分裂屬性就是在某個節(jié)點處按照某一特征屬性的不同劃分構(gòu)造不同的分支 ， 其目標(biāo)是讓各個分裂子集盡可能地 “ 純 ” 。 ? 決策樹的最基本功能 ——分類 ? 這個思路就是 CLS算法 – Hunt， Marin和 Stone于 1966年提出 ， 決策樹的雛形 尼瑪 交友推薦系統(tǒng)的構(gòu)造和優(yōu)化 ? 尼瑪 決定開始構(gòu)造自己的決策樹 – 數(shù)據(jù)就是王道 ， 尼瑪公開了 16組數(shù)據(jù) 序號 姓名 職業(yè)分類 職位評級 收入水平 有房有車 債務(wù)情況 評級 1 A 金融 A類 高 1 低 鉆石男 2 B IT A類 中 3 高 經(jīng)適男 3 C 行政 A類 中 2 低 經(jīng)適男 4 D 司法 A類 高 0 低 鉆石男 5 E 行政 B類 中 3 中 牛奮男 6 F 金融 B類 高 3 低 鉆石男 7 G IT B類 中 2 中 牛奮男 8 H 司法 A類 中 2 低 經(jīng)適男 9 J 行政 A類 中 0 低 經(jīng)適男 10 K 教育 C類 低 3 低 牛奮男 11 L 司法 A類 高 3 中 鉆石男 12 M 教育 C類 低 2 低 牛奮男 13 N IT B類 高 0 低 牛奮男 14 P 教育 A類 高 2 中 經(jīng)適男 15 Q 教育 C類 低 2 低 經(jīng)適男 16 R IT B類 高 2 高 牛奮男 尼瑪 交友 推薦系統(tǒng)的構(gòu)造和優(yōu)化 ? 尼瑪構(gòu)造的決策樹 – 看上去像模像樣 – 但是 ? 兩個綠圈里是什么鬼 ？ IT 金融 司法 行政 教育 0 , 1 , 3 2 , 1 , 0 0 , 2 , 1 0 , 2 , 2 2 , 0 , 0 A B C A B A B B C 1 , 1 , 0 0 , 2 , 1 中 1 , 1 , 0 3 1 , 1 , 0 中低低 0 , 1 , 1 2 1職業(yè)分類職位評級職位評級職位評級職位評級鉆石男職位評級經(jīng)適男牛奮男鉆石男收入水平經(jīng)適男牛奮男經(jīng)適男收入水平有房有車債務(wù)水平經(jīng)適男牛奮男有房有車經(jīng)適男牛奮男尼