【正文】 ， 工作背景 ， 家庭背景 ， 長相 ， …… 尼瑪 交友 推薦系統(tǒng)的構(gòu)造和優(yōu)化 ? 隨機(jī) 森林 ——一個(gè)很 不嚴(yán)肅的的 解釋 – 每個(gè)閨蜜都為 SB公司建立相親決策樹 ? 小龍包采樣 ? 建樹 ? 剪枝 尼瑪 交友 推薦系統(tǒng)的構(gòu)造和優(yōu)化 ? 隨機(jī) 森林 ——一個(gè)很 不嚴(yán)肅的的 解釋 – 每個(gè)閨蜜都為 SB公司建立相親決策樹 ? 小龍包采樣 ? 建樹 ? 剪枝 ? 如花采樣 ? 建樹 ? 剪枝 尼瑪 交友 推薦系統(tǒng)的構(gòu)造和優(yōu)化 ? 隨機(jī) 森林 ——一個(gè)很 不嚴(yán)肅的的 解釋 – 每個(gè)閨蜜都為 SB公司建立相親決策樹 ? 小龍包采樣 ? 建樹 ? 剪枝 ? 如花采樣 ? 建樹 ? 剪枝 ? …… 尼瑪 交友 推薦系統(tǒng)的構(gòu)造和優(yōu)化 ? 隨機(jī)森林 ——一個(gè)很不嚴(yán)肅的的 解釋 – 基于隨機(jī)森林的分類 ? 分別使用森林中的樹分類 ? 表決產(chǎn)生最后的分類 – 對每一個(gè)分類樹 ? 不需要使用樣本的所有屬性 國民老公 買買買 國民岳父尼美的分類 小龍包的分類 如花的分類 鳳姐的分類表決器最終的分類尼瑪 交友 推薦系統(tǒng)的構(gòu)造和優(yōu)化 SB技術(shù)員 尼美 今天不能再講得更多了 ， 以后有機(jī)會再聊 叩謝大恩 ， 可以跟老板交差去了 記得幫我推薦個(gè)好對象哈 關(guān)于決策樹的未盡事宜 ? 關(guān)于分裂屬性選擇參數(shù) – Gini系數(shù) （ CART算法最初使用 ） – Towing Criteria – χ2分布 （ CHAID算法使用 ） – …… ? 效果幾乎沒有太大差別 關(guān)于決策樹的未盡事宜 ? 關(guān)于剪枝 – 后 剪枝是常用手段 ， 主要技術(shù)有 ? 降低錯(cuò)誤剪枝 REP ? 悲觀 錯(cuò)誤剪枝 PEP ? 基于錯(cuò)誤剪枝 EBP （ ） ? 代價(jià) 復(fù)雜度剪枝 CCP （ CART算法的剪枝技術(shù) ） ? 最小 錯(cuò)誤剪枝 MEP ? … – 各 有各得適用場合 ， 因地制宜地用 關(guān)于決策樹的未盡事宜 ? 其他著名而關(guān)鍵的算法 – CART分類回歸樹 ? 使用二叉樹代替多叉數(shù) ? 支持回歸分析 ? …… – Adaboosting ? 嚴(yán)格意義上說不是決策樹方法 ? 而是對決策樹的優(yōu)化方法 （ 個(gè)人見解 ， 還需要在研究 ） – 隨機(jī)森林 ? 涉及的技術(shù)細(xì)節(jié)很多 ， 我講的很不嚴(yán)肅 52 謝 謝 ! 請批評 指正 2023/05/29 。 一 個(gè)系統(tǒng)越是有序 ， 信息熵就越低；反之 ， 一個(gè)系統(tǒng)越亂 ， 信息熵就越高 。 ? 尼美 ： 是公務(wù)員不 ？ ? 母親 ：是 ， 在稅務(wù)局上班呢 。 ? 尼美 ： 收入高不 ？ ? 母親 ：不算很高 ， 中等情況 。 尼美 ， shang是啥 ？ 這種概念我不懂 ，聽了就覺得很受傷 …… 5555 別打岔 ， 好好聽 ！ 熵是描述系統(tǒng)混亂程度的度量 。 我用了 三年時(shí)間來解決這些問題 。 ? 給定樣本 S， 包含 n個(gè)互不相容的事件 a1,a2,a3,… .,an,它們中有且僅有一 個(gè)發(fā)生 ， 則 其 S平均 的信息量可如下度量： )p(a)p(a)p(a)p(a)I(a iiiii 22 log1log ????????ni iinii apapaII121 )(1log)()()S(尼瑪 交友 推薦系統(tǒng)的構(gòu)造和優(yōu)化 ? 決策樹的目標(biāo)是讓分裂子集盡量地 “ 純 ” – 越純則 “ 熵 ” 越低 ? 因此使用 “ 信息增益 ” 定義每次屬性分裂帶來的熵的變化 – 將樣本集 S按 屬性 A進(jìn)行 劃分為一次屬性分裂 ， 則定義這一次分裂的期望熵為 ? 其中 v為分裂后子樣本集的個(gè)數(shù) ? I(Sj)為子樣本集對目標(biāo)分類的熵 。 ? 決策樹的最基本功能 ——分類 ? 這個(gè)思路就是 CLS算法 – Hunt， Marin和 Stone于 1966年提出 ， 決策樹的雛形 尼瑪 交友推薦系統(tǒng)的構(gòu)造和優(yōu)化 ? 尼瑪 決定開始構(gòu)造自己的決策樹 – 數(shù)據(jù)就是王道 ， 尼瑪公開了 16組數(shù)據(jù) 序號 姓名 職業(yè)分類 職位評級 收入水平 有房有車 債務(wù)情況 評級 1 A 金融 A類 高 1 低 鉆石男 2 B IT A類 中 3 高 經(jīng)適男 3 C 行政 A類 中 2 低 經(jīng)適男 4 D 司法 A類 高 0 低 鉆石男 5 E 行政 B類 中 3 中 牛奮男 6 F 金融 B類 高 3 低 鉆石男 7 G IT B類 中 2 中 牛奮男 8 H 司法 A類 中 2 低 經(jīng)適男 9 J 行政 A類 中 0 低 經(jīng)適男 10 K 教育 C類 低 3 低 牛奮男 11 L 司法 A類 高 3 中 鉆石男 12 M 教育 C類 低 2 低 牛奮男 13 N IT B類 高 0 低 牛奮男 14 P 教育 A類 高 2 中 經(jīng)適男 15 Q 教育 C類 低 2 低 經(jīng)適男 16 R IT B類 高 2 高 牛奮男 尼瑪 交友 推薦系統(tǒng)的構(gòu)造和優(yōu)化 ? 尼瑪構(gòu)造的決策樹 – 看上去像模像樣 – 但是 ? 兩個(gè)綠圈里是什么鬼 ？ IT 金融 司法 行政 教育 0 , 1 , 3 2 , 1 , 0 0 , 2 , 1 0 , 2 , 2 2 , 0 , 0 A B C A B A B B C 1 , 1 , 0 0 , 2 , 1 中 1 , 1 , 0 3 1 , 1 , 0 中低低 0 , 1 , 1 2 1職業(yè)分類職位評級職位評級職位評級職位評級鉆石男職位評級經(jīng)適男牛奮男鉆石男收入水平經(jīng)適男牛奮男經(jīng)適男收入水平有房有車債務(wù)水平經(jīng)適男牛奮男有房有車經(jīng)適男牛奮男