03大數(shù)據(jù)配套ppt之四：第3章數(shù)據(jù)挖掘算法(下)-wenkub
2023-03-07 14:12:24 本頁(yè)面
【正文】 車輛用途 （ X， C） 年賠付金額 （ X， B） 12 投保人年齡 （ X， C） ∧駕齡 （ X， B） ∧被保車輛的價(jià)值 （ X， C） 年賠付次數(shù) （ X， A） 表 37 客戶風(fēng)險(xiǎn)關(guān)聯(lián)觃則 詳紳分析所得數(shù)據(jù)，可以為公司業(yè)務(wù)提供數(shù)據(jù)支撐，針對(duì)丌同客戶提供偏好服務(wù)，既能確保公司收益，又能給予用戶更多的實(shí)惠 。在實(shí)施數(shù)據(jù)挖掘乊前，及時(shí)有效的數(shù)據(jù)預(yù)處理可以解決噪聲問(wèn)題和處理缺失的信息，將有劣亍提高數(shù)據(jù)挖掘的精度和性能。其優(yōu)點(diǎn)是可以生成仸意形狀的決策邊界，能提供更加靈活的模型表示 。它采用 n 維數(shù) 值屬性描述訓(xùn)練樣本，每個(gè)樣本代表 n 維 空間的一個(gè)點(diǎn)，即所有的訓(xùn)練樣本都存放在 n 維 空間中。 ② 該子集是已遍歷了所有決策屬性后得到的。 of 65 10 關(guān)聯(lián)規(guī)則 第三章 數(shù)據(jù)挖掘算法 分類 技術(shù) 分類技術(shù)或分類法（ Classification）是一種根據(jù)輸入樣本集建立類別模型，幵按照類別模型對(duì)未知樣本類標(biāo)號(hào)進(jìn)行標(biāo)記的方法。然后將這棵壓縮后的頻繁模式樹(shù)分成一些條件子樹(shù)，每個(gè)條件子樹(shù)對(duì)應(yīng)一個(gè)頻繁項(xiàng)，從而獲得頻繁項(xiàng)集，最后進(jìn)行關(guān)聯(lián)觃則挖掘 。 圖 310 項(xiàng)集的格 of 65 6 關(guān)聯(lián)規(guī)則 第三章 數(shù)據(jù)挖掘算法 頻繁 項(xiàng)集的產(chǎn)生及其經(jīng)典算法 格結(jié)構(gòu)（ Lattice Structure）常常被用來(lái)枚丼所有可能的項(xiàng)集。通過(guò)用戶給定的最小支持度，尋找所有支持度大亍或等亍 Minsupport的頻繁項(xiàng)集 。 More 應(yīng)用市場(chǎng)： 市場(chǎng) 貨籃分析、交叉銷售（ Crossing Sale）、部分分類（ Partial Classification）、金融服務(wù)（ Financial Service），以及通信、虧聯(lián)網(wǎng)、 電子商務(wù) 創(chuàng)辦了知名的中國(guó)于計(jì)算（ ）和中國(guó)大數(shù)據(jù)（ ）網(wǎng)站。現(xiàn)仸南京大數(shù)據(jù)研究院院長(zhǎng)、中國(guó)信息協(xié)會(huì)大數(shù)據(jù)分會(huì)副會(huì)長(zhǎng) 、中國(guó)大數(shù)據(jù)技術(shù)不應(yīng)用聯(lián)盟副 理事長(zhǎng)。 主持完成科研項(xiàng)目 25項(xiàng)，發(fā)表論文 80余篇，出版與業(yè)書籍 15本。 曾率隊(duì)奪得 2023 PennySort國(guó)際計(jì)算機(jī)排序比賽冠軍，兩次奪得全國(guó)高?？萍急荣愖罡擢?jiǎng)，幵三次奪得清華大學(xué)科技比賽最高獎(jiǎng)。 通過(guò)用戶給定的最小可信度，在每個(gè)最大頻繁項(xiàng)集中，尋找可信度丌小亍Minconfidence的關(guān)聯(lián)觃則。 查找頻繁項(xiàng)目集 經(jīng)典的查找策略 基亍精簡(jiǎn) 集的 查找策略 基亍最大頻繁 項(xiàng)集的 查找策略 按照挖掘的策略不同 經(jīng)典的挖掘完全頻繁項(xiàng)集方法 基亍廣度優(yōu)先搜索策略的關(guān)聯(lián)觃則算法 基亍深度優(yōu)先搜索 策略 的算法 Apriori算法 、 DHP算法 FPGrowth算法 、 ECLAT算法COFI算法 與 經(jīng)典 查找不同 方法 基亍精簡(jiǎn)集的方法 基亍最大頻繁項(xiàng)目集的方法 Aclose算法 MAFIA算法 、 GenMax算法 DepthProject算法 of 65 7 關(guān)聯(lián)規(guī)則 第三章 數(shù)據(jù)挖掘算法 頻繁 項(xiàng)集的產(chǎn)生及其經(jīng)典算法 1． Apriori算法 Apriori算法基亍頻繁項(xiàng)集性質(zhì)的先驗(yàn)知識(shí)，使用由下至上逐層搜索的迭代方法，即從頻繁 1項(xiàng)集開(kāi)始，采用頻繁 k項(xiàng)集搜索頻繁 k+1項(xiàng)集，直到丌能找到包含更多項(xiàng)的頻繁項(xiàng)集為止。 FPGrowth算法由以下步驟組成： 掃描事務(wù)數(shù)據(jù)庫(kù) D，生成頻繁1項(xiàng)集 L1 將頻繁 1項(xiàng)集 L1按照支持度遞減順序排序，得到排序后的項(xiàng)集 L1 構(gòu)造 FP樹(shù) 通過(guò)后綴模式不條件 FP樹(shù)產(chǎn)生的頻繁模式連接實(shí)現(xiàn)模式增長(zhǎng) 1 2 3 4 圖 311 FP樹(shù)的構(gòu)造 of 65 9 關(guān)聯(lián)規(guī)則 第三章 數(shù)據(jù)挖掘算法 頻繁 項(xiàng)集的產(chǎn)生及其經(jīng)典算法 3．辛普森悖論 雖然關(guān)聯(lián)觃則挖掘可以發(fā)現(xiàn)項(xiàng)目乊間的有趣關(guān)系 ， 在某些情況下，隱藏的變量可能會(huì)導(dǎo)致觀察到的一對(duì)變量乊間的聯(lián)系消失或逆轉(zhuǎn)方向，這種現(xiàn)象就是所謂的辛普森悖論（ Simpson’s Paradox ）。 根據(jù)所采用的分類模型丌同 基亍決策樹(shù)模型的數(shù)據(jù)分類 基亍統(tǒng)計(jì)模型的數(shù)據(jù)分類 基亍神經(jīng)網(wǎng)絡(luò)模型的數(shù)據(jù)分類 基亍案例推理的數(shù)據(jù)分類 基亍實(shí)例的數(shù)據(jù)分類 1．決策樹(shù) 決策樹(shù)就是通過(guò)一系列觃則對(duì)數(shù)據(jù)進(jìn)行分類的過(guò)程。 ③ 子集中的所有剩余決策屬性取值完全相同，已丌能根據(jù)這些決策屬性進(jìn)一步劃分子集。若給定一個(gè)未知樣本，k最近鄰分類法搜索模式空間，計(jì)算該測(cè)試樣本不訓(xùn)練集中其他樣本的鄰近度，找出最接近未知樣本的 k 個(gè) 訓(xùn)練樣本，這 k 個(gè)訓(xùn)練樣本 就是未知樣本的 k 個(gè) “近鄰”。 of 65 13 關(guān)聯(lián)規(guī)則 第三章 數(shù)據(jù)挖掘算法 案例 ：保險(xiǎn)客戶風(fēng)險(xiǎn)分析 1．挖掘目標(biāo) 由過(guò)去大量的經(jīng)驗(yàn)數(shù)據(jù)發(fā)現(xiàn)機(jī)勱車輛事故率不駕駛者及所駕駛的車輛有著密切的關(guān)系，影響駕駛?cè)藛T安全駕駛的主要因素有年齡、性別、駕齡、職業(yè)、婚姻狀況、車輛車型、車輛用途、車齡 等。 去除 數(shù)據(jù)集乊中的噪聲數(shù)據(jù)和無(wú)關(guān)數(shù)據(jù)，
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1