數(shù)據(jù)挖掘08分類和預(yù)測(cè)-wenkub
2023-05-20 03:06:03 本頁面
【正文】 用模型來估計(jì)未知值 ? 預(yù)測(cè)當(dāng)中主要的估計(jì)方法是回歸分析 ? 線性回歸和多元回歸 ? 非線性回歸 ? 不同點(diǎn) ? 分類法主要是用來預(yù)測(cè)類標(biāo)號(hào)（分類屬性值） ? 預(yù)測(cè)法主要是用來估計(jì)連續(xù)值（量化屬性值） 線性回歸、多元回歸和非線性回歸 ? 線性回歸： Y = ? + ? X ? 其中 ?和 ?是回歸系數(shù)，可以根據(jù)給定的數(shù)據(jù)點(diǎn)，通過最小二乘法來求得 ? 多元回歸： Y = ? + ?1X1 + ?2 X2 ? 線性回歸的擴(kuò)展，設(shè)計(jì)多個(gè)預(yù)測(cè)變量，可以用最小二乘法求得上式中的 ?， ?1 和 ?2 ? 非線性回歸： Y = ? + ?1X1 + ?2 X22+ ?3 X33 ? 對(duì)不呈線性依賴的數(shù)據(jù)建模 ? 使用多項(xiàng)式回歸建模方法，然后進(jìn)行變量變換，將非線性模型轉(zhuǎn)換為線性模型，然后用最小二乘法求解 211)())((????????Si iiSi ixxyyxx?xy ?? ??評(píng)估分類法的準(zhǔn)確性 ? 導(dǎo)出分類法后，再使用訓(xùn)練數(shù)據(jù)評(píng)估分類法，可能錯(cuò)誤的導(dǎo)致樂觀的估計(jì) ? 保持方法 ? 給定數(shù)據(jù)隨機(jī)劃分為兩個(gè)集合：訓(xùn)練集 (2/3)和測(cè)試集 (1/3) ? 訓(xùn)練集導(dǎo)出分類法，測(cè)試集對(duì)其準(zhǔn)確性進(jìn)行評(píng)估 ? 隨機(jī)子選樣 ：保持方法的一個(gè)變形，將保持方法重復(fù) k次，然后取準(zhǔn)確率的平均值 ? k折交叉確認(rèn) ? 初始數(shù)據(jù)被劃分為 k個(gè)不相交的，大小大致相同的子集S1,S2…S k ? 進(jìn)行 k次訓(xùn)練和測(cè)試，第 i次時(shí)，以 Si做測(cè)試集，其他做訓(xùn)練集 ? 準(zhǔn)確率為 k次迭代正確分類數(shù)除以初始數(shù)據(jù)集樣本總數(shù) 提高分類法的準(zhǔn)確性 ? Bagging技術(shù)和 boosting技術(shù)都通過將 T個(gè)學(xué)習(xí)得到的分類法 C1,C2…C T組合起來，從而創(chuàng)造一個(gè)改進(jìn)的分類法 C* ? Bagging技術(shù) ? 對(duì)訓(xùn)練集 S進(jìn)行 T次迭代，每次通過放回取樣選取樣本集 St，通過學(xué)習(xí) St得到分類法 Ct ? 對(duì)于未知樣本 X，每個(gè)分類法返回其類預(yù)測(cè)，作為一票 ? C*統(tǒng)計(jì)得票，并將得票最高的預(yù)測(cè)賦予 X ? Boosting技術(shù) ? 每個(gè)訓(xùn)練樣本賦予一個(gè)權(quán)值 ? Ct的權(quán)值取決于其錯(cuò)誤率 。 可以畫出無限多條分離直線（或超平面）將類 +1的元組與類 1的元組分開，我們想找出“最好的”那一條 (對(duì)先前未見到的元組具有最小分類誤差的那一條）。 ? 優(yōu)點(diǎn) ? 預(yù)測(cè)精度總的來說較高 ? 健壯性好，訓(xùn)練樣本中包含錯(cuò)誤時(shí)也可正常工作 ? 輸出可能是離散值、連續(xù)值或者是離散或量化屬性的向量值 ? 對(duì)目標(biāo)進(jìn)行分類較快 ? 缺點(diǎn) ? 訓(xùn)練（學(xué)習(xí)）時(shí)間長 ? 蘊(yùn)涵在學(xué)習(xí)的權(quán)中的符號(hào)含義很難理解 ? 很難根專業(yè)領(lǐng)域知識(shí)相整合 SVM— 支持向量機(jī) ? 使用一種非線性的映射，將原訓(xùn)練數(shù)據(jù)映射到較高的維 ? 一個(gè)數(shù)據(jù)被認(rèn)為是 p維向量，數(shù)據(jù)在這個(gè) p維向量空間中被分為兩類； SVM的目的是找到一個(gè) p1維的超平面，來劃分 p維向量空間的數(shù)據(jù) ? 在新的維上，它搜索線性最佳分離超平面 (即將一類的元組與其他類分離的“決策邊界” )。 ),...,(...)( 111mjjvjmjj ssIsssAE ?????)(), .. .,()( 21 AEsssIAG a i n m ??age ine student credit_rating buys_puter youth high no fair no youth high no excellent no middle_aged high no fair yes senior medium no f
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1