數(shù)據(jù)挖掘08分類和預測(參考版)
2025-05-13 03:06本頁面
【正文】 ? 預測和分類的異同 ? 相同點 ? 兩者都需要構建模型 ? 都用模型來估計未知值 ? 預測當中主要的估計方法是回歸分析 ? 線性回歸和多元回歸 ? 非線性回歸 ? 不同點 ? 分類法主要是用來預測類標號（分類屬性值） ? 預測法主要是用來估計連續(xù)值（量化屬性值） 線性回歸、多元回歸和非線性回歸 ? 線性回歸： Y = ? + ? X ? 其中 ?和 ?是回歸系數(shù)，可以根據(jù)給定的數(shù)據(jù)點，通過最小二乘法來求得 ? 多元回歸： Y = ? + ?1X1 + ?2 X2 ? 線性回歸的擴展，設計多個預測變量，可以用最小二乘法求得上式中的 ?， ?1 和 ?2 ? 非線性回歸： Y = ? + ?1X1 + ?2 X22+ ?3 X33 ? 對不呈線性依賴的數(shù)據(jù)建模 ? 使用多項式回歸建模方法，然后進行變量變換，將非線性模型轉換為線性模型，然后用最小二乘法求解 211)())((????????Si iiSi ixxyyxx?xy ?? ??評估分類法的準確性 ? 導出分類法后，再使用訓練數(shù)據(jù)評估分類法，可能錯誤的導致樂觀的估計 ? 保持方法 ? 給定數(shù)據(jù)隨機劃分為兩個集合：訓練集 (2/3)和測試集 (1/3) ? 訓練集導出分類法，測試集對其準確性進行評估 ? 隨機子選樣 ：保持方法的一個變形，將保持方法重復 k次，然后取準確率的平均值 ? k折交叉確認 ? 初始數(shù)據(jù)被劃分為 k個不相交的，大小大致相同的子集S1,S2…S k ? 進行 k次訓練和測試，第 i次時，以 Si做測試集，其他做訓練集 ? 準確率為 k次迭代正確分類數(shù)除以初始數(shù)據(jù)集樣本總數(shù) 提高分類法的準確性 ? Bagging技術和 boosting技術都通過將 T個學習得到的分類法 C1,C2…C T組合起來，從而創(chuàng)造一個改進的分類法 C* ? Bagging技術 ? 對訓練集 S進行 T次迭代，每次通過放回取樣選取樣本集 St，通過學習 St得到分類法 Ct ? 對于未知樣本 X，每個分類法返回其類預測，作為一票 ? C*統(tǒng)計得票，并將得票最高的預測賦予 X ? Boosting技術 ? 每個訓練樣本賦予一個權值 ? Ct的權值取決于其錯誤率 。 可以畫出無限多條分離直線（或超平面）將類 +1的元組與類 1的元組分開，我們想找出“最好的”那一條 (對先前未見到的元組具有最小分類誤差的那一條）。 ? SVM 使用支持向量（“基本”訓練元組）和邊緣（由支持向量定義）發(fā)現(xiàn)該超平面。 ? 優(yōu)點 ? 預測精度總的來說較高 ? 健壯性好，訓練樣本中包含錯誤時也可正常工作 ? 輸出可能是離散值、連續(xù)值或者是離散或量化屬性的向量值 ? 對目標進行分類較快 ? 缺點 ? 訓練（學習）時間長 ? 蘊涵在學習的權中的符號含義很難理解 ? 很難根專業(yè)領域知識相整合 SVM— 支持向量機 ? 使用一種非線性的映射，將原訓練數(shù)據(jù)映射到較高的維 ? 一個數(shù)據(jù)被認為是 p維向量，數(shù)據(jù)在這個 p維向量空間中被分為兩類； SVM的目的是找到一個 p1維的超平面，來劃分 p維向量空間的數(shù)據(jù) ? 在新的維上，它搜索線性最佳分離超平面 (即將一類的元組與其他類分離的“決策邊界” )。 )()()|()|(DPhPhDPDhP ?后向傳播分類 ? 后向傳播是一種神經(jīng)網(wǎng)絡學習算法；神經(jīng)網(wǎng)絡是一組連接的輸入 /輸出單元，每個連接都與一個權相連。 ),...,(...)( 111mjjvjmjj ssIsssAE ???
環(huán)評公示相關推薦
鄂ICP備17016276號-1