第6講機器學習-資料下載頁
2025-09-19 15:48本頁面
【導(dǎo)讀】不同于eager學習算法，K-近鄰方法在訓練階段只。法是一種典型的lazy學習算法。k-近鄰方法既可以用于目標函數(shù)值是離散的情況，連續(xù)的情況就是回歸。K-近鄰方法的學習過程分兩部：1）找到要預(yù)測新。k-近鄰算法假定所有的實例對應(yīng)于n維空間。根據(jù)歐氏距離定義實例間的距離。逼近離散值函數(shù)f:Rn?–在training_examples中選出最靠近xq的k個實例，對k-近鄰算法的一個改進是對k個近鄰的貢獻加權(quán)，為了處理查詢點xq恰好匹配某個訓練樣例xi，從而。們占多數(shù)的分類。例，則用它們的平均值來預(yù)測。k-近鄰算法的所有變體都只考慮k個近鄰用。的訓練樣例，稱為局部法。K-近鄰算法不是在整個實例空間上一次性地預(yù)測。均，可以消除孤立的噪聲樣例的影響。k-近鄰算法的一個實踐問題：維度災(zāi)害。k-近鄰算法的所有計算幾乎都花費在索引近鄰問。目前，已經(jīng)開發(fā)了很多對存儲的訓練樣例進行索。引的方法，以便能高效地確定最近鄰。k-近鄰算法的預(yù)測結(jié)果與k的大小相關(guān)。k-近鄰算法推遲所有的計算處理，直到接收到一
【正文】 決策樹方法，選擇部分屬性作出判斷，而 k近鄰方法中實例間的距離是根據(jù)實例的所有屬性計算的。 –實例間距離會被大量的不相關(guān)屬性所支配，可能導(dǎo)致相關(guān)屬性的值很接近的實例相距很遠。 ? 解決維度災(zāi)害問題的常用方法： 1） 屬性加權(quán)；2）屬性選擇。 2020/11/4 12 近鄰索引問題 ? k近鄰算法的所有計算幾乎都花費在索引近鄰問題上。因此，如何建立高效的索引是 k近鄰算法的另外一個實踐問題。 ? 目前，已經(jīng)開發(fā)了很多對存儲的訓練樣例進行索引的方法，以便能高效地確定最近鄰。如 kdtree把實例存儲在樹的葉結(jié)點內(nèi)，鄰近的實例存儲在同一個或附近的節(jié)點內(nèi)，通過測試新查詢 xq的選定屬性，樹的內(nèi)部節(jié)點把查詢 xq排列到相關(guān)的葉結(jié)點。 2020/11/4 13 近鄰大小問題 ? k近鄰算法的預(yù)測結(jié)果與 k的大小相關(guān)。同樣的數(shù)據(jù)， K值不同可能導(dǎo)致不同的預(yù)測結(jié)果。 2020/11/4 14 計算效率問題 ? k近鄰算法推遲所有的計算處理，直到接收到一個新的查詢，所以處理每個新查詢可能需要大量的計算。 2020/11/4 15 歸納偏置問題 ? k近鄰算法的歸納偏置是：一個實例的分類 xq與在歐氏空間中它附近的實例的分類相似。
教學課件相關(guān)推薦
鄂ICP備17016276號-1