對線性回歸邏輯回歸各種回歸的概念學習以及一些誤差等具體含義(編輯修改稿)
2025-07-14 13:37 本頁面
【文章內(nèi)容簡介】 公式6. 參數(shù)估計 與 數(shù)據(jù)的關(guān)系擬合關(guān)系7. 錯誤函數(shù)/代價函數(shù)/損失函數(shù)：線性回歸中采用平方和的形式，一般都是由模型條件概率的最大似然函數(shù) 概率積最大值，求導，推導出來的。統(tǒng)計學中，損失函數(shù)一般有以下幾種：1） 01損失函數(shù)L(Y,f(X))={1,0,Y≠f(X)Y=f(X)2） 平方損失函數(shù)L(Y,f(X))=(Y?f(X))23） 絕對損失函數(shù)L(Y,f(X))=|Y?f(X)|4） 對數(shù)損失函數(shù)L(Y,P(Y|X))=?logP(Y|X)損失函數(shù)越小，模型就越好，而且損失函數(shù) 盡量 是一個凸函數(shù)，便于收斂計算。線性回歸，采用的是平方損失函數(shù)。而邏輯回歸采用的是 對數(shù) 損失函數(shù)。 這些僅僅是一些結(jié)果，沒有推導。8. 正則化：為防止過度擬合的模型出現(xiàn)（過于復雜的模型），在損失函數(shù)里增加一個每個特征的懲罰因子。這個就是正則化。如正則化的線性回歸 的 損失函數(shù)：lambda就是懲罰因子。正則化是模型處理的典型方法。也是結(jié)構(gòu)風險最小的策略。在經(jīng)驗風險（誤差平方和）的基礎上，增加一個懲罰項/正則化項。線性回歸的解，也從θ=(XTX)?1XTy轉(zhuǎn)化為括號內(nèi)的矩陣，即使在樣本數(shù)小于特征數(shù)的情況下，也是可逆的。邏輯回歸的正則化：從貝葉斯估計來看，正則化項對應模型的先驗概率，復雜模型有較大先驗概率，簡單模型具有較小先驗概率。這個里面又有幾個概念。什么是結(jié)構(gòu)風險最小化？先驗概率？模型簡單與否與先驗概率的關(guān)系？經(jīng)驗風險、期望風險、經(jīng)驗損失、結(jié)構(gòu)風險期望風險（真實風險），可理解為 模型函數(shù)固定時，數(shù)據(jù) 平均的 損失程度，或“平均”犯錯誤的程度。 期望風險是依賴損失函數(shù)和概率分布的。只有樣本，是無法計算期望風險的。所以，采用經(jīng)驗風險，對期望風險進行估計，并設計學習算法，使其最小化。即經(jīng)驗風險最小化（Empirical Risk Minimization）ERM，而經(jīng)驗風險是用損失函數(shù)來評估的、計算的。對于分類問題，經(jīng)驗風險，就訓練樣本錯誤率。對于函數(shù)逼近，擬合問題，經(jīng)驗風險，就平方訓練誤差。對于概率密度估計問題，ERM，就是最大似然估計法。而經(jīng)驗風險最小，并不一定就是期望風險最
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1