對線性回歸邏輯回歸各種回歸的概念學習以及一些誤差等具體含義(已修改)
2025-06-29 13:37 本頁面
【正文】 對線性回歸、邏輯回歸、各種回歸的概念學習回歸問題的條件/前提：1） 收集的數(shù)據(jù)2） 假設的模型，即一個函數(shù)，這個函數(shù)里含有未知的參數(shù)，通過學習，可以估計出參數(shù)。然后利用這個模型去預測/分類新的數(shù)據(jù)。1. 線性回歸假設 特征 和 結果 都滿足線性。即不大于一次方。這個是針對 收集的數(shù)據(jù)而言。收集的數(shù)據(jù)中，每一個分量，就可以看做一個特征數(shù)據(jù)。每個特征至少對應一個未知的參數(shù)。這樣就形成了一個線性模型函數(shù)，向量表示形式：這個就是一個組合問題，已知一些數(shù)據(jù)，如何求里面的未知參數(shù)，給出一個最優(yōu)解。 一個線性矩陣方程，直接求解，很可能無法直接求解。有唯一解的數(shù)據(jù)集，微乎其微?；旧隙际墙獠淮嬖诘某ǚ匠探M。因此，需要退一步，將參數(shù)求解問題，轉化為求最小誤差問題，求出一個最接近的解，這就是一個松弛求解。求一個最接近解，直觀上，就能想到，誤差最小的表達形式。仍然是一個含未知參數(shù)的線性模型，一堆觀測數(shù)據(jù)，其模型與數(shù)據(jù)的誤差最小的形式，模型與數(shù)據(jù)差的平方和最?。哼@就是損失函數(shù)的來源。接下來，就是求解這個函數(shù)的方法，有最小二乘法，梯度下降法。最小二乘法是一個直接的數(shù)學求解公式，不過它要求X是列滿秩的，梯度下降法分別有梯度下降法，批梯度下降法，增量梯度下降。本質上，都是偏導數(shù)，步長/最佳學習率，更新，收斂的問題。這個算法只是最優(yōu)化原理中的一個普通的方法，可以結合最優(yōu)化原理來學，就容易理解了。2. 邏輯回歸邏輯回歸與線性回歸的聯(lián)系、異同？邏輯回歸的模型 是一個非線性模型，sigmoid函數(shù)，又稱邏輯回歸函數(shù)。但是它本質上又是一個線性回歸模型，因為除去sigmoid映射函數(shù)關系，其他的步驟，算法都是線性回歸的?？梢哉f，邏輯回歸，都是以線性回歸為理論支持的。只不過，線性模型，無法做到sigmoid的非線性形式，sigmoid可以輕松處理0/1分類問題。另外它的推導含義：仍然與線性回歸的最大似然估計推導相同，最大似然函數(shù)連續(xù)積（這里的分布，可以使伯努利分布，或泊松分布等其他分布形式），求導，得損失函數(shù)。邏輯回歸函數(shù) 表現(xiàn)了0,1分類的形式。應用舉例：是否垃圾郵件分類？是否腫瘤、癌癥診斷？是否金融欺詐？3.
環(huán)評公示相關推薦
鄂ICP備17016276號-1