【正文】 有監(jiān)督學習和無監(jiān)督學習的區(qū)別有監(jiān)督學習：對具有標記的訓練樣本進行學習，以盡可能對訓練樣本集外的數(shù)據(jù)進行分類預測。（LR,SVM,BP,RF,GBDT）無監(jiān)督學習：對未標記的樣本進行訓練學習，比發(fā)現(xiàn)這些樣本中的結構知識。(KMeans,DL)正則化正則化是針對過擬合而提出的，以為在求解模型最優(yōu)的是一般優(yōu)化最小的經(jīng)驗風險，現(xiàn)在在該經(jīng)驗風險上加入模型復雜度這一項（正則化項是模型參數(shù)向量的范數(shù)），并使用一個rate比率來權衡模型復雜度與以往經(jīng)驗風險的權重，如果模型復雜度越高，結構化的經(jīng)驗風險會越大，現(xiàn)在的目標就變?yōu)榱私Y構經(jīng)驗風險的最優(yōu)化，可以防止模型訓練過度復雜，有效的降低過擬合的風險。奧卡姆剃刀原理，能夠很好的解釋已知數(shù)據(jù)并且十分簡單才是最好的模型。 過擬合如果一味的去提高訓練數(shù)據(jù)的預測能力，所選模型的復雜度往往會很高，這種現(xiàn)象稱為過擬合。所表現(xiàn)的就是模型訓練時候的誤差很小，但在測試的時候誤差很大。產(chǎn)生的原因過擬合原因：1. 樣本數(shù)據(jù)的問題。樣本數(shù)量太少；抽樣方法錯誤，抽出的樣本數(shù)據(jù)不能有效足夠代表業(yè)務邏輯或業(yè)務場景。比如樣本符合正態(tài)分布，卻按均分分布抽樣，或者樣本數(shù)據(jù)不能代表整體數(shù)據(jù)的分布；樣本里的噪音數(shù)據(jù)干擾過大2. 模型問題模型復雜度高 、參數(shù)太多決策樹模型沒有剪枝權值學習迭代次數(shù)足夠多(Overtraining),擬合了訓練數(shù)據(jù)中的噪聲和訓練樣例中沒有代表性的特征.解決方法1. 樣本數(shù)據(jù)方面。增加樣本數(shù)量，對樣本進行降維，添加驗證數(shù)據(jù)抽樣方法要符合業(yè)務場景清洗噪聲數(shù)據(jù)2. 模型或訓練問題控制模型復雜度，優(yōu)先選擇簡單的模型，或者用模型融合技術。利用先驗知識，添加正則項。L1正則更加容易產(chǎn)生稀疏解、L2正則傾向于讓參數(shù)w趨向于0. 交叉驗證不要過度訓練，最優(yōu)化求解時，收斂之前停止迭代。 決策樹模型沒有剪枝權值衰減 泛化能力泛化能力是指模型對未知數(shù)據(jù)的預測能力 生成模型和判別模型1. 生成模型：由數(shù)據(jù)學習聯(lián)合概率分布P(X,Y)，然后求出條件概率分布P(Y|X)作為預測的模型，即生成模型：P(Y|X)= P(X,Y)/ P(X)。（樸素貝葉斯、Kmeans）生成模型可以還原聯(lián)合概率分布p(X,Y)，并且有較快的學習收斂速度，還可以用于隱變量的學習2. 判別模型：由數(shù)據(jù)直接學習決策函數(shù)Y=f(X)或者條件概率分布P(Y|X)作為預測的模型，即判別模型。（k近鄰、決策樹、SVM）直接面對預測，往往準確率較高，直接對數(shù)據(jù)在各種程度上的抽象，所以可以簡化模型線性分類器與非線性分類器的區(qū)別以及優(yōu)劣如果模型是參數(shù)的線性函數(shù)，并且存在線性分類面，那么就是線性分類器，否則不是。常見的線性分類器有：LR,貝葉斯分類，單層感知機、線性回歸常見的非線性分類器：決策樹、RF、GBDT、多層感知機SVM兩種都有(看線性核還是高斯核)線性分類器速度快、編程方便，但是可能擬合效果不會很好非線性分類器編程復雜，但是效果擬合能力強特征比數(shù)據(jù)量還大時，選擇什么樣的分類器？線性分類器，因為維度高的時候，數(shù)據(jù)一般在維度空間里面會比較稀疏，很有可能線性可分對于維度很高的特征，你是選擇線性還是非線性分類器？理由同上對于維度極低的特征，你是選擇線性還是非線性分類器？非線性分類器，因為低維空間可能很多特征都跑到一起了，導致線性不可分1. 如果Feature的數(shù)量很大，跟樣本數(shù)量差不多，這時候選用LR或者是Linear Kernel的SVM2. 如果Feature的數(shù)量比較小，樣本數(shù)量一般，不算大也不算小，選用SVM+Gaussian Kernel3. 如果Feature的數(shù)量比較小，而樣本數(shù)量很多，需要手工添加一些feature變成第一種情況illcondition病態(tài)問題訓練完的模型測試樣本稍作修改就會得到差別很大的結果，就是病態(tài)問題（這簡直是不能用?。㎜1和L2正則的區(qū)別，如何選擇L1和L2正則他們都是可以防止過擬合，降低模型復雜度L1是在loss function后面加上 模型參數(shù)的1范數(shù)（也就是|xi|）L2是在loss function后面加上 模型參數(shù)的2范數(shù)（也就是sigma(xi^2)），注意L2范數(shù)的定義是sqrt(sigma(xi^2))，在正則項上沒有添加sqrt根號是為了更加容易優(yōu)化L1 會產(chǎn)生稀疏的特征L2 會產(chǎn)生更多地特征但是都會接近于0L1會趨向于產(chǎn)生少量的特征，而其他的特征都是0，而L2會選擇更多的特征，這些特征都會接近于0。L1在特征選擇時候非常有用，而L2就只是一種規(guī)則化而已。L1求解最小角回歸算法：LARS算法1越小的參數(shù)說明模型越簡單過擬合的，擬合會經(jīng)過曲面的每個點，也就是說在較小的區(qū)間里面可能會有較大的曲率，這里的導數(shù)就是很大，線性模型里面的權值就是導數(shù)，所以越小的參數(shù)說明模型越簡單。1為什么一些機器學習模型需要對數(shù)據(jù)進行歸一化？歸一化化就是要把你需要處理的數(shù)據(jù)經(jīng)過處理后（通過某種算法）限制在你需要的一定范圍內。1）歸一化后加快了梯度下降求最優(yōu)解的速度。等高線變得顯得圓滑，在梯度下降進行求解時能較快的收斂。如果不做歸一化，梯度下降過程容易走之字，很難收斂甚至不能收斂2）把有量綱表達式變?yōu)闊o量綱表達式, 有可能提高精度。一些分類器需要計算樣本之間的距離（如歐氏距離），例如KNN。如果一個特征值域范圍非常大，那么距離計算就主要取決于這個特征，從而與實際情況相悖（比如這時實際情況是值域范圍小的特征更重要）3) 邏輯回歸等模型先驗假設數(shù)據(jù)服從正態(tài)分布。哪些機器學習算法不需要做歸一化處理？概率模型不需要歸一化，因為它們不關心變量的值，而是關心變量的分布和變量之間的條件概率，如決策樹、rf。而像adaboost、gbdt、xgboost、svm、lr、KNN、KMeans之類的最優(yōu)化問題就需要歸一化。特征向量的歸一化方法線性函數(shù)轉換，表達式如下：y=(xMinValue)/(MaxValueMinValue)對數(shù)函數(shù)轉換，表達式如下：y=log10 (x)反余切函數(shù)轉換 ，表達式如下：y=arctan(x)*2/PI減去均值，乘以方差：y=(xmeans)/ variance標準化與歸一化的區(qū)別簡單來說，標準化是依照特征矩陣的列處理數(shù)據(jù)，其通過求zscore的方法，將樣本的特征值轉換到同一量綱下。歸一化是依照特征矩陣的行處理數(shù)據(jù)，其目的在于樣本向量在點乘運算或其他核函數(shù)計算相似性時，擁有統(tǒng)一的標準，也就是說都轉化為“單位向量”。規(guī)則為l2的歸一化公式如下：1特征向量的缺失值處理1. ，否則可能反倒會帶入較大的noise，對結果造成不良影響。2. 缺失值較少,其余的特征缺失值都在10%以內，我們可以采取很多的方