l1和l2正則化的區別 L1和L2正則


l1和l2正則化的區別是:
1、L1是模型各個參數的絕對值之和 。L2是模型各個參數的平方和的開方值 。
2、L1會趨向于產生少量的特征,而其他的特征都是0 , 因為最優的參數值很大概率出現在坐標軸上,這樣就會導致某一維的權重為0 ,產生稀疏權重矩陣 。L2會選擇更多的特征,這些特征都會接近于0 。

3、最優的參數值很小概率出現在坐標軸上,因此每一維的參數都不會是0 。當最小化||w||時,就會使每一項趨近于0 。
【l1和l2正則化的區別 L1和L2正則】

經驗總結擴展閱讀