l1和l2正则化的区别


该教程适用
      
      
      

1.L1是模型各个参数的绝对值之和。L2是模型各个参数的平方和的开方值。2.L1会趋向于产生少量的特征,而其他的特征都是0,因为最优的参数值很大概率出现在坐标轴上,这样就会导致某一维的权重为0,产生稀疏权重矩阵。L2会选择更多的特征,这些特征都会接近于0。3.最优的参数值很小概率出现在坐标轴上,因此每一维的参数都不会是0。当最小化||w||时,就会使每一项趋近于0。



工具:

型号:

系统:

软件:



操作步骤/方法

方法教程

1 l1和l2正则化的区别是: 2 1.L1是模型各个参数的绝对值之和。L2是模型各个参数的平方和的开方值。 3 2.L1会趋向于产生少量的特征,而其他的特征都是0,因为最优的参数值很大概率出现在坐标轴上,这样就会导致某一维的权重为0,产生稀疏权重矩阵。L2会选择更多的特征,这些特征都会接近于0。 4 3.最优的参数值很小概率出现在坐标轴上,因此每一维的参数都不会是0。当最小化||w||时,就会使每一项趋近于0。

(0)
上一篇 2022年4月4日
下一篇 2022年4月4日

相关推荐