L1和L2正则化优化的区别

来源：懂视网责编：小采时间：2020-11-19 06:23:38

L1是模型各个参数的绝对值之和。L2是模型各个参数的平方和的开方值。L1会趋向于产生少量的特征，而其他的特征都是0，因为最优的参数值很大概率出现在坐标轴上，这样就会导致某一维的权重为0，产生稀疏权重矩阵。L2会选择更多的特征，这些特征都会接近于0。

推荐度：

点击下载本文 文档为doc格式

导读L1是模型各个参数的绝对值之和。L2是模型各个参数的平方和的开方值。L1会趋向于产生少量的特征，而其他的特征都是0，因为最优的参数值很大概率出现在坐标轴上，这样就会导致某一维的权重为0，产生稀疏权重矩阵。L2会选择更多的特征，这些特征都会接近于0。

l1和l2正则化的区别是：

　　1、L1是模型各个参数的绝对值之和。L2是模型各个参数的平方和的开方值。

　　2、L1会趋向于产生少量的特征，而其他的特征都是0，因为最优的参数值很大概率出现在坐标轴上，这样就会导致某一维的权重为0 ，产生稀疏权重矩阵。L2会选择更多的特征，这些特征都会接近于0。

　　3、最优的参数值很小概率出现在坐标轴上，因此每一维的参数都不会是0。当最小化||w||时，就会使每一项趋近于0。

推荐度：

点击下载本文 文档为doc格式

标签：有什么区别比较