梯度下降算法

浏览数：62 / 时间：2015年06月08日

Logistic回归的理论内容上篇文章已经讲述过，在求解参数技术分享时可以用牛顿迭代，可以发现这种方法貌似

太复杂，今天我们介绍另一种方法，叫梯度下降。当然求最小值就是梯度下降，而求最大值相对就是梯度上升。

 

由于技术分享，如果技术分享，那么得到

 

             技术分享

 

现在我们要找一组技术分享，使得所有的技术分享最接近技术分享，设

 

              技术分享

 

现在我们要找一组技术分享，使得技术分享最小。这就是今天要介绍的梯度下降。

 

梯度下降的原理是这样的：首先对于向量技术分享赋初值，可以赋随机值，也可以全赋为0，然后改变技术分享的值，使得技术分享

按梯度下降最快的方向进行，一直迭代下去最终会得到局部最小值。即

 

                                             技术分享

 

技术分享表示梯度最陡的那个方向，技术分享表示步长，也就是说每次向下降最快的方向走多远。进一步有

 

              技术分享

 

所以

               技术分享

 

简化一下就是

 

                技术分享

郑重声明：本站内容如果来自互联网及其他传播媒体，其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，也不构成任何其他建议。

标签： 编程语言 Java C C# Javascript js Python Ruby Spring 程序 VB

相关文章

随机文章

您可能还喜欢

您可能还喜欢