最新消息: 新版网站上线了!!!

机器学习数学凸优化之梯度下降

在求解机器学习算法的模型参数,即无约束优化问题时,梯度下降(Gradient Descent)是最常采用的方法之一,另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。1. 梯度在微积分里面,对多元函数的参数求∂偏导数,把求得的各个参数的偏导数以向量的形式写出来,就是梯度。比如函数f(x,y), 分别对x,y求偏导数,求得的梯度向量就是(∂f/∂x,∂f/∂y)T,简称grad f(x,y)或者▽f(x,y)。对于在点(x0,y0)的具体梯度向...

机器学习数学之凸优化学习

凸优化理论本身非常博大,对于广大仅仅想要了解一下机器学习或者深度学习的同学来说,稍微了解一点凸优化也就够了。器学习简单来说,主要做的就是优化问题

机器学习数学之凸函数

机器学习数学之凸函数

凸函数没有一个统一的定论,凸函数的定义一直是个模棱两可的概念,机器学习中说的凸函数通常指的是下凸