主要介绍逻辑回归。
LR(Logistic Regression)逻辑回归
Logistic函数
标准Logistic函数
性质
-
通分
-
“对称”
- 导数
逻辑回归
- 确定损失函数：
- 概率表示
上式简化为：
似然函数：
便于计算，取对数似然函数，并且取相反数，转变为求解最小值：
- 梯度计算:
梯度下降:
注意，当采用随机梯度下降方法时候，梯度可简化为：
其中$(x,y)$为随机样本点
则最终梯度下降可表示为
其中, $j$为列向量维度
主要介绍逻辑回归。
标准Logistic函数
性质
通分
“对称”
上式简化为：
似然函数：
便于计算，取对数似然函数，并且取相反数，转变为求解最小值：
梯度下降:
注意，当采用随机梯度下降方法时候，梯度可简化为：
其中$(x,y)$为随机样本点
则最终梯度下降可表示为
其中, $j$为列向量维度