分类问题之 Logistic Regression

线性回归简介

  • 线性模型


  • 向量形式


  • 可解释性

    w 可以理解为特征的权重


  • 目标



对数几率回归, Logistic Regression

  • 训练过程(梯度下降)


  • 分类预测步骤

    P(Y=1|x) = e^z / (1 + e^z)P(Y=0|x) = 1 / (1 + e^z)z = wx


正则化


与 Naive Bayes 的区别

  • NB 假设特征相互独立


  • LR 是线性分类器


  • 训练方式不一样