目的
第一部分是之前搜集的一些题目，所以这次的标题就为《二》咯
这一部分主要是讲解线性回归、逻辑回归的原理和一些常见校招题。
Logistic回归：
Logistic是用来分类的，是一种线性分类器，需要注意的地方有：
1. logistic函数表达式为：
其导数形式为：
2. logsitc回归方法主要是用最大似然估计来学习的，所以单个样本的后验概率为：
到整个样本的后验概率：
其中：
通过对数进一步化简为：
3. 其实它的loss function为-l(θ)，因此我们需使loss function最小，可采用梯度下降法得到。梯度下降法公式为:
Logistic回归优点：
1、实现简单；
2、分类时计算量非常小，速度很快，存储资源低；
缺点：
1、容易欠拟合，一般准确度不太高
2、只能处理两分类问题（在此基础上衍生出来的softmax可以用于多分类），且必须线性可分；
线性回归：
线性回归才是真正用于回归的，而不像logistic回归是用于分类，其基本思想是用梯度下降法对最小二乘法形式的误差函数进行优化，当然也可以用normal equation直接求得参数的解，结果为：
而在LWLR（局部加权线性回归）中，参数的计算表达式为:
因为此时优化的是：
由此可见LWLR与LR不同，LWLR是一个非参数模型，因为每次进行回归计算都要遍历训练样本至少一次。
线性回归优点：
实现简单，计算简单；
缺点：
不能拟合非线性数据；