最小二乘法求线性回归方程计算器

我在Logistic Regression回归中对损失函数用极大似然估计推导，在线性回归中对损失函数用最小二乘法推导，发现在推导梯度的过程中，结果是一样的，所以我对两种方法进行了分析对比。

1.定义

当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得模型能最好地拟合样本数据，也就是估计值和观测值之差的平方和最小。

2.在线性回归中的损失函数

θ表示要求的参数，h(x)为观测值，y为理论值。

3.对其求偏导后的函数为

采用多元函数求极值的方法，对θ求偏导，让偏导等于0，求出θ值。当θ为向量时，需要对各个θi求偏导计算。

参数更新的公式为：