统计小白福音来了！一文弄懂Logistic回归分析原理及应用（实用教程）

Logistic 回归模型又叫对数几率回归模型，属于广义线性模型的一种，适用于二值型或多值型数据的拟合。在机器学习领域，Logistic回归模型常被用作分类模型，如根据患者的医疗数据来判断他能否被治愈。

01

Logistic回归模型原理简介

在一般线性回归分析中，因变量Y为数值型连续变量，若假定自变量个数为1，则其与自变量X之间的线性关系如下所示：

而在Logistic回归分析中，因变量Y为二值型变量，若仍然采用线性拟合的方法则显然不合适，因此利用Logistic函数作如下变换：

从而得到了我们熟知的Logistic回归模型，其中“Y帽“的取值范围为0到1，被用于表示因变量Y取值的概率，具体表示为：

Logistic回归模型属于广义线性回归模型，为了体现出其“线性”性，对其作Logit转换，可得logit模型：

可知因变量Y对数概率比（也称作logit(P)）与自变量X之间存在线性关系，这就满足了线性回归的模型要求。

最后，要得到一个完整的Logistic回归模型，只需进一步估计模型中系数w0和w1，关于它们的求解通常不采用传统的最小二乘法，而拟采用极大似然估计法多次迭代求解，本文不作过多介绍，大家感兴趣可以参考如下文章https://zhuanlan.zhihu.com/p/319270669

02

Logistic回归模型假设条件

上文中提到Logistic回归模型的变式Logit模型属于线性回归模型，那么类似一般线性回归模型，Logistic回归模型同样需满足如下假设条件：

（1）线性相关假设：对数概率比（Logit(P)）和自变量X之间存在线性关系。

（2） 随机抽样假设：自变量X的观测过程是随机的，以保证观测值之间相互独立。

（3）共线性假设：自变量X之间无严格线性关系。

（4）零条件均值假设： Logit模型误差项期望值为0，属于完全白噪声序列，此时说明Logit模型或Logistic模型未遗漏任何关键的自变量。

区别于一般线性回归模型，Logistic回归模型不满足如下假设条件：

（1）正态性假设：Logistic回归模型中“Y帽“不服从正态分布，服从Logistic分布。

（2）同方差假设：Logistic回归模型对于稳健标准误不作要求，即不考虑模型误差项异方差问题。

在实际的研究应用中，严格要求模型满足一切假设条件是不现实的，因此为了构建一个有效的Logistic回归模型，我们所需关注的问题主要是以下两点：

（1）即模型是否涵盖了所有关键的自变量。

（2）模型自变量之间是否存在较强线性关系。

知识点补充

（1）对于原数据集，二元Logistic模型要求因变量必须为二分类变量，且值为0或1，如果不满足则需要对因变量进行重分组或重编码操作。而自变量则可以是任意定类，定序或数值型变量。

（2）针对原数据集中显著的离群点，杠杆点和强影响点，为了提高模型的拟合度和预测能力，可选择性地对其作剔除处理。

03

Logistic回归模型的构建与解释（平台实操）

尽管已经涌现出诸如随机森林、支持向量机，梯度提升机，甚至神经网络等一大批优秀的机器学习模型，但在部分临床研究领域中，传统的Logistic回归模型依然大放光彩，利用极智分析平台操作，可便捷实现二分类Logistic模型的构建与检验。

Step1

本文以一份肝癌病发数据集为例，选择病发情况failure为因变量，sex、DM、IJV、smoke为定类型自变量，SIRI、PLR、MLR等其他检验指标为数值型自变量。自变量的筛选选择“both”（向前选择法+向后移除法），Logistic回归分析选择“二元Logistics”。

Step2

Logistic回归模型结果如下表：模型中系数显著的变量有triglycerides、CPR、monocyte、NLR、PLR、SIRI、IJV，较不显著的变量有Alb、RDW、MLR、sex。

其中对于定类型变量IJV和sex，其OR（odds rate）值分别为0.45和1.417，表明随变量值增大一单位，Logit(P)分别下降为45%和上升为141.7%，此时变量failure=1的概率分别减小和增大。

Step3

此外，关于模型的分类效力评估，变量影响评估等指标信息可参考如下的ROC曲线，OR森林图以及诺莫图：

想了解更多精彩内容，请关注公众号“极智分析”！