机器学习-线性回归与Logistic

变量间的关系：
      不确定：相关关系，通常用相关系数表示，相关系数的取值范围是[-1,1],大于0 表示正相关，小于0表示负相关；绝对值接近于1，表示相关性越强
       确定：函数关系，通常用公式表示：Y=a+bX，通常也叫线性回归
线性回归：

一元线性回归：Y=a+bX
求解参数通常是通用最小线性二乘法求解参数a和b
检验通常包含：方程检验，拟合度用R^2，RSS，方程显著性用P-value，
参数检验：方差分析，用P-value
实际意义检验：是否符合实际
残差检验：是否符合正太分布

多元线性回归：Y=a+b1X1+b2X2……
1、导入数据，查看数据结构和分布：head和summary函数
2、数据预处理与变量选择
数据预处理：缺失值处理，平滑噪声，异常值检验，虚拟变量等
变量选择：相关系数，相关系数越接近于1的，选择1个变量就够；尽量选择变量组合数量比较少的，能够提高R^2
Kappa值，大于1000，存在多重共线性
Pairs图，通过目测图形去做对变量做选择
3、逐步回归建模：向前，向后，两者
模型选择:AIC,BIC,越小越好
4、模型检验
方程检验，拟合度用R^2，RSS，方程显著性用P-value，
参数检验：方差分析，用P-value或T值
实际意义检验：是否符合实际
残差检验：是否符合正太分布，越大越好
5、预测

Logistic回归：能够转化为线性回归，将离散变量转成连续变量

广义线性回归(GLM):通过函数转化，能用现有的线性回归规则使用的回归
指数
对数
幂函数
倒数