level 6
YS易小唐
楼主
一、概述
1.回归：利用样本（已知数据），产生拟合方程，从而对未知数据进行预测
2.分类
*线性回归：一元线性；多元线性
*逻辑回归：实际上预测的是数据X属于分类Y的概率p。逻辑回归公式由 log(p/(1-p))=β0+β1X 推导求得。
*非线性回归
3.求解回归时需考虑的问题
1）样本是否符合正态分布假设？
2）误差是否满足独立性、等方差、正态分布等假设条件？
3）是否存在离群值导致模型产生较大误差？
4.）线性模型是否合理，是否存在拟合不足？
5）观察拟合方程，是否存在多重共线性？
6）如何选择变量？如何进行特征工程？
4.需要进一步解决的问题
1）怎么进行正态性检测？
2）怎么处理离群点？
3）非线性回归方程要怎么构建？
4）R中有岭回归可以解决多重共线性的问题，python中要怎么处理？
5）怎么构建多重逻辑回归模型，用于预测分类大于2的情形？
5.个人思考
从本质上来看，回归分析不管是线性回归还是逻辑回归，拟合的都是一条线（二维）或者一个平面（三维）或者更高维度，因此更适合使用连续型的数值型特征进行预测，而对于有太多分类型特征的数据，即使转换为哑变量，也必然会存在拟合不足的现象。
二、线性回归
1.协方差和相关系数：评估线性相关性
*协方差
cov(X,Y)=E[(X-E[X])(Y-E[Y])]
相关系数：消除协方差中数据变动的影响
相关系数r=(x和y的协方差)/(x的标准差y的标准差)
*相关系数函数：data.corr()
2.决定系数R2：评估模型精确度
有多少百分比的y波动被回归曲线描述=R2=1-误差平方和/总波动
值大小：R2越大，回归模型越精确
3.线性回归算法概述
将拟合平面（线）整合成矩阵形式，矩阵计算通常比较高效
真实值和预测值之间肯定是存在差异（用ε表示误差）。误差服从高斯分布，将拟合函数带入到误差服从的高斯分布中。
通过最大似然估计推导出最小二乘法。
求解最小二乘法。在实际应用中一般使用梯度下降策略，而不是直接求解。
4.python进行线性回归一般框架
a.在sklearn中搜索linear regression用法
b.提取特征和标签
c.建立训练数据和测试数据
d.训练模型
e.评估模型：决定系数R2
f.最佳拟合线
三、逻辑回归：最经典，最牛逼的二分类算法
1.sigmoid函数
y=S(z)=1/(1+exp(-z))
其中，z=Θ(转置) · x（例如，z=a+bx）
2.使用python进行逻辑回归分析
a.谷歌Sklearn logistic regression用法
b.提取特征和标签
c.建立训练数据和测试数据
d.训练模型
e.评估模型
3.预测
a.标示出各标签概率
b.预测结果值
c.构建回归函数
本文转载自互联网、仅供学习交流，内容版权归原作者所有，如涉作品、版权和其他问题请联系我们删除处理。
特别说明：本文旨在技术交流，请勿将涉及的技术用于非法用途，否则一切后果自负。如果您觉得我们侵犯了您的合法权益，请联系我们予以处理。
2020年12月17日 09点12分
1
1.回归：利用样本（已知数据），产生拟合方程，从而对未知数据进行预测
2.分类
*线性回归：一元线性；多元线性
*逻辑回归：实际上预测的是数据X属于分类Y的概率p。逻辑回归公式由 log(p/(1-p))=β0+β1X 推导求得。
*非线性回归
3.求解回归时需考虑的问题
1）样本是否符合正态分布假设？
2）误差是否满足独立性、等方差、正态分布等假设条件？
3）是否存在离群值导致模型产生较大误差？
4.）线性模型是否合理，是否存在拟合不足？
5）观察拟合方程，是否存在多重共线性？
6）如何选择变量？如何进行特征工程？
4.需要进一步解决的问题
1）怎么进行正态性检测？
2）怎么处理离群点？
3）非线性回归方程要怎么构建？
4）R中有岭回归可以解决多重共线性的问题，python中要怎么处理？
5）怎么构建多重逻辑回归模型，用于预测分类大于2的情形？
5.个人思考
从本质上来看，回归分析不管是线性回归还是逻辑回归，拟合的都是一条线（二维）或者一个平面（三维）或者更高维度，因此更适合使用连续型的数值型特征进行预测，而对于有太多分类型特征的数据，即使转换为哑变量，也必然会存在拟合不足的现象。
二、线性回归
1.协方差和相关系数：评估线性相关性
*协方差
cov(X,Y)=E[(X-E[X])(Y-E[Y])]
相关系数：消除协方差中数据变动的影响
相关系数r=(x和y的协方差)/(x的标准差y的标准差)
*相关系数函数：data.corr()
2.决定系数R2：评估模型精确度
有多少百分比的y波动被回归曲线描述=R2=1-误差平方和/总波动
值大小：R2越大，回归模型越精确
3.线性回归算法概述
将拟合平面（线）整合成矩阵形式，矩阵计算通常比较高效
真实值和预测值之间肯定是存在差异（用ε表示误差）。误差服从高斯分布，将拟合函数带入到误差服从的高斯分布中。
通过最大似然估计推导出最小二乘法。
求解最小二乘法。在实际应用中一般使用梯度下降策略，而不是直接求解。
4.python进行线性回归一般框架
a.在sklearn中搜索linear regression用法
b.提取特征和标签
c.建立训练数据和测试数据d.训练模型e.评估模型：决定系数R2f.最佳拟合线三、逻辑回归：最经典，最牛逼的二分类算法1.sigmoid函数
y=S(z)=1/(1+exp(-z))
其中，z=Θ(转置) · x（例如，z=a+bx）
2.使用python进行逻辑回归分析
a.谷歌Sklearn logistic regression用法
b.提取特征和标签
c.建立训练数据和测试数据d.训练模型e.评估模型3.预测a.标示出各标签概率
b.预测结果值c.构建回归函数本文转载自互联网、仅供学习交流，内容版权归原作者所有，如涉作品、版权和其他问题请联系我们删除处理。特别说明：本文旨在技术交流，请勿将涉及的技术用于非法用途，否则一切后果自负。如果您觉得我们侵犯了您的合法权益，请联系我们予以处理。