普通线性回归*

数据集介绍： http://archive.ics.uci.edu/ml/datasets/Combined+Cycle+Power+Plant
数据集下载：http://archive.ics.uci.edu/ml/machine-learning-databases/00294/

• 我看原博的数据并没有标准化…
• 回归模型对象可以直接使用dataframe数据类型来fit。就是说fit()方法的参数可以是dataframe数据类型。
• train_test_split()函数用来划分训练集和测试集，参数是dataframe数据，返回的还是dataframe数据。注意这个函数在sklearn.model_selection

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X_data, y_data, random_state=1)

• 模型评价使用到metrices模块。里面有函数mean_squared_error()
• RMSE自己计算，直接在MSE上开根号就可以。多用一个np.sqrt()

metrics.mean_squared_error(y_test, y_pred)

• 不用划分训练集，测试集了。
• cross_val_predict()函数也在sklearn.model_selection
• • 直接cross_val_predict一个函数就把10折的训练和测试全做了。

 sklearn.model_selection import train_test_split, cross_val_predict

predicted = cross_val_predict(linreg, X, y, cv=10)

2.train_test_split()

随机切分数据集作为训练集和测试集。
作用：模型评估。观察是否过拟合。针对有监督学习。

 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.4, random_state=0)

1. 交叉验证

官网解释：
只像1.划分训练集和测试集会大大减少用于建模的数据量。交叉验证是一种解决办法。

# 1.获取数据
# 2.处理数据【前两步不涉及python】
# 3.使用pandas读取数据，划分出样本和标签
# 4.用sklearn的train_test_split划分训练集和测试集
# 5.使用sklearn的线性模型训练
# 6.评价训练出的模型，回归常用MSE，RMSE
# 7.交叉验证
# 8.画图观察
import numpy as np
import pandas as pd
from sklearn import linear_model
from sklearn.model_selection import train_test_split, cross_val_predict
from sklearn.metrics import mean_squared_error
from matplotlib import pyplot as plt

# --用pandas从外部读数据
CCPP_data = pd.read_csv(r"CCPPFolds5x2_pp.csv")
print(CCPP_data.head())
# 划分样本和标签
X_data = CCPP_data[['AT', 'V', 'AP', 'RH']]
y_data = CCPP_data['PE']
print(X_data.head())
print(y_data.head())
# --使用sklearn划分训练集和测试集
# 是cross_validation模块中的train_test_split函数
X_train, X_test, y_train, y_test = train_test_split(X_data, y_data, random_state=1)
# --用线性模型开始训练
lin_reg = linear_model.LinearRegression()
lin_reg.fit(X_train, y_train)
print('系数：', lin_reg.coef_, '截距：', lin_reg.intercept_)
# --模型评价
# 测试集预测并且评价
y_pre = lin_reg.predict(X_test)
lin_mse = mean_squared_error(y_test, y_pre)
lin_rmse = np.sqrt(lin_mse)
print('MSE:', lin_mse)
print('RMSE:', lin_rmse)

# 交叉验证
# 这里用10折，不用前面的训练集，测试集划分了
# 直接cross_val_predict一个函数就把10折的训练和测试全做了。
cv_predicts = cross_val_predict(lin_reg, X_data, y_data, cv=4)
cv_mse = mean_squared_error(cv_predicts, y_data)
cv_rmse = np.sqrt(cv_mse)
print('cv MSE:', cv_mse)
print('cv RMSE:', cv_rmse)

## --画图
# 横坐标是真实标签，纵坐标是预测值(使用的是上面交叉验证的结果)
# plot线就是一条y=x
fig = plt.figure(1)
ax = fig.add_subplot(111)
ax.scatter(y_data, cv_predicts, s=20, edgecolor='b')  # 散点图
ax.plot([y_data.min(), y_data.max()], [y_data.min(), y_data.max()], 'r--')
plt.show()