当前位置：首页 > news >正文

学校网站制作公司企业网站seo服务

news 2025/7/21 8:46:31

学校网站制作公司,企业网站seo服务,做个游戏app的费用大概多少,南宁百度网站建设公司文章目录多项式回归介绍方法与代码方法描述分离多项式学习曲线的作用场景学习曲线介绍欠拟合曲线示例结论过拟合曲线示例结论多项式回归介绍当数据不是线性时我们该如何处理呢，考虑如下数据 import matplotlib.pyplot as plt impo…

文章目录

多项式回归介绍

方法与代码

方法描述

分离多项式

学习曲线的作用

场景

学习曲线介绍

欠拟合曲线

示例

结论

过拟合曲线

示例

结论

多项式回归介绍

当数据不是线性时我们该如何处理呢，考虑如下数据

import matplotlib.pyplot as plt
import numpy as npnp.random.seed(42)x = 8 * np.random.rand(100, 1) - 4
y = 2*x**2+3*x+np.random.randn(100, 1)plt.scatter(x, y)
plt.show()

方法与代码

方法描述

先讲思路，以这个二元函数为例

$y=3*x^{2}+2*x+c$

将多项式化为多个单项的，也就是将x的平方和x两个项分离开，然后单独给线性模型处理，求出参数，最后再组合在一起，很好理解，让我们来看一下代码

分离多项式

我们使用机器学习库的PolynomialFeatures来分离多项式

from sklearn.preprocessing import PolynomialFeaturespoly_features = PolynomialFeatures(degree=2, include_bias=False)
x_poly = poly_features.fit_transform(x)
print(x[0])
print(x_poly[0])

运行结果

可以看到，4， 5行代码将原始x和x平方挑选了出来，这时我们再把这个数据进行线性回归

model = LinearRegression()
model.fit(x_poly, y)
print(model.coef_)

这段代码使用处理后的x拟合y，再打印模型拟合的参数，可以看到模型的两个参数分别是2.9和2左右，而我们的方程的一次参数和二次参数分别是3和2，可见效果还是很好的

把预测的结果绘制出来

model = LinearRegression()
model.fit(x_poly, y)
pre_y = model.predict(x_poly)# 这里是为了让x升序的排序算法， 可以尝试不加这段代码图会变成什么样
sorted_indices = sorted(range(len(x)), key=lambda k: x[k])
x_sorted = [x[i] for i in sorted_indices]
y_sorted = [pre_y[i] for i in sorted_indices]plt.plot(x_sorted, y_sorted, "r-")
plt.scatter(x, y)
plt.show()

学习曲线的作用

场景

设想一下，当你需要预测房价，你也有多组数据，包括离学校距离，交通状况等，但是问题来了，你只知道这些特征可能与房价有关，但并不知道这些特征与房价之间的方程关系，这时我们进行回归任务时，就可能导致欠拟合或者过拟合，幸运的是，我们可以通过学习曲线来判断

学习曲线介绍

学习曲线图就是以损失函数为纵坐标，数据集大小为横坐标，然后在图上画出训练集和验证集两条曲线的图，训练集就是我们用来训练模型的数据，验证集就是我们用来验证模型性能的数据集，我们往往将数据集分成训练集与验证集

我们先定义一个学习曲线绘制函数

import numpy as np
import matplotlib.pyplot as plt
from sklearn.metrics import mean_squared_error
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegressiondef plot_learning_curves(model, x, y):x_train, x_val, y_train, y_val = train_test_split(x, y, test_size=0.2)train_errors, val_errors = [], []for m in range(1, len(x_train)):model.fit(x_train[:m], y_train[:m])y_train_predict = model.predict(x_train[:m])y_val_predict = model.predict(x_val)train_errors.append(mean_squared_error(y_train[:m], y_train_predict))val_errors.append(mean_squared_error(y_val, y_val_predict))plt.plot(np.sqrt(train_errors), "r-+", linewidth=2, label="train")plt.plot(np.sqrt(val_errors), "b-", linewidth=3, label="val")plt.legend()plt.show()

简单介绍一下，这个函数接收模型参数，x，y参数，然后在for循环中，取不同数据集大小来计算RMSE损失（就是 $\sqrt{MSE}$ ），然后把曲线绘制出来

欠拟合曲线

我们知道欠拟合就是模拟效果不好的情况，可以想象的到，无论在训练集还是验证集上，他的损失都会比较高

示例

我们将线性模型的学习曲线绘制出来

import numpy as np
import matplotlib.pyplot as plt
from sklearn.metrics import mean_squared_error
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegressiondef plot_learning_curves(model, x, y):x_train, x_val, y_train, y_val = train_test_split(x, y, test_size=0.2)train_errors, val_errors = [], []for m in range(1, len(x_train)):model.fit(x_train[:m], y_train[:m])y_train_predict = model.predict(x_train[:m])y_val_predict = model.predict(x_val)train_errors.append(mean_squared_error(y_train[:m], y_train_predict))val_errors.append(mean_squared_error(y_val, y_val_predict))plt.plot(np.sqrt(train_errors), "r-+", linewidth=2, label="train")plt.plot(np.sqrt(val_errors), "b-", linewidth=3, label="val")plt.legend()plt.show()x = np.random.rand(100, 1)
y = 2 * x + np.random.rand(100, 1)model = LinearRegression()
plot_learning_curves(model, x, y)

结论

可以看到，在只有一点数据时，模型在训练集上效果很好（因为就是开始这一些数据训练出来的），而在验证集上效果不好，但随着训练集增加（模型学习到的越多），验证集上的误差逐渐减小，训练集上的误差增加（因为是学到了一个趋势，不会完全和训练集一样了）

这个图的特征是两条曲线非常接近，且误差都较大（差不多在0.3），这是欠拟合的表现（模型效果不好）

过拟合曲线

过拟合就是完全以数据集来模拟曲线，泛化能力很差

示例

我们来试试将一次函数模拟成三次函数，再来看看学习曲线（毫无疑问过拟合了）

import numpy as np
import matplotlib.pyplot as plt
from sklearn.metrics import mean_squared_error
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import PolynomialFeatures
from sklearn.linear_model import LinearRegression
from sklearn.pipeline import Pipelinedef plot_learning_curves(model, x, y):x_train, x_val, y_train, y_val = train_test_split(x, y, test_size=0.2)train_errors, val_errors = [], []for m in range(1, len(x_train)):model.fit(x_train[:m], y_train[:m])y_train_predict = model.predict(x_train[:m])y_val_predict = model.predict(x_val)train_errors.append(mean_squared_error(y_train[:m], y_train_predict))val_errors.append(mean_squared_error(y_val, y_val_predict))plt.plot(np.sqrt(train_errors), "r-+", linewidth=2, label="train")plt.plot(np.sqrt(val_errors), "b-", linewidth=3, label="val")plt.legend()plt.show()np.random.seed(10)
x = np.random.rand(200, 1)
y = 2 * x + np.random.rand(200, 1)poly_regression = Pipeline([("Poly", PolynomialFeatures(degree=3, include_bias=False)),("Line", LinearRegression())
])plot_learning_curves(poly_regression, x, y)