python中的局部加权回归实例
局部加权回归(locally weighted regression)是一种非参数回归方法,与传统的回归方法相比,它不使用固定的参数进行回归,而是根据样本数据进行自适应地构建模型。这种自适应性质使得局部加权回归在回归分析、时间序列预测等领域广泛应用。
在python中,可以使用scikit-learn包中的locally weighted scatterplot smoothing(lowess)算法进行局部加权回归分析。在本文中,我们将介绍如何使用python实现lowess算法,并使用实例进行演示分析。
以下是使用python实现局部加权回归的步骤:
导入所需的库在python中实现局部加权回归,使用导入numpy、pandas、matplotlib.pyplot和sklearn.neighbors等库。
准备数据使用pandas库读取数据,准备数据为x和y。其中,x为自变量,y为因变量。
数据预处理将x和y的数据进行标准化处理。这样可以消除数据之间的量度不同,在建模之前将数据集中到零点附近,减少量级的影响。
拟合模型使用sklearn.neighbors库中的locallyweightedregression类拟合模型。使用这种方法时,需要指定两个超参数:带宽(bandwidth)和权值函数(weight function)。大多数情况下,带宽值越小,模型越准确,但计算成本也越高。
预测值使用locally_weighted_regression对象的predict方法来预测新输入的自变量所对应的因变量。
下面,我们来看一个局部加权回归的实例。
例1:基于人口数据进行房价预测
我们使用uci数据库中的波士顿房价数据集进行模型拟合和预测。该数据集包含506个样本和13个自变量,其中包括城镇人均犯罪率(crim)、修建后1940年以前的自有住房比例(zn)、一氧化氮浓度(nox)、房间数人均(rm)等。
导入所需库import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.preprocessing import standardscaler
from sklearn.neighbors import kneighborsregressor
准备数据读取波士顿房价数据集
data = pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/housing/housing.data', header = none, sep = 's+')
指定x和y
x = data.iloc[:, :13].values
y = data.iloc[:, 13].values
数据预处理对x和y进行标准化处理
sc_x = standardscaler()
sc_y = standardscaler()
x = sc_x.fit_transform(x)
y = sc_y.fit_transform(y.reshape(-1, 1))
将数据集拆分为训练集和测试集
from sklearn.model_selection import train_test_split
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.2, random_state=0)
拟合模型使用locallyweightedregression拟合模型
lwr = kneighborsregressor(n_neighbors=2, weights='uniform')
lwr.fit(x_train, y_train)
预测值使用lwr对象的predict方法预测
y_pred = lwr.predict(x_test)
y_pred = sc_y.inverse_transform(y_pred)
y_test = sc_y.inverse_transform(y_test)
结果可视化将预测结果与测试集中的真实值绘制在同一张图上比较
plt.scatter(x_test[:,5], y_test, color='red')
plt.scatter(x_test[:,5], y_pred, color='blue')
plt.xlabel('number of rooms')
plt.ylabel('price')
plt.title('the price of houses')
plt.show()
根据可视化图形,我们可以看出模型的预测结果与测试集中的真实值很接近。这说明局部加权回归模型可以准确地预测房价。
以上就是python中的局部加权回归实例的详细内容。