Python實現多元線性回歸的梯度下降法
1. 讀取數據
首先要做的就是讀取數據,請自行準備一組適合做多元回歸的數據即可。這裡以data.csv為例,這裡做的是二元回歸。導入相關庫,及相關代碼如下。
import numpy as np import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import Axes3D data = np.loadtxt("data.csv", delimiter=",") # 提取特征數據與標簽 x_data = data[:,0:-1] y_data = data[:,-1]
2.定義代價函數
回歸模型形如:
接下來我們需要初始化相關參數,並定義出代價函數。因為存在多個系數參數,這裡代價函數的寫法與一元回歸時的情況略有不同,稍微有所調整。具體如下:
# 初始化一系列參數 # 截距 theta0 = 0 # 系數 theta1 = 0 theta2 = 0 # 學習率 learning_rate = 0.0001 # 初始化迭代次數 n_iterables = 1000 # 定義代價函數(損失函數) def compute_mse(theta0, theta1, theta2, x_data, y_data): total_error = 0 for i in range(len(x_data)): # 計算損失 真實值:y_data 預測值h(x)=theta0 + theta1*x1 + theta2*x2 total_error += (y_data[i] - (theta0 + theta1 * x_data[i, 0] + theta2 * x_data[i, 1])) ** 2 mse_ = total_error / len(x_data) / 2 return mse_
3. 梯度下降
多元回歸的梯度下降與一元回歸的差不多,在一元回歸中隻需要求一個導數,而現在求多個偏導數。代碼過程如下:
def gradient_descent(x_data, y_data, theta0, theta1, theta2, learning_rate, n_iterables): m = len(x_data) # 循環 --> 迭代次數 for i in range(n_iterables): # 初始化 theta0 theta1 theta2 的偏導值 theta0_grad = 0 theta1_grad = 0 theta2_grad = 0 # 計算偏導的總和再平均 # 遍歷m次 for j in range(m): theta0_grad += (1 / m) * ((theta1 * x_data[j, 0] + theta2 * x_data[j, 1] + theta0) - y_data[j]) theta1_grad += (1 / m) * ((theta1 * x_data[j, 0] + theta2 * x_data[j, 1] + theta0) - y_data[j]) * x_data[ j, 0] theta2_grad += (1 / m) * ((theta1 * x_data[j, 0] + theta2 * x_data[j, 1] + theta0) - y_data[j]) * x_data[ j, 1] # 更新theta theta0 = theta0 - (learning_rate * theta0_grad) theta1 = theta1 - (learning_rate * theta1_grad) theta2 = theta2 - (learning_rate * theta2_grad) return theta0, theta1, theta2 print(f"開始:截距theta0={theta0},theta1={theta1},theta2={theta2},損失={compute_mse(theta0,theta1,theta2,x_data,y_data)}") print("開始運行") theta0,theta1,theta2 = gradient_descent(x_data,y_data,theta0,theta1,theta2,learning_rate,n_iterables) print(f"迭代{n_iterables}次後:截距theta0={theta0},theta1={theta1},theta2={theta2},損失={compute_mse(theta0,theta1,theta2,x_data,y_data)}")
執行結果輸出如下:
1000次迭代之後,損失值由23.64變為0.3865。
4.可視化展示
可視化展示常常作為機器學習過程的補充,可以使得機器學習的效果更為生動,直觀。
# 可視化散點分佈 fig = plt.figure() ax = Axes3D(fig) ax.scatter(x_data[:,0],x_data[:,1],y_data) plt.show() # 可視化散點分佈 fig = plt.figure() ax = Axes3D(fig) ax.scatter(x_data[:,0],x_data[:,1],y_data) # 繪制預期平面 # 構建x x_0 = x_data[:,0] x_1 = x_data[:,1] # 生成網格矩陣 x_0,x_1 = np.meshgrid(x_0,x_1) y_hat = theta0 + theta1*x_0 + theta2*x_1 # 繪制3D圖 ax.plot_surface(x_0,x_1,y_hat) # 設置標簽 ax.set_xlabel("Miles") ax.set_ylabel("nums") ax.set_zlabel("Time") plt.show()
散點圖輸出如下:
加上擬合回歸面後如圖所示:
到此這篇關於Python實現多元線性回歸的梯度下降法的文章就介紹到這瞭,更多相關Python梯度下降法內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet!