python機器學習邏輯回歸隨機梯度下降法
寫在前面
隨機梯度下降法就在隨機梯度上。意思就是說當我們在初始點時想找到下一點的梯度,這個點是隨機的。全批量梯度下降是從一個點接著一點是有順序的,全部數據點都要求梯度且有順序。
全批量梯度下降雖然穩定,但速度較慢;
SGD雖然快,但是不夠穩定
隨機梯度下降法
隨機梯度下降法(Stochastic Gradient Decent,
SGD)是對全批量梯度下降法計算效率的改進算法。本質上來說,我們預期隨機梯度下降法得到的結果和全批量梯度下降法相接近;SGD的優勢是更快地計算梯度。
代碼
''' 隨機梯度下降法(Stochastic Gradient Decent, SGD) 是對全批量梯度下降法計算效率的改進算法。本 質上來說,我們預期隨機梯度下降法得到的結果和全批量梯度下降法相接近; SGD的優勢是更快地計算梯度。 ''' import pandas as pd import numpy as np import os os.getcwd() # F:\\pythonProject3\\data\\data\\train.csv # dataset_path = '..' # 這是一個全批量梯度下降(full-batch gradient descent)的應用。 # 這個問題是一個回歸問題 # 我們給出美國某大型問答社區從2010年10月1日到2016年11月30日, # 每天新增的問題的個數和回答的個數。 # 任務是預測2016年12月1日到2017年5月1日,該問答網站每天新增的問題數和回答數。 train = pd.read_csv('..\\train.csv') # 導入數據 # train = pd.read_csv('train.csv') test = pd.read_csv('..\\test.csv') submit = pd.read_csv('..\\sample_submit.csv') path1=os.path.abspath('.') print("path1@@@@@",path1) path2=os.path.abspath('..') print("path2@@@@@",path2) print(train) # 初始設置 beta = [1,1] #初始點 alpha = 0.2 #學習率,也就是步長 tol_L = 0.1 #閾值,也就是精度 # 對x進行歸一化,train 是訓練數據的二維表格 max_x = max(train['id']) #max_x是總共的id數 x = train['id'] / max_x #所有的id都除於max_x y = train['questions'] # train二維表格中的questions列賦給y type(train['id']) print("train['id']#######\n",train['id']) print("type(train['id'])###\n\n",x) print("max_x#######",max_x) #為瞭計算方向 def compute_grad_SGD(beta, x, y): ''' :param beta: 是初始點 :param x: 是自變量 :param y: 是真是值 :return: 梯度數組 ''' grad = [0, 0] r = np.random.randint(0, len(x)) #在0-len(x)之間隨機生成一個數 grad[0] = 2. * np.mean(beta[0] + beta[1] * x[r] - y[r]) #求beta[1,1],中第1個數的梯度 grad[1] = 2. * np.mean(x * (beta[0] + beta[1] * x - y))#求beta[1,1],中第2個數的梯度 return np.array(grad) #為瞭計算下一個點在哪, def update_beta(beta, alpha, grad): ''' :param beta: 第一點,初始點 :param alpha: 學習率,也就時步長 :param grad: 梯度 :return: ''' new_beta = np.array(beta) - alpha * grad return new_beta # 定義計算RMSE的函數 # 均方根誤差(RMSE) def rmse(beta, x, y): squared_err = (beta[0] + beta[1] * x - y) ** 2 # beta[0] + beta[1] * x是預測值,y是真實值, res = np.sqrt(np.mean(squared_err)) return res # 進行第一次計算 grad = compute_grad_SGD(beta, x, y) #調用計算梯度函數,計算梯度 loss = rmse(beta, x, y) #調用損失函數,計算損失 beta = update_beta(beta, alpha, grad) #更新下一點 loss_new = rmse(beta, x, y) #調用損失函數,計算下一個損失 # 開始迭代 i = 1 while np.abs(loss_new - loss) > tol_L: beta = update_beta(beta, alpha, grad) grad = compute_grad_SGD(beta, x, y) if i % 100 == 0: loss = loss_new loss_new = rmse(beta, x, y) print('Round %s Diff RMSE %s'%(i, abs(loss_new - loss))) i += 1 print('Coef: %s \nIntercept %s'%(beta[1], beta[0])) res = rmse(beta, x, y) print('Our RMSE: %s'%res) from sklearn.linear_model import LinearRegression lr = LinearRegression() lr.fit(train[['id']], train[['questions']]) print('Sklearn Coef: %s'%lr.coef_[0][0]) print('Sklearn Coef: %s'%lr.intercept_[0]) res = rmse([936.051219649, 2.19487084], train['id'], y) print('Sklearn RMSE: %s'%res)
參考文獻
隨機梯度下降法
推薦閱讀:
- 人工智能—Python實現線性回歸
- 人工智能-Python實現多項式回歸
- python機器學習基礎線性回歸與嶺回歸算法詳解
- Python之Sklearn使用入門教程
- 關於keras多任務多loss回傳的思考