Sklearn調優之網格搜索與隨機搜索原理詳細分析

Posted on by

前言

超參調優是“模型調優”（Model Tuning)階段最主要的工作，是直接影響模型最終效果的關鍵步驟，然而，超參調優本身卻是一項非常低級且枯燥的工作，因為它的策略就是：不斷變換參數值，一輪一輪地去“試”，直到找出結果最好的一組參數。顯然，這個過程是可以通過編程封裝成自動化的工作，而不是靠蠻力手動去一遍一遍的測試。為此，Sklearn提供瞭多種（自動化）超參調優方法（官方文檔），其中網格搜索（Grid Search）和隨機搜索（Randomized Search）是最基礎也是最常用的兩個：

方法名稱 對應類/函數 官方文檔
網格搜索（Grid Search） sklearn.model_selection.GridSearchCV 文檔鏈接
隨機搜索（Randomized Search） sklearn.model_selection.RandomizedSearchCV 文檔鏈接

對應類/函數的後綴CV是Cross-Validation的意思，因為它們每嘗試一種超參組合時，都會使用Cross-Validation進行效果評估，所以調用它們時也都需要顯式指定cv參數，即：驗證的輪次（K-Fold的份數）。

網格搜索（Grid Search）

網格搜索（Grid Search）的邏輯其實非常簡單，就是由開發者針對每個超參設定多個值去嘗試，找出效果最好的那個，由於超參會有很多個，而每一個超參又有多個嘗試值，所以就變成瞭一個“排列組合”問題。例如我們想針對兩個超參進行調優，第一個超參設置瞭2個嘗試值，第二個超參設置瞭3個嘗試值，則超參設置總共會有 2 × 3 = 6 種組合，理論上模型要被訓練6次，如果再加上交叉驗證的輪次參數cv，假設cv=3，則總得的訓練次數將變為：6 × 3 = 18 次。以下是《Hands-On ML, 2nd Edition》一書中提供的GridSearchCV示例代碼：

from sklearn.model_selection import GridSearchCV
param_grid = [
    {'n_estimators': [3, 10, 30], 'max_features': [2, 4, 6, 8]},
    {'bootstrap': [False], 'n_estimators': [3, 10], 'max_features': [2, 3, 4]},
]
forest_reg = RandomForestRegressor()
grid_search = GridSearchCV(forest_reg, param_grid, cv=5,
                           scoring='neg_mean_squared_error',
                           return_train_score=True)
grid_search.fit(housing_prepared, housing_labels)

在這份示例代碼中，作者提供針對bootstrap、n_estimators和max_features三個超參，給出瞭兩套參數設定：

第一套：{'n_estimators': [3, 10, 30], 'max_features': [2, 4, 6, 8]} 總計：3 × 4 = 12 種組合

第二套：{'bootstrap': [False], 'n_estimators': [3, 10], 'max_features': [2, 3, 4]} 總計：1 × 2 × 3 = 6 種組合

合在一起一共：12 + 6 = 18 種組合，加上交叉驗證設定cv=5，所以最終將訓練 18 × 5 = 90 次！這裡我們可以看到param_grid是一個list，裡面每一個元素是一個dict，一個dict就代表瞭一套參數設定，每套參數設定根據賦值情況又會產生多種參數組合。其實上面兩套組合也可以用下面的一套設定覆蓋：

param_grid = [
    {'bootstrap': [True, False], 'n_estimators': [3, 10, 30], 'max_features': [2, 3, 4, 6, 8]}
]

但在此情況下，總的訓練次數將會變為：(2 × 3 × 5) × 5 = 150 次。由此可見，Sklearn這種允許設定多套參數的設計（即一個list下可配置多個dict）還是有可取之處，會方便開發人員更具經驗設定最有希望的取值集合，減少訓練次數。

隨機搜索（Randomized Search）

網格搜索適用於參數組合數比較少的情況，當參數組合大到一定程度後，模型訓練所占用的資源和持續時間將會超用戶的可接受范圍，此時往往就要改用隨機搜索（Randomized Search）瞭。隨機搜索的工作原理和網格搜索其實差不多，都是“暴力嘗試”，不同之處在於：網格搜索的參數取值集合是用戶設定的，而隨機搜索的參數取值則是指定好區間（最大值和最小值）由隨機數發生器隨機生成的，而想要生成多少種組合是可以設置的。以下是《Hands-On ML, 2nd Edition》一書中提供的RandomizedSearchCV示例代碼：

from sklearn.model_selection import RandomizedSearchCV
from scipy.stats import randint
param_distribs = {
        'n_estimators': randint(low=1, high=200),
        'max_features': randint(low=1, high=8),
    }
forest_reg = RandomForestRegressor(random_state=42)
rnd_search = RandomizedSearchCV(forest_reg, param_distributions=param_distribs,
                                n_iter=10, cv=5, scoring='neg_mean_squared_error', random_state=42)
rnd_search.fit(housing_prepared, housing_labels)

在這份代碼中，作者針對n_estimators和max_features兩個超參分別設定瞭 1 ~ 200 和 1 ~ 8 的取值區間，然後通過設定參數n_iter=10將參數組合數設定為10，當然，疊加上交叉驗證cv=5後，實際的訓練就是 5 × 10 = 50 次瞭。

到此這篇關於Sklearn調優之網格搜索與隨機搜索原理詳細分析的文章就介紹到這瞭,更多相關Sklearn網格搜索與隨機搜索內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！

推薦閱讀：