Python實現解析參數的三種方法詳解

Posted on by

今天我們分享的主要目的就是通過在 Python 中使用命令行和配置文件來提高代碼的效率

Let's go!

我們以機器學習當中的調參過程來進行實踐，有三種方式可供選擇。第一個選項是使用 argparse，它是一個流行的 Python 模塊，專門用於命令行解析；另一種方法是讀取 JSON 文件，我們可以在其中放置所有超參數；第三種也是鮮為人知的方法是使用 YAML 文件！好奇嗎，讓我們開始吧！

先決條件

在下面的代碼中，我將使用 Visual Studio Code，這是一個非常高效的集成 Python 開發環境。這個工具的美妙之處在於它通過安裝擴展支持每種編程語言，集成終端並允許同時處理大量 Python 腳本和 Jupyter 筆記本

當然如果你還不知道怎麼配置 VSCode，可以看這裡

手把手將Visual Studio Code變成Python開發神器

數據集，使用的是 Kaggle 上的共享自行車數據集，可以在這裡下載或者在文末獲取

使用 argparse

就像上圖所示，我們有一個標準的結構來組織我們的小項目：

  • 包含我們數據集的名為 data 的文件夾
  • train.py 文件
  • 用於指定超參數的 options.py 文件

首先，我們可以創建一個文件 train.py，在其中我們有導入數據、在訓練數據上訓練模型並在測試集上對其進行評估的基本程序：

import pandas as pd
import numpy as np
from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import mean_squared_error, mean_absolute_error

from options import train_options

df = pd.read_csv('data\hour.csv')
print(df.head())
opt = train_options()

X=df.drop(['instant','dteday','atemp','casual','registered','cnt'],axis=1).values
y =df['cnt'].values
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

if opt.normalize == True:
    scaler = StandardScaler()
    X = scaler.fit_transform(X)
    
rf = RandomForestRegressor(n_estimators=opt.n_estimators,max_features=opt.max_features,max_depth=opt.max_depth)
model = rf.fit(X_train,y_train)
y_pred = model.predict(X_test)
rmse = np.sqrt(mean_squared_error(y_pred, y_test))
mae = mean_absolute_error(y_pred, y_test)
print("rmse: ",rmse)
print("mae: ",mae)

在代碼中，我們還導入瞭包含在 options.py 文件中的 train_options 函數。後一個文件是一個 Python 文件，我們可以從中更改 train.py 中考慮的超參數：

import argparse

def train_options():
    parser = argparse.ArgumentParser()
    parser.add_argument("--normalize", default=True, type=bool, help='maximum depth')
    parser.add_argument("--n_estimators", default=100, type=int, help='number of estimators')
    parser.add_argument("--max_features", default=6, type=int, help='maximum of features',)
    parser.add_argument("--max_depth", default=5, type=int,help='maximum depth')
    opt = parser.parse_args()
    return opt

在這個例子中，我們使用瞭 argparse 庫，它在解析命令行參數時非常流行。首先，我們初始化解析器，然後，我們可以添加我們想要訪問的參數。

這是運行代碼的示例：

python train.py

要更改超參數的默認值，有兩種方法。第一個選項是在 options.py 文件中設置不同的默認值。另一種選擇是從命令行傳遞超參數值：

python train.py --n_estimators 200

我們需要指定要更改的超參數的名稱和相應的值。

python train.py --n_estimators 200 --max_depth 7

使用 JSON 文件

和前面一樣，我們可以保持類似的文件結構。在這種情況下，我們將 options.py 文件替換為 JSON 文件。換句話說，我們想在 JSON 文件中指定超參數的值並將它們傳遞給 train.py 文件。與 argparse 庫相比，JSON 文件可以是一種快速且直觀的替代方案，它利用鍵值對來存儲數據。下面我們創建一個 options.json 文件，其中包含我們稍後需要傳遞給其他代碼的數據。

{
"normalize":true,
"n_estimators":100,
"max_features":6,
"max_depth":5 
}

如上所見，它與 Python 字典非常相似。但是與字典不同的是，它包含文本/字符串格式的數據。此外，還有一些語法略有不同的常見數據類型。例如，佈爾值是 false/true，而 Python 識別 False/True。JSON 中其他可能的值是數組，它們用方括號表示為 Python 列表。

在 Python 中使用 JSON 數據的美妙之處在於，它可以通過 load 方法轉換成 Python 字典：

f = open("options.json", "rb")
parameters = json.load(f)

要訪問特定項目，我們隻需要在方括號內引用它的鍵名：

if parameters["normalize"] == True:
    scaler = StandardScaler()
    X = scaler.fit_transform(X)
rf=RandomForestRegressor(n_estimators=parameters["n_estimators"],max_features=parameters["max_features"],max_depth=parameters["max_depth"],random_state=42)
model = rf.fit(X_train,y_train)
y_pred = model.predict(X_test)

使用 YAML 文件

最後一種選擇是利用 YAML 的潛力。與 JSON 文件一樣，我們將 Python 代碼中的 YAML 文件作為字典讀取，以訪問超參數的值。YAML 是一種人類可讀的數據表示語言，其中層次結構使用雙空格字符表示，而不是像 JSON 文件中的括號。下面我們展示 options.yaml 文件將包含的內容：

normalize: True 
n_estimators: 100
max_features: 6
max_depth: 5

在 train.py 中，我們打開 options.yaml 文件，該文件將始終使用 load 方法轉換為 Python 字典，這一次是從 yaml 庫中導入的：

import yaml
f = open('options.yaml','rb')
parameters = yaml.load(f, Loader=yaml.FullLoader)

和前面一樣，我們可以使用字典所需的語法訪問超參數的值。

最後的想法

配置文件的編譯速度非常快，而 argparse 則需要為我們要添加的每個參數編寫一行代碼。

所以我們應該根據自己的不同情況來選擇最為合適的方式

例如，如果我們需要為參數添加註釋，JSON 是不合適的，因為它不允許註釋，而 YAML 和 argparse 可能非常適合。

到此這篇關於Python實現解析參數的三種方法詳解的文章就介紹到這瞭,更多相關Python解析參數內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！

推薦閱讀：