python解釋模型庫Shap實現機器學習模型輸出可視化
解釋一個機器學習模型是一個困難的任務,因為我們不知道這個模型在那個黑匣子裡是如何工作的。解釋是必需的,這樣我們可以選擇最佳的模型,同時也使其健壯。
我們開始吧…
安裝所需的庫
使用pip安裝Shap開始。下面給出的命令可以做到這一點。
pip install shap
導入所需庫
在這一步中,我們將導入加載數據、創建模型和創建該模型的可視化所需的庫。
df = pd.read_csv('/content/Diabetes.csv') features = ['Pregnancies', 'Glucose','BloodPressure','SkinThickness','Insulin','BMI','DiabetesPedigreeFunction','Age'] Y = df['Outcome'] X = df[features] X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size = 0.2, random_state = 1234) xgb_model = xgb.XGBRegressor(random_state=42) xgb_model.fit(X_train, Y_train)
創建模型
在這一步中,我們將創建機器學習模型。在本文中,我將創建一個XGBoost模型,但是你可以選擇任何模型。我們將用於此模型的數據集是著名的糖尿病數據集,可從Kaggle下載。
df = pd.read_csv('/content/Diabetes.csv') features = ['Pregnancies', 'Glucose','BloodPressure','SkinThickness','Insulin','BMI','DiabetesPedigreeFunction','Age'] Y = df['Outcome'] X = df[features] X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size = 0.2, random_state = 1234) xgb_model = xgb.XGBRegressor(random_state=42) xgb_model.fit(X_train, Y_train)
創建可視化
現在我們將為shap創建解釋程序,找出模型的shape值,並使用它們創建可視化效果。
explainer = shap.Explainer(xgb_model) shap_values = explainer(X_test)
1、Bar Plot
shap.plots.bar(shap_values, max_display=10)
2、隊列圖
shap.plots.bar(shap_values.cohorts(2).abs.mean(0))
3、熱圖
shap.plots.heatmap(shap_values[1:100])
4、瀑佈圖
shap.plots.waterfall(shap_values[0]) # For the first observation
5、力圖
shap.initjs() explainer = shap.TreeExplainer(xgb_model) shap_values = explainer.shap_values(X_test) def p(j): return(shap.force_plot(explainer.expected_value, shap_values[j,:], X_test.iloc[j,:])) p(0)
6、決策圖
shap_values = explainer.shap_values(X_test)[1] print("The expected value is ", expected_value) print("The final prediction is ", xgb_model.predict(X_test)[1]) shap.decision_plot(expected_value, shap_values, X_test)
這就是如何使用 Shap 創建與機器學習模型相關的可視化並對其進行分析。
以上就是python解釋模型庫Shap實現機器學習模型輸出可視化的詳細內容,更多關於python解釋模型庫Shap模型輸出可視化的資料請關註WalkonNet其它相關文章!
推薦閱讀:
- Python集成學習之Blending算法詳解
- 人工智能-Python實現嶺回歸
- Python實現解析參數的三種方法詳解
- python基於機器學習預測股票交易信號
- 使用Python和scikit-learn創建混淆矩陣的示例詳解