Pyspark 線性回歸梯度下降交叉驗證知識點詳解
我正在嘗試在 pyspark 中的 SGD 模型上執行交叉驗證,我正在使用pyspark.mllib.regression,ParamGridBuilder和CrossValidator都來自pyspark.ml.tuning庫的LinearRegressionWithSGD。
在 Spark 網站上跟蹤文件資料之後,我希望運行此方法可以正常工作
資料參考:https://spark.apache.org/docs/2.1.0/ml-tuning.html
lr = LinearRegressionWithSGD() pipeline=Pipeline(stages=[lr]) paramGrid = ParamGridBuilder()\ .addGrid(lr.stepSize, Array(0.1, 0.01))\ .build() crossval = CrossValidator(estimator=pipeline,estimatorParamMaps= paramGrid, evaluator=RegressionEvaluator(), numFolds=10)
但是LinearRegressionWithSGD()沒有屬性stepSize(也沒有運氣嘗試過其他人)。
我可以將 lr 設置為LinearRegression,但是我無法在模型中使用 SGD 並進行交叉驗證。
斯卡拉中有kFold方法,但我不確定如何從 pyspark 訪問該方法
解決方案
您可以使用LinearRegressionWithSGD中的step參數來定義步長,但由於您正在混合不兼容的庫,因此這將使代碼無法正常工作。不幸的是,我不知道如何使用SGD優化對ml庫進行交叉驗證,我想知道自己,但是您正在混合使用pyspark.ml和pyspark.mllib庫。具體來說,您不能將LinearRegressionWithSGD與pyspark.ml庫一起使用。您必須使用pyspark.ml.regression.LinearRegression。
好消息是您可以將pyspark.ml.regression.LinearRegression的setsolver屬性設置為使用’gd’。因此,您可能可以將’gd’優化器的參數設置為以SGD運行,但是我不確定求解器文檔在哪裡或如何設置求解器屬性(例如批大小)。該api顯示瞭調用Param()的LinearRegression對象,但是我不確定它是否使用pyspark.mllib優化器。如果有人知道如何設置求解器屬性,則可以通過允許您將Pipeline,ParamGridBuilder和CrossValidation ml軟件包用於LinearRegression進行模型選擇,並利用SGD優化進行參數調整來回答您的問題。
到此這篇關於Pyspark 線性回歸梯度下降交叉驗證知識點詳解的文章就介紹到這瞭,更多相關Pyspark 線性回歸梯度下降交叉驗證內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet!
推薦閱讀:
- pycharm利用pyspark遠程連接spark集群的實現
- 運行獨立 pyspark 時出現 Windows 錯誤解決辦法
- pyspark對Mysql數據庫進行讀寫的實現
- python pipeline的用法及避坑點
- pyspark創建DataFrame的幾種方法