python基於機器學習預測股票交易信號
引言
近年來，隨著技術的發展，機器學習和深度學習在金融資產量化研究上的應用越來越廣泛和深入。目前，大量數據科學傢在Kaggle網站上發佈瞭使用機器學習/深度學習模型對股票、期貨、比特幣等金融資產做預測和分析的文章。從金融投資的角度看，這些文章可能缺乏一定的理論基礎支撐（或交易思維），大都是基於數據挖掘。但從量化的角度看，有很多值得我們學習參考的地方，尤其是Pyhton的深入應用、數據可視化和機器學習模型的評估與優化等。下面借鑒Kaggle上的一篇文章《Building an Asset Trading Strategy》，以上證指數為例，構建雙均線交易策略，以交易信號為目標變量，以技術分析指標作為預測特征變量，使用多種機器學習模型進行對比評估和優化。文中的特征變量構建和提取，機器學習模型的對比評估和結果可視化都是很好的參考模板。
數據獲取與指標構建
先引入需要用到的libraries，這是Python語言的突出特點之一。這些涉及到的包比較多，包括常用的numpy、pandas、matplotlib，技術分析talib，機器學習sklearn和數據包tushare等。
#先引入後面可能用到的libraries import numpy as np import pandas as pd import tushare as ts #技術指標 import talib as ta #機器學習模塊 from sklearn.linear_model import LogisticRegression from sklearn.discriminant_analysis import LinearDiscriminantAnalysis from sklearn.neighbors import KNeighborsClassifier from sklearn.tree import DecisionTreeClassifier from sklearn.naive_bayes import GaussianNB from sklearn.ensemble import GradientBoostingClassifier from xgboost import XGBClassifier,XGBRegressor from catboost import CatBoostClassifier,CatBoostRegressor from sklearn.ensemble import RandomForestClassifier,RandomForestRegressor from sklearn.model_selection import train_test_split,KFold,cross_val_score from sklearn.metrics import accuracy_score import shap from sklearn.feature_selection import SelectKBest,f_regression from sklearn import preprocessing #畫圖 import seaborn as sns import matplotlib.pyplot as plt import plotly.graph_objects as go import plotly.express as px %matplotlib inline #正常顯示畫圖時出現的中文和負號 from pylab import mpl mpl.rcParams['font.sans-serif']=['SimHei'] mpl.rcParams['axes.unicode_minus']=False
數據獲取
用tushare獲取上證行情數據作為分析樣本。
#默認以上證指數交易數據為例
def get_data(code='sh',start='2000-01-01',end='2021-03-02'):
df=ts.get_k_data('sh',start='2005')
df.index=pd.to_datetime(df.date)
df=df[['open','high','low','close','volume']]
return df
df=get_data()
df_train,df_test=df.loc[:'2017'],df.loc['2018':]
構建目標變量（target variable）
以交易信號作為目標變量，使用價格信息和技術指標作為特征變量進行預測分析。以雙均線交易策略為例，當短期均線向上突破長期均線時形成買入信號（設定為1），當短期均線向下跌破長期均線時發出賣出信號（設定為0），然後再使用機器學習模型進行預測和評估。這裡將短期移動平均值(SMA1)和長期移動平均值(SMA2)的參數分別設置為10和60，二者的設定具有一定的任意性，參數的選擇會影響後續結果，所以理想情況下需要進行參數優化來找到最優值。
def trade_signal(data,short=10,long=60,tr_id=False):
data['SMA1'] = data.close.rolling(short).mean()
data['SMA2'] = data.close.rolling(long).mean()
data['signal'] = np.where(data['SMA1'] >data['SMA2'], 1.0, 0.0)
if(tr_id is not True):
display(data['signal'].value_counts())
df_tr1 = df_train.copy(deep=True)
df_te1 = df_test.copy(deep=True)
trade_signal(df_tr1) #
trade_signal(df_te1,tr_id=True)
plt.figure(figsize=(14,12), dpi=80)
ax1 = plt.subplot(211)
plt.plot(df_tr1.close,color='b')
plt.title('上證指數走勢',size=15)
plt.xlabel('')
ax2 = plt.subplot(212)
plt.plot(df_tr1.signal,color='r')
plt.title('交易信號',size=15)
plt.xlabel('')
plt.show()
df_tr1[['SMA1','SMA2','signal']].iloc[-250:].plot(figsize=(14,6),secondary_y=['signal']) plt.show()
#刪除均線變量
df_tr1=df_tr1.drop(['SMA1','SMA2'], axis=1)
df_te1=df_te1.drop(['SMA1','SMA2'], axis=1)
#畫目標變量與其他變量之間的相關系數圖
cmap = sns.diverging_palette(220, 10, as_cmap=True)
def corrMat(df,target='demand',figsize=(9,0.5),ret_id=False):
corr_mat = df.corr().round(2);shape = corr_mat.shape[0]
corr_mat = corr_mat.transpose()
corr = corr_mat.loc[:, df.columns == target].transpose().copy()
if(ret_id is False):
f, ax = plt.subplots(figsize=figsize)
sns.heatmap(corr,vmin=-0.3,vmax=0.3,center=0,
cmap=cmap,square=False,lw=2,annot=True,cbar=False)
plt.title(f'Feature Correlation to {target}')
if(ret_id):
return corr
corrMat(df_tr1,'signal',figsize=(7,0.5))
當前的特征open、high、low、close、volumes與目標變量的線性相關值非常小，這可能意味著存在高非線性，相對平穩值的穩定振蕩(圓形散射)，或者也許它們不是理想的預測特征變量，所以下面需要進行特征構建和選取。
技術指標特征構建
為方便分析，下面以常見的幾個技術指標作為特征引入特征矩陣，具體指標有：
移動平均線:移動平均線通過減少噪音來指示價格的運動趨勢。
隨機振蕩器%K和%D:隨機振蕩器是一個動量指示器，比較特定的證券收盤價和一定時期內的價格范圍。%K、%D分別為慢、快指標。
相對強弱指數(RSI):動量指標，衡量最近價格變化的幅度，以評估股票或其他資產的價格超買或超賣情況。
變化率(ROC):動量振蕩器，測量當前價格和n期過去價格之間的百分比變化。ROC值越高越有可能超買，越低可能超賣。
動量(MOM):證券價格或成交量加速的速度;價格變化的速度。
#復制之前的數據 df_tr2=df_tr1.copy(deep=True) df_te2=df_te1.copy(deep=True)
計算技術指標
#使用talib模塊直接計算相關技術指標 #下面參數的選取具有主觀性 def indicators(data): data['MA13']=ta.MA(data.close,timeperiod=13) data['MA34']=ta.MA(data.close,timeperiod=34) data['MA89']=ta.MA(data.close,timeperiod=89) data['EMA10']=ta.EMA(data.close,timeperiod=10) data['EMA30']=ta.EMA(data.close,timeperiod=30) data['EMA200']=ta.EMA(data.close,timeperiod=200) data['MOM10']=ta.MOM(data.close,timeperiod=10) data['MOM30']=ta.MOM(data.close,timeperiod=30) data['RSI10']=ta.RSI(data.close,timeperiod=10) data['RSI30']=ta.RSI(data.close,timeperiod=30) data['RS200']=ta.RSI(data.close,timeperiod=200) data['K10'],data['D10']=ta.STOCH(data.high,data.low,data.close, fastk_period=10) data['K30'],data['D30']=ta.STOCH(data.high,data.low,data.close, fastk_period=30) data['K20'],data['D200']=ta.STOCH(data.high,data.low,data.close, fastk_period=200) indicators(df_tr2) indicators(df_te2) corrMat(df_tr2,'signal',figsize=(15,0.5))
上圖可以看到明顯線性相關的一組特征是作為特征工程的結果創建的。如果在特征矩陣中使用基本數據集特征，很可能對目標變量的變化影響很小或沒有影響。另一方面，新創建的特征具有相當寬的相關值范圍，這是相當重要的;與目標變量（交易信號）的相關性不算特別高。
#刪除缺失值 df_tr2 = df_tr2.dropna() df_te2 = df_te2.dropna()
模型預測與評估
下面使用常用的機器學習算法分別對數據進行擬合和交叉驗證評估
models.append(('RF', RandomForestClassifier(n_estimators=25)))
models = []
#輕量級模型
#線性監督模型
models.append(('LR', LogisticRegression(n_jobs=-1)))
models.append(('TREE', DecisionTreeClassifier()))
#非監督模型
models.append(('LDA', LinearDiscriminantAnalysis()))
models.append(('KNN', KNeighborsClassifier()))
models.append(('NB', GaussianNB()))
#高級模型
models.append(('GBM', GradientBoostingClassifier(n_estimators=25)))
models.append(('XGB',XGBClassifier(n_estimators=25,use_label_encoder=False)))
models.append(('CAT',CatBoostClassifier(silent=True,n_estimators=25)))
構建模型評估函數
def modelEval(ldf,feature='signal',split_id=[None,None],eval_id=[True,True,True,True],
n_fold=5,scoring='accuracy',cv_yrange=None,hm_vvals=[0.5,1.0,0.75]):
''' Split Train/Evaluation <DataFrame> Set Split '''
# split_id : Train/Test split [%,timestamp], whichever is not None
# test_id : Evaluate trained model on test set only
if(split_id[0] is not None):
train_df,eval_df = train_test_split(ldf,test_size=split_id[0],shuffle=False)
elif(split_id[1] is not None):
train_df = df.loc[:split_id[1]]; eval_df = df.loc[split_id[1]:]
else:
print('Choose One Splitting Method Only')
''' Train/Test Feature Matrices + Target Variables Split'''
y_train = train_df[feature]
X_train = train_df.loc[:, train_df.columns != feature]
y_eval = eval_df[feature]
X_eval = eval_df.loc[:, eval_df.columns != feature]
X_one = pd.concat([X_train,X_eval],axis=0)
y_one = pd.concat([y_train,y_eval],axis=0)
''' Cross Validation, Training/Evaluation, one evaluation'''
lst_res = []; names = []; lst_train = []; lst_eval = []; lst_one = []; lst_res_mean = []
if(any(eval_id)):
for name, model in models:
names.append(name)
# Cross Validation Model on Training Se
if(eval_id[0]):
kfold = KFold(n_splits=n_fold, shuffle=True)
cv_res = cross_val_score(model,X_train,y_train, cv=kfold, scoring=scoring)
lst_res.append(cv_res)
# Evaluate Fit Model on Training Data
if(eval_id[1]):
res = model.fit(X_train,y_train)
train_res = accuracy_score(res.predict(X_train),y_train); lst_train.append(train_res)
if(eval_id[2]):
if(eval_id[1] is False): # If training hasn't been called yet
res = model.fit(X_train,y_train)
eval_res = accuracy_score(res.predict(X_eval),y_eval); lst_eval.append(eval_res)
# Evaluate model on entire dataset
if(eval_id[3]):
res = model.fit(X_one,y_one)
one_res = accuracy_score(res.predict(X_one),y_one); lst_one.append(one_res)
''' [out] Verbal Outputs '''
lst_res_mean.append(cv_res.mean())
fn1 = cv_res.mean()
fn2 = cv_res.std();
fn3 = train_res
fn4 = eval_res
fn5 = one_res
s0 = pd.Series(np.array(lst_res_mean),index=names)
s1 = pd.Series(np.array(lst_train),index=names)
s2 = pd.Series(np.array(lst_eval),index=names)
s3 = pd.Series(np.array(lst_one),index=names)
pdf = pd.concat([s0,s1,s2,s3],axis=1)
pdf.columns = ['cv_average','train','test','all']
''' Visual Ouputs '''
sns.set(style="whitegrid")
fig,ax = plt.subplots(1,2,figsize=(15,4))
ax[0].set_title(f'{n_fold} Cross Validation Results')
sns.boxplot(data=lst_res, ax=ax[0], orient="v",width=0.3)
ax[0].set_xticklabels(names)
sns.stripplot(data=lst_res,ax=ax[0], orient='v',color=".3",linewidth=1)
ax[0].set_xticklabels(names)
ax[0].xaxis.grid(True)
ax[0].set(xlabel="")
if(cv_yrange is not None):
ax[0].set_ylim(cv_yrange)
sns.despine(trim=True, left=True)
sns.heatmap(pdf,vmin=hm_vvals[0],vmax=hm_vvals[1],center=hm_vvals[2],
ax=ax[1],square=False,lw=2,annot=True,fmt='.3f',cmap='Blues')
ax[1].set_title('Accuracy Scores')
plt.show()
基準模型：使用原始行情數據作為特征
modelEval(df_tr1,split_id=[0.2,None])
結果顯示，cross_val_score徘徊在準確度= 0.5的區域，這表明僅使用指數/股票的價格數據（開盤、最高、最低、成交量、收盤）很難準確預測價格變動的方向性。大多數模型的訓練得分往往高於交叉驗證得分。有意思的是，DecisionTreeClassifier & RandomForest即使很少估計可以達到非常高的分數，但交叉驗證的得分卻很低，表明對訓練數據可能存在過度擬合瞭。
加入技術指標特征
modelEval(df_tr2,split_id=[0.2,None],cv_yrange=(0.8,1.0),hm_vvals=[0.8,1.0,0.9])
結果表明，與基準模型相比，準確率得分有瞭非常顯著的提高。線性判別分析(LDA)的表現非常出色，不僅在訓練集上，而且在交叉驗證中，得分顯著提高。毫無疑問，更復雜的模型GBM,XGB,CAT,RF在全樣本中評估得分較高。與有監督學習模型相比，kNN和GaussianNB的無監督模型表現較差。
特征的優化
def feature_importance(ldf,feature='signal',n_est=100):
# Input dataframe containing feature & target variable
X = ldf.copy()
y = ldf[feature].copy()
del X[feature]
# CORRELATION
imp = corrMat(ldf,feature,figsize=(15,0.5),ret_id=True)
del imp[feature]
s1 = imp.squeeze(axis=0);s1 = abs(s1)
s1.name = 'Correlation'
# SHAP
model = CatBoostRegressor(silent=True,n_estimators=n_est).fit(X,y)
explainer = shap.TreeExplainer(model)
shap_values = explainer.shap_values(X)
shap_sum = np.abs(shap_values).mean(axis=0)
s2 = pd.Series(shap_sum,index=X.columns,name='Cat_SHAP').T
# RANDOMFOREST
model = RandomForestRegressor(n_est,random_state=0, n_jobs=-1)
fit = model.fit(X,y)
rf_fi = pd.DataFrame(model.feature_importances_,index=X.columns,
columns=['RandForest']).sort_values('RandForest',ascending=False)
s3 = rf_fi.T.squeeze(axis=0)
# XGB
model=XGBRegressor(n_estimators=n_est,learning_rate=0.5,verbosity = 0)
model.fit(X,y)
data = model.feature_importances_
s4 = pd.Series(data,index=X.columns,name='XGB').T
# KBEST
model = SelectKBest(k=5, score_func=f_regression)
fit = model.fit(X,y)
data = fit.scores_
s5 = pd.Series(data,index=X.columns,name='K_best')
# Combine Scores
df0 = pd.concat([s1,s2,s3,s4,s5],axis=1)
df0.rename(columns={'target':'lin corr'})
x = df0.values
min_max_scaler = preprocessing.MinMaxScaler()
x_scaled = min_max_scaler.fit_transform(x)
df = pd.DataFrame(x_scaled,index=df0.index,columns=df0.columns)
df = df.rename_axis('Feature Importance via', axis=1)
df = df.rename_axis('Feature', axis=0)
pd.options.plotting.backend = "plotly"
fig = df.plot(kind='bar',title='Scaled Feature Importance')
fig.show()
feature_importance(df_tr2)
註意到，對於很多特征，相關性(Pearson’s value)小的在其他方法中也會給出小的得分值。同樣，高相關的特征在其他特征重要性方法中得分也很高。當談到特征的重要性時，有一些特征顯示出一些輕微的不一致，總的來說，大多數方法都可以觀察到特征評分的相似性。在機器學習中，某些特征對於大多數方法來說都有一個非常低的相對分數值，因此可能沒有什麼影響，即使把它們刪除，也不會降低模型的準確性。刪除可能不受影響的特性將使整個方法更加有效，同時可以專註於更長和更深入的超參數網格搜索，可能得到比原來模型更準確的結果。
df_tr2_FI = df_tr2.drop(columns=['open','high','low','close','EMA10']) modelEval(df_tr2_FI,split_id=[0.2,None],cv_yrange=(0.8,1.0),hm_vvals=[0.8,1.0,0.9])
結語
本文隻是以上證指數為例，以技術指標作為特征，使用機器學習算法對股票交易信號（註意這裡不是股價或收益率）進行預測評估，目的在於向讀者展示Python機器學習在金融量化研究上的應用。從金融維度來看，分析的深度較淺，實際上對股價預測有用的特征有很多，包括（1）外在因素， 如股票相關公司的競爭對手、客戶、全球經濟、地緣政治形勢、財政和貨幣政策、資本獲取等。因此，公司股價可能不僅與其他公司的股價相關，還與大宗商品、外匯、廣義指數、甚至固定收益證券等其他資產相關；（2）股價市場因素，如很多投資者關註技術指標。（3）公司基本面因素，如公司的年度和季度報告可以用來提取或確定關鍵指標，如凈資產收益率(ROE)和市盈率(price -to – earnings)。此外，新聞可以預示即將發生的事件，這些事件可能會推動股價向某個方向發展。當關註股票價格預測時，我們可以使用類似的方法來構建影響預測變量的因素，希望本文能起到拋磚引玉的作用。
以上就是python基於機器學習預測股票交易信號的詳細內容，更多關於python 預測股票交易信號的資料請關註WalkonNet其它相關文章！
推薦閱讀：
- python解釋模型庫Shap實現機器學習模型輸出可視化
- Python集成學習之Blending算法詳解
- python機器學習基礎K近鄰算法詳解KNN
- Python之Sklearn使用入門教程
- python機器學習樸素貝葉斯算法及模型的選擇和調優詳解