AI选股中回归、分类、排序算法的构建流程
由iquant创建,最终由qxiao 被浏览 534 用户
导语
【旧版模块】,该文档为旧版。新模板详见:
https://bigquant.com/wiki/doc/102-ai-hXNHGsyWzS
在阅读了学院关于可视化模板教程后,相信你已经掌握了平台上的模块使用方法。本文将以XGBoost模型为例,介绍回归、排序、分类的不同之处。在文末,你可以克隆该算法自行研究、学习
首先我们明确一下算法在机器学习中的地位。一般来说,机器学习有三个要素:数据、算法和模型。
- 数据是场景的描述,包括输入和输出。
- 算法是得到模型的过程,狭义上说,特指机器学习算法,如传统线性回归、树和支持向量机以及深度学习;广义上说,从最初得到数据到最终确定模型中间的所有过程,即建模流程都可以看作算法,如分类、回归模型,搜索最优参数算法。
- 模型是输入到输出的映射,即我们最后需要得到的特定法则,对场景给出相关预测。 对应这三个要素,机器学习又可以分为三个步骤:特征工程、模型训练和模型融合。
这里我们讨论的回归、排序、分类,对应的是算法——模型训练的环节。我们以XGBoost为例,分别使用三种算法。
排序算法
模板策略在本文末尾供各位克隆、研究、修改。
在运行策略后输入下列代码,可查看预测集各个股票在不同时间内的评分
m20.predictions.read_df().head(10)
prediction | date | instrument | |
---|---|---|---|
550388 | 1.442220 | 2015-08-03 | 603023.SHA |
310324 | 1.425380 | 2015-06-19 | 300312.SZA |
245931 | 1.410372 | 2015-07-02 | 002759.SZA |
1112466 | 1.400640 | 2016-01-28 | 600805.SHA |
576750 | 1.394390 | 2016-01-28 | 000039.SZA |
444539 | 1.384524 | 2015-06-18 | 600573.SHA |
1159144 | 1.377003 | 2016-01-28 | 601567.SHA |
1161512 | 1.376757 | 2016-01-28 | 601618.SHA |
200413 | 1.373183 | 2015-07-28 | 002522.SZA |
538663 | 1.372157 | 2015-08-25 | 601789.SHA |
通过调用下列代码,可以查看各个特征、因子在选股时的表现。
m20.feature_gains()
feature | gain | |
---|---|---|
0 | return_20 | 258 |
10 | return_5 | 213 |
3 | avg_amount_5/avg_amount_20 | 177 |
1 | avg_amount_0/avg_amount_5 | 167 |
8 | rank_avg_amount_0/rank_avg_amount_5 | 159 |
2 | rank_return_5 | 127 |
7 | rank_avg_amount_5/rank_avg_amount_10 | 121 |
5 | rank_return_5/rank_return_10 | 115 |
6 | pe_ttm_0 | 112 |
12 | rank_return_10 | 111 |
11 | rank_return_0 | 110 |
4 | return_10 | 101 |
9 | rank_return_0/rank_return_5 | 97 |
分类算法
分类
此时需要通过数据标注给股票分类(读者可以根据自己需求改变分类的方式):
# 计算收益:5日收盘价(作为卖出价格)除以明日开盘价(作为买入价格)
where(shift(close, -5) / shift(open, -1)>0,1,0)
同上,调用相同的代码,得到如下结论:
m20.feature_gains()
feature | gain | |
---|---|---|
3 | return_5 | 257 |
10 | return_10 | 244 |
11 | rank_return_10 | 240 |
2 | pe_ttm_0 | 204 |
12 | rank_avg_amount_5/rank_avg_amount_10 | 181 |
0 | return_20 | 179 |
1 | avg_amount_5/avg_amount_20 | 147 |
5 | rank_return_5 | 114 |
6 | rank_return_5/rank_return_10 | 49 |
4 | rank_avg_amount_0/rank_avg_amount_5 | 42 |
7 | avg_amount_0/avg_amount_5 | 36 |
9 | rank_return_0 | 29 |
8 | rank_return_0/rank_return_5 | 27 |
m20.predictions.read_df().head(10)
prediction | date | instrument | |
---|---|---|---|
0 | 0.897233 | 2015-01-05 | 000001.SZA |
255422 | 0.992079 | 2015-01-05 | 300038.SZA |
55849 | 0.963490 | 2015-01-05 | 000725.SZA |
419995 | 0.996210 | 2015-01-05 | 600425.SHA |
168334 | 0.944331 | 2015-01-05 | 002363.SZA |
255586 | 0.993303 | 2015-01-05 | 300039.SZA |
535311 | 0.901999 | 2015-01-05 | 601668.SHA |
484856 | 0.978802 | 2015-01-05 | 600787.SHA |
348936 | 0.780496 | 2015-01-05 | 600036.SHA |
3107 | 0.960541 | 2015-01-05 | 000019.SZA |
多分类
不同于二分类,此时模块m20XGBoost应选择多分类,同时数据标注处代码应将数据分为多个类别,例如:
where(cond, x, y):#如果cond为True,则为 x, 否则 y
where(a >, b, c, d)
where(a >, b, where(a > c, c, d), e)
all_wbins(s, bins), #按等宽做离散化,映射从0开始。bins可以是正整数,表示bins的数量;list,表示splits,e.g. [-2, 0, 2],小于-2的数据将被映射为0,大于2的被映射为3,中间的分别为1和2
all_cbins(s, bins), #按等频做离散化,映射从0开始。bins可以是正整数,表示bins的数量;list,表示每个bin里的数据比例
此处我们作如下标注:
# #号开始的表示注释
# 0. 每行一个,顺序执行,从第二个开始,可以使用label字段
# 1. 可用数据字段见https://bigquant.com/wiki/doc/-tOnkTw9FhH
# 添加benchmark_前缀,可使用对应的benchmark数据
# 2. 可用操作符和函数见 `表达式引擎https://bigquant.com/wiki/doc/yinzi-biaodashi-mGzCw6L5WQ
# 计算收益:5日收盘价(作为卖出价格)除以明日开盘价(作为买入价格)
where(shift(close, -5) / shift(open, -1)>1,2,where(shift(close, -5) / shift(open, -1)>0,1,0))
同时在m20XGBoost参数字典中写入:
#写入我们分类的个数
{'num_class':3}
m20.feature_gains()
feature | gain | |
---|---|---|
9 | return_5 | 841 |
12 | return_10 | 701 |
6 | return_20 | 583 |
0 | rank_return_10 | 559 |
7 | rank_return_5 | 478 |
1 | pe_ttm_0 | 465 |
10 | avg_amount_5/avg_amount_20 | 462 |
4 | rank_avg_amount_5/rank_avg_amount_10 | 424 |
3 | avg_amount_0/avg_amount_5 | 305 |
11 | rank_return_5/rank_return_10 | 215 |
2 | rank_avg_amount_0/rank_avg_amount_5 | 207 |
5 | rank_return_0 | 158 |
8 | rank_return_0/rank_return_5 | 129 |
m20.predictions.read_df().head(10)
prediction | date | instrument | |
---|---|---|---|
0 | 1.0 | 2015-01-05 | 000001.SZA |
255422 | 2.0 | 2015-01-05 | 300038.SZA |
55849 | 1.0 | 2015-01-05 | 000725.SZA |
419995 | 1.0 | 2015-01-05 | 600425.SHA |
168334 | 2.0 | 2015-01-05 | 002363.SZA |
255586 | 1.0 | 2015-01-05 | 300039.SZA |
535311 | 1.0 | 2015-01-05 | 601668.SHA |
484856 | 1.0 | 2015-01-05 | 600787.SHA |
348936 | 1.0 | 2015-01-05 | 600036.SHA |
3107 | 2.0 | 2015-01-05 | 000019.SZA |
回归算法
同上,调用相同的代码,得到如下结论:
m20.feature_gains()
[details="运行结果"]
feature | gain | |
---|---|---|
0 | return_20 | 261 |
10 | return_5 | 254 |
1 | return_10 | 220 |
2 | rank_return_5 | 180 |
5 | rank_return_10 | 156 |
3 | avg_amount_5/avg_amount_20 | 128 |
4 | avg_amount_0/avg_amount_5 | 127 |
6 | pe_ttm_0 | 124 |
8 | rank_avg_amount_0/rank_avg_amount_5 | 96 |
7 | rank_avg_amount_5/rank_avg_amount_10 | 92 |
12 | rank_return_5/rank_return_10 | 87 |
11 | rank_return_0 | 61 |
9 | rank_return_0/rank_return_5 | 59 |
m20.predictions.read_df().head(10)
prediction | date | instrument | |
---|---|---|---|
0 | 7.877901 | 2015-01-05 | 000001.SZA |
255422 | 10.281054 | 2015-01-05 | 300038.SZA |
55849 | 7.953732 | 2015-01-05 | 000725.SZA |
419995 | 8.362499 | 2015-01-05 | 600425.SHA |
168334 | 9.308661 | 2015-01-05 | 002363.SZA |
255586 | 7.749955 | 2015-01-05 | 300039.SZA |
535311 | 8.530932 | 2015-01-05 | 601668.SHA |
484856 | 7.365503 | 2015-01-05 | 600787.SHA |
348936 | 8.462595 | 2015-01-05 | 600036.SHA |
3107 | 7.805900 | 2015-01-05 | 000019.SZA |
种算法的比较
通过使用不同的算法,平台可以实现不同的策略
- 排序可以将股票按照某个特征排序,进而达到筛选股票的目的
- 回归可以预测出股票收盘价等数据的走向,帮助选股
- 分类可以筛选出某个特征达到一定值的股票,过滤掉表现不好的股票
\
策略案例
https://bigquant.com/experimentshare/b564260a701d408f8d48ed503a212f43
https://bigquant.com/experimentshare/c6f6814d0efb4134b39f21800fc32ca4
\