【中信证券】《2021年中国量化投资白皮书》-最佳实践巡展
由iquant创建，最终由qxiao 被浏览 72 用户
桥水基金创始人雷•达里奥在《原则》一书中说到：“投资是一个反复的过程，你下注，失败（有时很痛苦），学习新知识并重试。在这个艰难的过程中，你可以通过不断地反复试验来改进自己的决策。”
2017年初，中信证券搭建人工智能团队，为其内部机构提供人工智能应用研发、部署、运行统一云平台，提供统一的数据，算力和研发运行环境。
3年后，团队宋群力、徐畅泽、胡振宁、张俊灵4人联合撰写了论文《中信证券智能云平台以及智能应用》（以下简称《智能云论文》）援引了以上这段话，并分享其团队在框架、投顾、算法、咨询、风险识别、文档抽取、投研自动报告等9大方面的应用。
“人工智能、量化都是保密性比较强的工作，为什么会愿意分享这些应用？”白皮书调研组询问徐畅泽、胡振宁。
“这些应用已经不值得保密，大家都在往这些方向走，而我们也在升级。”时隔一年，市场在变化，团队的研究也在继续往深处航行。
01统一云平台一个引擎支撑9大应用
“我们IT部门参与采购工作，知道公司各业务部门都在买算力，但是都是割裂形不成合力，这样显然很不经济。于是我们想做一个统一的平台，算力更大，总体维护成本更低。”2019年，中信证券尝试把最新技术用到业务中，用技术引领业务。
《智能云论文》中非常清晰地描述了其平台搭建情况，其核心功能就是针对资源搭建相应的服务跟模块，整合和维护以满足客户研发和运行人工智能应用的需求，包括：
金融数据服务：对接内部所有行情源及各历史行情数据、历史宏观数据源，提供因子研究工具及自定义的因子数据定时维护与共享服务。
研发平台：支持各种机器学习算法及多种深度学习模型和框架（LSTM模型、Tensorflow+Keras/PyTorch等框架）的运行，提供开发工具和模型代码生成工具。
多租户算力平台：共享多GPU计算资源，支持多租户的云服务调度系统。支持多机多卡并行训练，提供超参搜索功能。
策略回测：支持对训练出的模型进行历史数据回测及实盘模拟交易（完全仿真中信证券的交易场景，防对敲、模拟撮合及滑点）。
绩效分析：对训练后的模型进行回测及实盘交易绩效评估和风险度量，提供绩效评估基准和风险度量指标的计算分析报告。
交易接口与模型推理执行框架：提供将平台训练、回测并优化好的策略打包提交到生产环境并与交易系统对接的API。
研发平台还分别提供了在线的模块化SaaS开发工具和面向专业开发者，基于PyCharmIDE的客户端。可以帮助用户降低使用及进入机器学习量化领域的门槛，同时满足专业开发人员大规模工程开发的需求：
模块化开发平台：可视化的机器学习和深度学习模型搭建与开发工具平台，方便快速构建机器学习的量化应用。
表达式引擎：用户可能之前积累很多指标与公式但若把开发环境迁移到机器学习的工具平台上，就会需要从基础数据开始从头开发所有指标和因子的难题。表达式引擎提供了通用的解决方法，用户不再需要繁琐的编程从头实现。
多客户端使用模式：方便不同需求的专业用户从开发/测试环境到生产环境以及相应的异地生产灾备环境。
智能云平台的运行环境针对开发/测试用户的诉求提供了大功率的8GPU运行环境，用户开发测试和训练完毕的模型，可以直接部署到使用低功耗GPU服务器的生产环境之中，同步提供了安全高效的多租户隔离地生产运行环境。最后系统还为生产环境提供了异地灾备及定期的数据同步服务。
待平台逐渐把数据攒齐了，平台很快发生了功效。“我们把整个大集群算力资源做集约化使用，快速提升了效率，风控部门风险分析模拟计算运算性能前后相差400倍，最快到零点零几秒就出结果。”胡振宁介绍道：现在团队在继续不断深挖，为各个部门赋能，包括标的类型的扩展、策略研究的扩展都在升级。“我们看到市场是越来越卷的，超额收益衰退得很快，不努力就会收益越来越低，波动越来越大。”
02深度强化学习在选股 及交易算法上的应用
“深度学习具有较强的感知能力，但是缺乏决策能力；而强化学习具有决策能力，无法处理感知问题。因此，将两种机器学习方法结合起来，优势互补，为复杂系统的感知决策问题提供了解决思路。” 在《智能云论文》中，中信人工智能团队谈到了其强化学习的应用，其开发的全智能算法交易策略AITWAP3,旨在运用深度强化学习理论，通过学习历史A股Tick行情数据，训练机器学习算法交易策略（交易时机，数量和价格类型的选择）。所有下单决策由机器独立完成，并且机器会根据当前市场环境每日持续学习调整策略，以适应新的市场环境。 自2019年12月23日实盘上线至2020年5月27日，策略累积交易9134次，总成交金额约13.2亿元，平均绩效优于市场VWAP2.54%。（2.54个BP）。2019年1月2日到2019年11月15日A股全市场股票回测平均绩效优于市场VWAP1.79%（1.79个BP）。 同时中信团队把强化学习应用于量化选股，但并不以此作为策略强调的重点，因为在团队看来，量化应核心锚点应以业绩为目标，各种量化技术、参数都可能发生变化，应是评估自身的资源情况进行探索，整个市场都在使用相似方法、变得非常拥挤的时候，就变成零和博弈，Alpha也会变成Beta，反过来一些简单的线性或非线性模型也能产生很好的效果。 另外在胡振宁眼中，当前使用的强化学习，本质上是用蒙特卡洛的一种产生数据或者说是枚举的方法，如果市场都设定了雷同的目标函数也会形成拥挤度非常高的策略。“这是反直觉的，不是拿着先进的武器或者先进的算法，你就一定能够解决问题，先验的知识反而更有决定性，量化比拼的就是数据的积累，以及迭代快速升级模型的能力，而并不是模型多先进。如果因子本身不好，不可能有一个先进的模型，就突然神奇地提高了 强化学习是智能体以试错的方式进行学习，通过与环境进行交互获得的奖惩值指导行为，目标是使智能体获得最大的奖惩值。但在大市场环境下，个人难以对整个市场环境产生影响，强化学习又该如何发挥作用呢？ “这个环境可以是市场，也可以定义为自己的持仓，从而把传统的简单策略转化成仓位分配，做得更加精细化。”胡振宁解释道。
\
03人工智能量化 是否需要解释性？
各类数据显示，量化市场的因子挖掘在走向不同的方向，有的机构研精究微，越来越细致，有的通过机器学习及遗传算法暴力破解市场。 可解释性是暴力挖掘遇到的巨大难题。也有人认为人工智能只需要使用就好，不必知道其所以然，就像普通人穷尽一生，也难以理解AlphaGo每一步棋的动因。 “AlphaGo是封闭的游戏，规则完美、运行过程中也没有任何杂音。但投资市场中有很多人、很多噪音、规则很弱，我们即便可以用深度学习去找到类似于相对论的学说，但投资机会会随着监管、交易规则、交易场所、市场参与者、媒体舆论发生变化，比如涨跌停制度从10%变到20%，振幅波动率增大，原有模型可能就会失效,所以我们无法使用静态模型适应变动市场。” 徐畅泽认为，采用人力挖掘因子，虽然梳理进度很慢，但具备有非常强的准确性与可解释性，公募基金使用较多。机器挖掘本质是数学公式，确实有效但可解释性弱，同时存在边际、始易终难：从x+y到（x+y）2+z数据和符号越来越深。在收益时期大家相安无事，但当出现回撤时，机构就无法给投资者解释回撤原因及可持续性。 由于数据和统计方法问题，挖掘因子有效性的问题一直受到国内外业界困扰，如何在层出不穷的因子中,排除靠Data Mining（数据挖掘）挖掘的走运（Lucky）的，找到真正能够解释股票预期收益界面差异，真正能够战胜市场的，是业界关注的重点。 这个问题如同1984年巴菲特提出的一个假设：如果让3亿人同时玩猜20次扔硬币，20轮过后全对的还会有250人左右，那这250人究竟是自身的某种特质，还仅仅是依靠运气（Lucky）? 胡振宁在“暴力破解”同时也在开展大量辅助机器学习模型可解释性探索工作，这类技术已经相对比较成熟，主要应用于以下几个方面： 1、机器学习模型可解释性技术可以很好地筛选、过滤、校准，用以排除遗传算法因子挖掘和策略过度挖掘中的DataMining所带来的Lucky问题。 2、快速定位导致产品回撤的因子，以及该因素在什么样的特殊场景和状况下面会复现，帮助进一步完善模型和策略。 3、人工智能可以看作通过数据挖掘出来的一个数学上的映射关系，需要关注数据当中是否会有噪声，是否在训练当中被很好地校正，是否存在过拟合，在泛化中是否过滤掉了噪声的影响……通过可解释性明确地判断出概率上的估计，明确是由噪声导致还是确实从数据当中所学习到的映射关系。 4、模型通过数据当中学习出来的映射关系是否存在着一定的边界？当前的现实的情况已经越过了边界？而可解释性能够判断异常情况，帮助投资人在运用策略模型时，能够做到心中更有数。 5、全市场的状态并非简单的涨跌平这3种状态，而是一个复杂的结构，可解释性研究也会研究因子在各种市场状态下的不同演变和暴露，从过往历史中看，市场状态时常处于类似高斯混合模式若干状态交错的状态,市场当中的资金进入或者退出都会有惯性，当前一个市场状态正在消亡的时候，新的市场状态已经诞生，而这是可以识别出来的，当状态跨越到某一概率临界点时，市场可能才会发生剧烈的反转，这个过程无需量化去预测，而是识别、判断和确认，以便进行策略切换，调整相应仓位和权重，以增加收益。
04量化VS量化量化VS主动 博弈的力量
在投资市场，量化与量化机构之间、量化与主动投资之间、国内量化与海外量化之间在交换筹码，不断博弈。 9月6日，证监会主席易会满在第60届世界交易所联合会会员大会暨年会上讲话：“在成熟市场，量化交易、高频交易比较普遍，在增强市场流动性、提升定价效率的同时，也容易引发交易趋同、波动加剧、有违市场公平等问题。” 如何正确看待量化在市场当中的作用？量化机构在如何影响这个市场？ “高频交易和量化交易的贡献其实类似打假，把市场不合理的定价变得更合理，而且这个力量应该是越大越好，比如新能源车估值涨到50、60倍的时候，就应该有这样的博弈力量打回到到45,整个市场定价就会比较平稳，股价随着业绩涨跌，大部分时间都低波动，这才是有效的市场。” 徐畅泽认为，整个A股市场制度在设计之初就非常注重保护中小投资者的利益，如T+1制度，高频交易的限制。而量化机构不断往中低频走其实也是一种回应，而日频交易本质与主动管理并没有太大区别，只能说投资理念、投资方式更加理性。 胡振宁尝试从另外一个角度去理解量化对市场的作用：“有人归结过，市场分三类交易者：其中包括噪声交易者、趋势交易者、机构交易者，机构能够对市场起一定的推动作用，是聪明的交易者或者Beta类投资人。其中，量化交易最主要赚的一个是Alpha其次就是“收割”噪声交易，当然量化机构也会互相收割，当机器学习引入量化之后的话，能自适应市场，机构间比拼的是不断升级迭代模型的能力。” 从美国的经验来看，徐畅泽认为量化机构的超额收益可能会高于头部主动管理，主动型公募基金经理擅长做行业研究，但很难做行业切换，超额收益来自于行业长期的成长，年化的复利会比较高，但是波动也高，择时能力较弱，并不怎么强调主动管理能力。所以量化不仅仅是收割了散户的钱，还收割了主动管理的钱：'‘铁打的机器，流水的研究，而主动管理投资思路很难复制继承。” 胡振宁也看到，有狙击主动投资的量化策略存在，分析Ticks行情就能看到这样的例子。不过双方的博弈下，这类交易很快就减少了，因为量化策略的“漏洞”（缺陷）能（被）抓到的概率毕竟很少。对于主动交易的人来说也需要升级自己的武器，中信证券也会帮助主动交易提供基于智能算法的下单策略。在滑点、潜在正收益方面都会比传统标准TWAP要强很多。图片 量化机构之间也会博弈，包括数据、算法。 在徐畅泽看来，竞争是发展的必然，是在许多行业都已经经历过的行业发展路径，掌握技术之后会迅速进入泛滥。而超额收益其实不像Beta，Beta是一个正和游戏，但超额意味着互相厮杀，所以它是衰减的，而且越高频的可能是衰减越快，因为越往低频意味着需要处理信息量越多，有更多信息需要判断也就越难，这是量化并不擅长的，主动管理优势更大，所以并不排除量化接近边际效益的临界值了。 随着绩效衰减，量化机构多线出击，提升策略多样化，甚至包括参与打新。“有的把产品拆小为两个亿左右，适应线下打新的比例，能有5%的收益，但这部分收益未来可能也会没有。量化也会回归投资本质：超额收益大部分来源为基本面，高频量价数据纯粹没有任何经济学含义的东西就很容易没有什么价值，每个人确实可能分到一点利润，但利润除以总规模来讲，对收益率就没有什么太大用了。”徐畅泽谈到。 当然，算法之间也会反向收割。“这个市场上大家都追求用机器学习，用同样或相近的数据不断地优化策略的话，一定会出现一个状况，就是所有人都在训练模型寻求让收益率最高、结果大家都会不约而同的聚集那几个相雷同的策略上，可市场具有反身性，策略的拥挤度高就会导致变得在这些策略上大家不赚钱。反过来，市场当中其他存在机会的策略，（从回测上看）看似不挣钱（历史数据并不显得有他们高收益），反而能成为比较好的机会（实际策略收益率很好），因为他们避开了拥挤度特别高的（量化策略）。”胡振宁说道。 海外机构也是市场新增的博弈者，胡振宁了解到当前已经有国内机构给外资提供因子和交易系统。在他看来，外资的进入从短期来看影响不会特别大，反而外资会需要去借助于国内现有的一些量化技术来帮助他们去理解和了解市场，但是长期应该来说影响会大，这股增量将促进A股机构化进程。 投资人需要把外资进入中国的进程放进整个国家战略和整个市场博弈上观察，海外市场中概股剧烈暴跌，未来中美之间博弈所导致的资本市场大轮换，一方面中概股会往港股走。另一方面，各类主动、被动资金都会往中国资本市场去移动。第三方面，市场总交易量越来越大，参与者的资金以及博弈肯定会升级。 而国内机构布局海外的，量化与主动的路径并不一致。不管是主动还是量化，欧美海外现在的超额收益都比较少，Beta更强，追踪指数是更好的方略而不需要追求超额，市场定价更加有效的结果就是波动很小，也就没有什么做差价的机会。量化需要去的是新兴市场，个人投资者在里面，不合理的定价也就在里面，所以国内量化机构若要输出投资能力，绝对不是不是老牌的资本主义国家，而是类似越南市场、印度市场。