金融强化学习的最新进展
由crisvalentine创建，最终由crisvalentine 被浏览 76 用户
论文原名
Recent Advances in Reinforcement Learning in Finance
论文作者
Ben Hambly-牛津大学数学研究所
Renyuan Xu-南加州大学工业与系统工程系
Huining Yang
发布时间
2021 年 12 月 10 日
引言
随着数据量的不断增加，金融行业的快速变化已经彻底改变了解决了数据处理和数据分析技术，带来了新的理论和计算挑战。与经典随机控制理论和其他分析应用相比，解决严重依赖模型假设的财务决策问题的方法，强化学习（RL）的新发展能够充分利用大量减少模型假设的财务数据，并改进复杂财务环境中的决策环境。本调查论文旨在回顾 RL 方法的最新发展和使用在金融方面。我们介绍了马尔可夫决策过程，这是许多常用的强化学习方法。然后引入各种算法，重点关注价值以及不需要任何模型假设的基于策略的方法。连接是用神经网络扩展框架以包含深度强化学习算法。我们的调查得出结论通过讨论这些 RL 算法在各种决策问题中的应用金融，包括最优执行、投资组合优化、期权定价和对冲、市场制作、智能订单路由和机器人咨询。
简介
许多财务决策问题的数学方法传统上是通过使用随机过程建模并使用随机控制产生的技术。选择模型的数量通常取决于平衡易处理性和适用性的需要。
简单模型领先到封闭形式的易处理和可实施的策略，或者可以通过传统的nu-merical方法。然而，这些模型有时会过度简化机制和行为金融市场，这可能会导致策略在实践中不是最优的，并且可能导致可能会造成经济损失。另一方面，试图捕捉真实特征的模型金融市场要复杂得多，通常在数学和计算上可以使用经典的随机最优控制工具进行处理。
近年来，有关交易、报价和订单的大量财务数据的可用性电子订单驱动市场中的流动彻底改变了数据处理和统计建模金融技术，并带来了新的理论和计算挑战。相比之下经典随机控制方法，来自强化学习 (RL) 的新思想正在开发以利用所有这些信息。强化学习描述的方法在某个系统中行动的代理可能会通过重复经验学习做出最佳决策通过与系统交互获得。在金融行业，最近发生了一些在订单执行、做市和投资组合等领域成功应用 RL 算法引起了很多关注的优化。这导致在适应 RL 方面取得快速进展在参与者有限的情况下改善各种金融市场交易决策的技术有关市场和其他竞争对手的信息。虽然已经有一些更专业的评论论文涉及到金融领域的强化学习，我们的目标是回顾这一领域的广泛活动。这调查旨在系统地介绍 RL 的理论和介绍讨论以下每个财务问题——最优执行、投资组合优化、期权定价和对冲、做市、智能订单路由和机器人咨询。此外，我们还将讨论 RL 方法相对于经典方法（例如随机控制）的优势，尤其是对于数学金融文献中已经广泛研究的问题。对于他人最近不同侧重点的调查见[39 ]、 [43]、[70]、[120]、[147]和[155]。对于 RL 的讨论应用于金融问题的方法，包括期权定价和投资组合优化，在更广泛的机器学习框架内，请参阅 [ 57，第 10 章]。我们的调查将从讨论马尔可夫决策过程 (MDP) 开始，这是许多金融领域的强化学习思想。然后我们将考虑不同的学习方法该框架的主要重点是基于价值和政策的方法。为了实施这些方法我们将介绍结合深度学习思想的深度强化方法在这种情况下。对于我们的金融应用程序，我们将考虑一系列主题，对于每个主题，我们将在考虑 RL 方法来解决它们之前，先介绍基本的底层模型。我们会讨论每个应用领域的一系列论文，并说明他们的贡献。我们最后对强化学习在金融领域的发展方向进行一些思考。
论文PDF
/wiki/static/upload/39/39906783-e7d1-4b6c-8ba4-d084d4754bbd.pdf
\