第二讲 MARL中经典算法的简单介绍

在这一讲中，我们会介绍一下在MARL中常见的一些算法，并进行简单的归类与整理，同时简单地介绍下这些经典算法解决的是什么类型的问题，出发点是什么等等背景。并在之后的几讲中对提出算法的paper进行更详细的介绍，同时会在github上开个仓库 ，简单地实现一下这些经典算法。

\

MAS背景回顾

距离上次的第一讲已有些时间，这里就重新简单地介绍一下多智能体（MAS）的背景。如果用一句话简单地介绍MAS的话，那么其实可以这么说：考虑多个agent之间交互的系统。MAS很大部分是基于single agent进行数量上的扩展，并在扩展之后考虑agen

几天前，我着手解决一个实际问题——大型超市销售问题。在使用了几个简单模型做了一些特征工程之后，我在排行榜上名列第 219 名。

虽然结果不错，但是我还是想做得更好。于是，我开始研究可以提高分数的优化方法。结果我果然找到了一个，它叫遗传算法。在把它应用到超市销售问题之后，最终我的分数在排行榜上一下跃居前列。

![{w:100%}{w:100}{w:100}{w:100}](/

本文将带你遍历机器学习领域最受欢迎的算法。系统地了解这些算法有助于进一步掌握机器学习。当然，本文收录的算法并不完全，分类的方式也不唯一。不过，看完这篇文章后，下次再有算法提起，你想不起它长处和用处的可能性就很低了。本文还附有两张算法思维导图供学习使用。 在本文中，我将提供两种分类机器学习算法的方法。一是根据学习方式分类，二是根据类似的形式或功能分类。这两种方法都很有用，不过，本文将侧重后者，也就是根据类似的形式

旧版声明

本文为旧版实现，仅供学习参考。

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

\

策略案例

https://bigquant.com/experimentshare/723e10568f294571924b89f3953ce20b

\

更新

本文内容对应旧版平台与旧版资源，其内容不再适合最新版平台，请查看新版平台的使用说明

新版量化开发IDE（AIStudio）：

https://bigquant.com/wiki/doc/aistudio-aiide-NzAjgKapzW

新版模版策略：

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

新版数据平

#逻辑回归

这也称为 logit 回归。逻辑回归是一种基于过去数据预测事件二元结果的分析方法。

当因变量是定性的并且取二进制值时，它被称为二分变量。

如果我们使用线性回归来预测这样的变量，它将产生 0 到 1 范围之外的值。此外，由于二分变量只能取两个值，残差不会围绕预测线呈正态分布。

Logistic 回归是一种非线性模型，它产生一条逻辑曲线，其中值限制为 0 和 1。

将此概率与阈值 0.5 进行比较，以决定将数据最终分类为一个类别。因此，如果一个类的概率大于 0.5，则将其标记为 1，否则标记为 0。

金融中逻辑回归的用例之一是它可以用来预测股票的表现。

#分位数回归

摘要

人工智能系列之59：强化学习初探与DQN择时

本文介绍强化学习基础概念和经典算法，并构建股指日频择时策略。有别于传统监督学习对真实标签的拟合，强化学习不存在标准答案，而是针对长期目标的试错学习。其核心思想是个体通过与环境交互，从反馈的奖励信号中进行学习，数学上使用马尔可夫决策过程刻画。本文围绕基于价值的方法和基于策略的方法两个方向，依次介绍蒙特卡洛、时序差分、Sarsa、Q学习、DQN、策略梯度、REINFORCE、演员-评委算法。使用DQN构建上证指数择时策略，原始超参数样本外2017年至2022年6月年化超额收益率18.2%，夏普比率1.31，年均调

摘 要

人工智能系列之59：强化学习初探与DQN择时

本文介绍强化学习基础概念和经典算法，并构建股指日频择时策略。有别于传统监督学习对真实标签的拟合，强化学习不存在标准答案，而是针对长期目标的试错学习。其核心思想是个体通过与环境交互，从反馈的奖励信号中进行学习，数学上使用马尔可夫决策过程刻画。本文围绕基于价值的方法和基于策略的方法两个方向，依次介绍蒙特卡洛、时序差分、Sarsa、Q学习、DQN、策略梯度、REINFORCE、演员-评委算法。使用DQN构建上证指数择时策略，原始超参数样本外2017年至2022年6月年化超额收益率18.2%，夏普比率1.31，年均调仓42.0次，

摘要

人工智能和机器学习并不神秘

人工智能和机器学习方法并不神秘，其本质是以数理模型为核心工具，结合控制论、认知心理学等其它学科的究成果，最终由计算机系统模拟人类的感知、推理、学习、决策等功能。理解常用的机器学习算法，有助于澄清对人工智能的种种误解和偏见，帮助我们更清晰地认识人工智能的长处和局限，从而更合理、有效地将人工智能运用于投资领域。

机器“学习”的对象是客观存在的规律

机器学习的对象是某种客观存在的规律。这种规律可以非常浅显，比如教给计算机勾股定理，机器就拥有了计算直角三角形边长的智慧。规律也可以相当复杂，如指纹识别系统学习的是不同指纹图像之间差异的规律，