序列学习的时间相关任务调度
由crisvalentine创建，最终由crisvalentine 被浏览 36 用户
论文原名
Temporally Correlated Task Scheduling for Sequence Learning
论文作者
Xueqing Wu ，Lewen Wang ，Yingce Xia，Weiqing Liu，Lijun Wu，Shufang Xie，Tao Qin，Tie-Yan Liu
修订时间
2021年7月2日
引言
序列学习吸引了很多研究机器学习社区的关注最近几年。在许多应用中，序列学习任务通常与多个时间相关的辅助任务，它们是输入信息量不同使用或预测哪个未来步骤。考试——ple, (i) 在同步机器翻译中，一个可以在不同的延迟下进行翻译（即，之前要读取/等待多少个输入字翻译）; (ii) 在股票趋势预测中，一可以预测不同未来的股票价格天（例如，明天，后天）。虽然很明显，那些在时间上相关的任务可以互相帮助，非常有限探索如何更好地利用多个辅助任务以提高性能主要任务。在这项工作中，我们引入了一个可学习的排序学习的调度程序，它可以适应主动选择辅助任务进行训练关于模型状态和当前训练数据。主任务的调度器和模型通过双层优化联合训练。实验表明，我们的方法显着提高了同时机的性能中文翻译和股票趋势预测。
简介
在本申请中阳离子，输出句子的生成落后k个词源输入，称为 wait-k 策略/任务（嘛等。, 2019）。具有不同 k 值的 Wait-k 任务是 tem-口相关。(2) 股票预测旨在预测未来某一天的股票走势（戴 & 张, 2013）。预测未来不同日股票价格的任务建立一组时间相关的任务。不同于一般多任务学习，输入输出数据这些时间相关的任务高度重叠，并且仅在处理时使用多少未来输入不同当前输入（例如，要阅读多少未来的源词在同声传译中翻译当前单词）或要预测哪些未来数据（例如，在股票趋势预测中预测未来的哪一天）。显然，给定的序列学习任务（表示为主要或目标任务）可以通过其时间相关性来提升任务。以英语到越南语同步翻译举个例子，假设主要任务是wait-3，并且时间相关的任务是wait-1, 2, 3, ... , 13。在所有这些相关任务上训练模型并评估在 wait-3 上的模型，我们观察到 BLEU 分数是 im-从 27.17 到 28.54 证明。(蓝帕皮尼等人, 2002)是机器翻译中广泛使用的准确度指标，越大越好。）观察到类似的现象在股价预测中。各种改进应用程序激励我们探索如何利用这些时间相关的任务更有效地提高每个主要任务的形成。鉴于通常有多个时间相关的任务，关键挑战在于使用哪些任务以及何时使用在训练过程中使用它们。在这项工作中，我们在-为序列学习引入一个可学习的任务调度程序，自适应地选择时间相关的任务训练过程。调度程序访问模型站tus 和当前的训练数据（例如，在当前的小批量中），并选择最佳的辅助任务来帮助训练主要任务。主任务的调度器和模型通过双层优化联合训练：sched-uler 被训练以最大限度地提高验证性能模型，并训练模型以最小化训练损失由调度器引导。同时的实验结果neous 机器翻译和股票趋势预测秀这样的任务调度器带来了显着的改进。我们的主要贡献有三方面：(1) 据我们所知，我们是第一个制定并研究利用时间相关的问题序列学习任务。(2) 我们提出了一种新的带有调度器的学习算法自适应地选择时间相关的任务来提升主要任务。调度器和主任务的模型在没有额外监督信号的情况下联合训练。(3) 我们凭经验验证了我们方法的有效性。四个同声传译任务的实验表明我们的方法将 wait-k 基线提高了 1 到 3 BLEU分数。股票价格预测数据集的实验表明我们的方法可以在以下方面改进基线Spearman 秩相关系数和预测损失。
论文PDF
/wiki/static/upload/75/75d0a00b-6f6e-4c5f-9fc0-0115fafaba98.pdf
\