包含模仿机制的序列到序列学习

包含模仿机制的序列到序列学习(中文7000字,英文PDF)
摘要
我们解决了一个涉及模仿的序列到序列学习（Seq2Seq）的重要问题，其在输入序列的确定部分是在输出序列中选择性的复制。一个相似的现象是可察觉的人类语言交流。举例来说，人类倾向于在交流中重复实体名字或长短语。关于在Seq2Seq模仿的挑战是新系统需要去决定何时去执行运算。在本篇论文中，我们包含了基于序列到序列学习的神经网络的模仿并发布一个称为“COPYNET”,拥有编码解码结构的新模型。COPYNET能精确地合并在输入序列中选择后继并将它们放置在输出序列中合适的位置的新模仿机制解码器文字生成的常规方法。我们基于在人造数据和真实世界数据的学习经验来论证COPYNET的功效。举例来说，COPYNET能够在文本摘要测试中超过拥有卓越边界的传统基于RNN模型。