猿桌会总结 | 清华大学矣晓沅:「九歌」——基于深度学习的中国古典诗歌自动 ...

图灵汇官网

近年来,人工智能与文学艺术的融合日益紧密,自动绘画、自动作曲等领域逐渐成为研究热点。诗歌自动生成是一项既有趣又充满挑战的任务。在本次公开课中,讲者将详细介绍清华自然语言处理与社会人文计算实验室开发的自动作诗系统“九歌”,以及其背后的技术方法和相关论文。

分享嘉宾: 矣晓沅,清华大学计算机系在读硕士,导师为孙茂松教授。他的研究领域包括自然语言处理和文本生成,研究成果已在IJCAI、CoNLL、EMNLP等会议上发表。

公开课回放地址: http://www.mooc.ai/open/course/545?=Leiphone

分享主题: “九歌”——基于深度学习的中国古典诗歌自动生成系统

分享提纲: - “九歌”作诗系统简介及任务背景 - 基于显著性上下文机制的诗歌生成 - 基于工作记忆模型的诗歌生成 - 基于互信息的无监督风格诗歌生成

雷锋网AI研习社整理了此次分享的主要内容:

人工智能的概念提出不久后,许多科学家试图将人工智能应用于日常生活中。在自然语言处理(NLP)领域,我们熟悉的应用包括机器翻译、专家系统和对话系统。诗歌作为一种高度凝练和艺术化的表达形式,早在几十年前就有科学家尝试让AI具备创作诗歌的能力。

自动诗歌生成的应用主要包括: - 娱乐场景:普通人可以通过诗意的方式表达情感。 - 教育场景:帮助人们理解诗词中的关键词、意象和押韵。 - 文学研究:通过分析词频和意象关系,提供新的研究思路。 - 启发其他类型的文本生成(如歌词、小说)。

诗歌的特点在于其高度凝练、简洁、节奏感强且语义丰富。因此,它被视为自动分析、理解和生成文本的理想对象。

自动诗歌生成的研究经历了三个阶段。我们实验室从2016年初开始着手这项工作,采用最新的深度学习技术,结合多种专门设计的模型,基于超过30万首诗歌的数据进行训练,能够生成集句诗、绝句、藏头诗和宋词等多种体裁的诗歌。

接下来,我将介绍“九歌”系统背后的几个关键模型:

基于显著性上下文机制的诗歌生成 在此前的工作中,虽然在新颖性、韵律和关键词插入方面有所提升,但在上下文连贯性方面仍存在问题。早期试验表明,这是自动诗歌生成系统的一个硬伤。

以这首诗为例,虽然以“春风”为主题,但生成的诗句前后风格不一致,缺乏必要的过渡。原因在于之前模型的两个不合理假设: - 单独的历史向量无法存储大量信息。 - 无限长的历史序列会导致性能下降。

为此,我们提出了显著性线索(salient clue)机制,通过忽略语义表现较差的部分,选择明确的语义部分来形成历史向量,指导后续生成。

基于工作记忆模型的诗歌生成 该模型借鉴了认知心理学中的“工作记忆”概念。读者在阅读新句子时,如果能与大脑中的内容或文章主题建立关联,则认为新句子与上文连贯。

我们提出了工作记忆模型,分为三种记忆模块: - 主题记忆(Topic Memory) - 历史记忆(History Memory) - 局部记忆(Local Memory)

通过这些模块,我们提高了诗歌生成的连贯性和流畅性。

基于互信息的无监督风格诗歌生成 为了更好地控制诗歌的风格,我们开发了一种基于互信息的无监督风格生成模型。该模型能够根据关键词生成不同风格的诗歌,同时保持诗歌的流畅性和通顺性。

实验结果表明,我们的系统在自动评测和人工评测中均取得了显著的提升。尽管如此,模型仍存在一些问题,如字词选择较生硬,诗歌的流畅性和诗意性有待改善。

欢迎各位前往试用我们的系统,并提出宝贵意见。未来我们将根据反馈不断改进系统。

以上就是本期嘉宾的全部分享内容。更多公开课视频请访问雷锋网AI研习社社区(http://www.gair.link)。关注微信公众号:AI 研习社(okweiwu),获取最新公开课直播时间预告。

本文来源: 图灵汇 文章作者: 苏腾毅