“Wangd-wiki-article-vvpoem”版本间的差异

来自cslt Wiki
跳转至: 导航搜索
第1行: 第1行:
关于薇薇的故事(代序)
+
关于薇薇的故事
  
 
回顾起来应该是2015年暑期,我偶尔读到一篇用神经网络生成古诗的文章,名叫“Chinese Poetry Generation with Recurrent Neural Networks”,作者是爱丁堡大学的XingXing Zhang和Mirella  Lapata两位学者。我一向对古诗词有浓厚兴趣,这篇文章又来自我毕业的母校,因此特地仔细读了一遍,很受启发。传统诗词生成方法是拼凑的,即把诗词库里的句子打碎,再将片段按诗词规则组合起来。这种拼凑法显然过于机械,事实上没什么道理可言。爱丁堡的这篇文章用递归神经网络(RNN)作为生成模型对诗词进行建模,同时为了保证生成句子的主题连惯性,将已经生成的句子压缩成一个表征向量作为模型的辅助输入。我立刻意识到用RNN生成诗词是一个有趣的思路,因为这种模型可以学习很复杂的动态性,足以描述诗人在遣词造句上的规则。然而,当前这篇文章所给出的方法具有很大局限性,因为诗词本质上是一个字符流,RNN应该学习整首诗/词的字符规则,而不是一句话内部的规律。换句话说,诗歌的规律更多是整体的,而非局部的。另外,逐句生成的方法也不适合生成更灵活体例,如八句律诗,不定句的古风,长短句的宋词。我们需要一种新方法,能对诗/词进行整体生成,同时保持前后句子在语意和语境上的连惯性。
 
回顾起来应该是2015年暑期,我偶尔读到一篇用神经网络生成古诗的文章,名叫“Chinese Poetry Generation with Recurrent Neural Networks”,作者是爱丁堡大学的XingXing Zhang和Mirella  Lapata两位学者。我一向对古诗词有浓厚兴趣,这篇文章又来自我毕业的母校,因此特地仔细读了一遍,很受启发。传统诗词生成方法是拼凑的,即把诗词库里的句子打碎,再将片段按诗词规则组合起来。这种拼凑法显然过于机械,事实上没什么道理可言。爱丁堡的这篇文章用递归神经网络(RNN)作为生成模型对诗词进行建模,同时为了保证生成句子的主题连惯性,将已经生成的句子压缩成一个表征向量作为模型的辅助输入。我立刻意识到用RNN生成诗词是一个有趣的思路,因为这种模型可以学习很复杂的动态性,足以描述诗人在遣词造句上的规则。然而,当前这篇文章所给出的方法具有很大局限性,因为诗词本质上是一个字符流,RNN应该学习整首诗/词的字符规则,而不是一句话内部的规律。换句话说,诗歌的规律更多是整体的,而非局部的。另外,逐句生成的方法也不适合生成更灵活体例,如八句律诗,不定句的古风,长短句的宋词。我们需要一种新方法,能对诗/词进行整体生成,同时保持前后句子在语意和语境上的连惯性。

2017年12月7日 (四) 08:18的版本

关于薇薇的故事

回顾起来应该是2015年暑期,我偶尔读到一篇用神经网络生成古诗的文章,名叫“Chinese Poetry Generation with Recurrent Neural Networks”,作者是爱丁堡大学的XingXing Zhang和Mirella Lapata两位学者。我一向对古诗词有浓厚兴趣,这篇文章又来自我毕业的母校,因此特地仔细读了一遍,很受启发。传统诗词生成方法是拼凑的,即把诗词库里的句子打碎,再将片段按诗词规则组合起来。这种拼凑法显然过于机械,事实上没什么道理可言。爱丁堡的这篇文章用递归神经网络(RNN)作为生成模型对诗词进行建模,同时为了保证生成句子的主题连惯性,将已经生成的句子压缩成一个表征向量作为模型的辅助输入。我立刻意识到用RNN生成诗词是一个有趣的思路,因为这种模型可以学习很复杂的动态性,足以描述诗人在遣词造句上的规则。然而,当前这篇文章所给出的方法具有很大局限性,因为诗词本质上是一个字符流,RNN应该学习整首诗/词的字符规则,而不是一句话内部的规律。换句话说,诗歌的规律更多是整体的,而非局部的。另外,逐句生成的方法也不适合生成更灵活体例,如八句律诗,不定句的古风,长短句的宋词。我们需要一种新方法,能对诗/词进行整体生成,同时保持前后句子在语意和语境上的连惯性。

用RNN来学习整体语流是个好思路,但可能会出现语义漂移。一个解决方法是利用一种称为“注意力”机制的改进型RNN,将用户输入的主题作为指导序列进行编码,在生成过程中始终对这一指导序列进行“回顾”,保证生成的句子不会偏离主题。2015年8月初,我和实验室文本组的成员,包括邢超、骆天一、张东旭等讨论了这一思路,大家都很兴奋,觉得可行。这其间和汇联的游总谈到这件事,他立刻表示出极大兴趣,说愿意资助我们把这个事干下去。我把这件事交给了当时一个北邮实习生,但他做了一个月就离开了,这事情也就此搁浅。

突破发生在两个月后,天一带来一个很不合群的实习生,剃着板寸,穿着马甲,精明壮实,一副铁掌水上飘状,蔑视天下。天一说:“老师,这个学生叫王祺鑫,刺头,不过很聪明”,我问:“你能搞定吗?”,天一说:“老师放心!”。 现在我能查到祺鑫最早的工作记录是在2015年11月16号,他当时已经能让机器生成这样的藏头诗了:

新著黄昏雨帽客/春香返绿遍吹帘/快送东风千里便/乐燕枝伤娉前鉴

到下一周时,他报告的诗是这样的:

新春五谷喜丰年/春色香云马不欢/快柳迎如光意美/乐书今为事时安

自此以后,这个剃着板寸、穿着马甲的年轻人迅速进入这个领域,并完成了若干重要实验。到2015年12月21日时,他已经可以生成若干词牌名的宋词,一例如下:

菩萨蛮

塞下秋来风景异 /一点愁边 /又是天年几

归去无穷千里意/何时不自然红紫/莫教小桥横月日

花满城头/夜上青山碧

云外有情多处事/休言酒醒初长记

诗的质量也有了很大提高:

诗人已化罗浮鹤/独有春风细雨得/行到处将无半作/东君未许几分隔

2016年2月,祺鑫和天一作为第一、二作者提交了一篇论文到IJCAI 2016,“Chinese Song Iambics Generation with Neural Attention-based Model”。这是第一个基于Attention 机制的诗词生成模型,也是第一个可以做宋词的机器。

其后,祺鑫和天一专注提高格律诗的质量。和宋词比起来,格律诗更注重个性化,因此神经网络建模更困难。我们现在知道,如果数据量足够大(比如上百万首诗),学习这些个性化规律是没有问题的,但当时我们的数据规模只有1.3万首五言诗,6.6万首七言诗,远远达不到训练一个完美模型的要求。祺鑫做了大量探索,基于这一小数据集取得了非常好的效果。2014年3月21号,我们发布了人机图灵测试结果,在这次发布中,我们首次将我们的做诗机器人称为“薇薇”,取名自我们团队中一位叫张雪薇的漂亮女孩(当时她正忙着给参评的专家们发红包)。在这一测试中,我们邀请了诗词圈的诗人们和薇薇一起就30个主题进行创作。人类诗人可以选择他们最擅长的主题,最终我们收到144份诗稿。我们让薇薇用同样的比例生成了144份诗稿。为减轻评价工作量,这288份诗作由社科院的张一南老师进行初筛,去掉那些明显质量低下的作品,最终83篇人类作品和124篇薇薇作品入选。24位来自北大、社科院等权威机构的专家对这些作品进行了匿名评价,结果发现人类诗人以3.27比3.17的微弱优势胜出。同时,在薇薇写的诗中,有31.02%的作品被认为是人类作品,这事实上刚好超过了图灵测试中30%的通过比例。由此,薇薇成为第一个通过图灵测试的做诗机器人。下面这首诗是被专家评价最高的薇薇诗作:

春信香深雪 / 冰肌瘦骨绝 / 梅花不可知 / 何处东风约

薇薇的表现让我们感到鼓舞,她的成功事实上证明了一件事:很多时候我们认为的“智能”也许不过是经验的累积外加一些随机性,因此诸如艺术这种看似亟需创造力的事情或许本质上并不复杂。可惜过了不久祺鑫和天一都离开实验室去了美国,我们刚刚半岁的薇薇又一次陷入停滞。

2016年6月27日的工作报告里,另一个来自北大的实习生张记袁开始着手继续培养薇薇。记袁和祺鑫是完全不同的两类人,憨实厚朴,长年一脸茫然状,但肯下苦功,经常工作到午夜以后。如此勤奋终于换来成果。2016年10月31日,记袁得以用Tensorflow重现了薇薇的生成质量,并很快实现了对薇薇的改进。当时我们着眼一个现象,即当模型训练不足时,生成的诗比较平庸,但当训练较深入时,生成的诗又变得非常“诡谲”,不合常理。换句话说,让薇薇生成较平顺的句子是没问题的,但让她创新则很困难,一旦强迫她创新,她就开始胡写。这显然是统计模型的固有缺陷:但凡创新的事都是缺少统计显著性的,因此很难被RNN这样的统计模型有效学习。当时从百度离职的冯洋老师在我们实验室做短期访问,她提出一种方法,用记忆机制去平衡统计学习和联想学习,即用模型方法学习常见规律,用记忆机制去保存那些不合常规的个例。这是个很有趣的想法,后来我们证实在若干任务上这种方法是有价值的—事实上这一方法的价值已经远超过我们当前的任务。不论如何,记袁很快给薇薇加入了记忆功能,让她学习写诗的同时,也把奇趣妙句记下来,随时应用。这种方法使得她生成的诗句更加流畅可靠,同时还可以变换不同风格。这些工作后来发表在ACL 2017上。下面是加入了记忆能力后薇薇的诗作,前者是通常风格,后者是香艳风格:

一山自有无人语/不是青云入水边/莫把春风吹落叶/花开绿树满江船

花香粉脸胭脂染/帘影鸳鸯绿嫩妆/翠袖红蕖春色冷/柳梢褪叶暗烟芳

我们对薇薇还在继续改进中,让她学习不同朝代、不同诗人的各异风格,让她学习如何起承转合,如何对主题进行议论升华,等等。我们相信这些是人类的智慧,但同样可能被机器模拟。我们相信一些规律隐藏在作品样例之中,人们可以熟读后掌握这些规律并进行创作,薇薇也是一样。