图灵汇官网

实用主义动机

20世纪90年代，经验主义的复苏是一个令人振奋的时刻。我们当时的目标仅仅是为不同的研究争取一席之地。我们创立了SIGDAT，这是一个为这类工作提供平台的论坛。起初，SIGDAT只是一个小规模的会议，专注于大规模语料库的研究。随着时间的推移，SIGDAT逐渐演变成了规模更大的EMNLP会议。起初，SIGDAT在规模、主题和地理范围等方面与主流的ACL大会有所不同，但几年后，这些差异逐渐消失。两个会议的融合是一件好事，但我们也可能过于成功了，以至于其他研究领域被边缘化。图1展示了从理性主义到经验主义的这一戏剧性转变。这种转变仍在继续。

根据Hall等人的文章，这种转变始于1988年Brown和Church的工作。Hall等人基于对ACL文集的分析，涵盖了自20世纪70年代以来在计算语言学领域发表的总计16500篇论文。如果我们考虑更长的时间跨度，追溯到ACL文集之前的文献，可以看到一个完全不同的图景，如图2所示。经验主义和理性主义之间的振荡每隔20年左右就会出现一次：

• 20世纪50年代：经验主义（Shannon、Skinner、Firth、Harris）
• 20世纪70年代：理性主义（Chomsky、Minsky）
• 20世纪90年代：经验主义（IBM语音团队、AT&T贝尔实验室）
• 2010年代：理性主义的回归？

本文将回顾一些我们这一代曾经“反叛”的理性主义观点。遗憾的是，我们这一代如此成功，以至于这些理性主义观点被人们遗忘了。图2显示了理性主义和经验主义之间的周期性变化。

20世纪90年代的实用主义动机

20世纪90年代，经验主义的复兴是激动人心的。我们当时的目标只是想在主流研究之外争取一席之地。我们在1993年成立了SIGDAT，为这类工作提供一个论坛。最初，SIGDAT只是一个小型会议，专注于大规模语料库的研究，后来演变成规模更大的EMNLP会议。当时，SIGDAT在规模、主题和地理范围等方面与主流的ACL大会有所不同，但几年后，这些差异逐渐消失。两个会议的融合是一件好事，但我们也可能过于成功了，以至于其他研究领域被边缘化。

根据Hall等人的文章，这种转变始于1988年Brown和Church的工作。Hall等人基于对ACL文集的分析，涵盖了自20世纪70年代以来在计算语言学领域发表的总计16500篇论文。如果我们考虑更长的时间跨度，追溯到ACL文集之前的文献，可以看到一个完全不同的图景，如图2所示。经验主义和理性主义之间的振荡每隔20年左右就会出现一次：

• 20世纪50年代：经验主义（Shannon、Skinner、Firth、Harris）
• 20世纪70年代：理性主义（Chomsky、Minsky）
• 20世纪90年代：经验主义（IBM语音团队、AT&T贝尔实验室）
• 2010年代：理性主义的回归？

本文将回顾一些我们这一代曾经“反叛”的理性主义观点。遗憾的是，我们这一代如此成功，以至于这些理性主义观点被人们遗忘了。图2显示了理性主义和经验主义之间的周期性变化。

寒冬

20世纪90年代初期，研究界注重务实方法的原因之一是该领域当时正处于严重的资金短缺期，史称第二季人工智能寒冬（1987年至1993年）。在又一次资金短缺到来之际，研究共同体比较容易接受一种更加现实、结果更可靠的新方法。根据维基百科资料：

“在人工智能的发展历史中，所谓人工智能寒冬是指社会对人工智能研究的资助和兴趣消减的时期。许多新兴技术都经历了从狂热、失望到资金削减的过程，但人工智能的问题更加突出。这种模式已经发生过许多次：

• 1966年：机器翻译失败
• 1970年：放弃人工智能连接主义
• 1971至1975年：美国国防部高级研究计划局（DARPA）对卡耐基梅隆大学语音理解研究项目的失望
• 1973年：Lighthill人工智能评估报告发表后，英国对人工智能研究资助的大幅削减
• 1973至1974年：DARPA削减对人工智能学术研究的资助
• 1987年：Lisp机市场崩溃
• 1988年：战略计算规划取消了进一步资助人工智能的计划
• 1993年：专家系统逐渐跌入低谷
• 1990年代：第五代计算机项目的原始目标黯然淡出视野，以及被牵累迄今的人工智能的坏名声

人工智能经历的最糟糕的时间段是1974至1980年和1987至1993年。有时人工智能寒冬指的就是两者之一（或两者的某个时间段）。”

寒冬常常紧跟着过度的乐观主义，例如Simon在文献中提到的：

“在不久的未来——不会超过25年——我们将会有技术能力用机器来代替机构中的任何人类功能。而且，我们将充分掌握人类认知过程及其与人类情感、态度和价值观的交互过程的理论，这些理论将会被实验所证实。”

如今，比起第二季人工智能寒冬，我们变得更有信心。15年的低枝果实采摘已经取得了相对稳定的成果，也获得了相对稳定的资助，至少比人工智能寒冬的形势乐观很多。

皮尔斯、乔姆斯基和明斯基

毋庸置疑，我们所反抗过的伟大的理性主义者如皮尔斯、乔姆斯基和明斯基（以下简称PCM），对人工智能领域的现状不会感到满意。当然，另一方面，今天此领域的领军人物大多也不乐意看到PCM理性主义的复兴。一位领域的带头人听说我在写这篇文章，讥讽道：“皮尔斯对我们现在有什么意义？”

PCM的观点在当年就饱受争议，现在依然如此，因为它们导致了一些领域包括语音、机器翻译和机器学习多次进入严重的资金寒冬。本文主要关注PCM三位大师理性主义的共同主线。不过也必须指出，这三位大师的声音并不完全一致。在信息论方面他们有很大分歧。皮尔斯对香农和乔姆斯基均大加赞佩，尽管乔姆斯基对香农在信息论方面的许多工作持反对意见。

乔姆斯基论述了N元文法的局限，明斯基论证了线性分离机的局限。也有学者对于其他近似方法的局限提出看法。例如，Tukey教导学生如何有效使用回归算法。他鼓励学生测试各种正态假设的偏离现象。离群点是回归算法常见的麻烦来源，正如偏离直线的弯曲残差。很多人提出了种种绕行的补救方案。一个常见的手段是对数据做非线性变换，如对数变换。

乔姆斯基的反对意见

乔姆斯基指出N元文法不能捕捉远距离依存关系。虽然现在回想起来似乎是显然易见的，然而在当时，Shannon-McMillan-Breiman熵定理令人非常兴奋，对这条定理的解释是：在极限条件下，只要稍加制约，N元文法模型足以捕捉字符串的所有信息（例如英语的句子）。乔姆斯基认为，在极限条件下这条定理也许是正确的，但是N元文法模型远远不是能概括许多语言事实最简洁的模型。在实际系统中，我们往往必须将N元文法严格限制在某个（小的）固定的值k上（例如三元或许五元）。这种限长的N元文法模型系统可以捕捉到很多语法关系一致性方面的现象，但并非全部。

我们应该将这场论辩教给下一代学者，因为他们可能将不得不比我们更加认真地对待乔姆斯基的反对意见。我们这代人很幸运，可以摘取到大量的低枝果实（也就是那些可以用较短N元文法捕捉到的语言现象）。但是，下一代学者将没有这么幸运，因为在他们退休之前，那些捕捉得到的语言事实大多将被捕捉已尽，因此，他们很可能将不得不面对那些简单N元近似方法无法处理的语言现象。

乔姆斯基不仅反对N元文法模型，也反对有限状态方法，其中包括很多目前流行的方法，如隐式马尔可夫模型和条件随机场。有限状态方法超越了N元文法，它可以捕捉一切N元文法可以捕捉到的语言现象，还能捕捉超越N词距离的语法依存关系。

明斯基的反对意见

明斯基和帕佩特表明，感知机（更广泛地说是线性分离机）无法学会那些不可线性分离的功能，如异或(XOR)和连通性(connectedness)。在二维空间里，如果一条直线可以将标记为正和负的点分离开，则该散点图即线性可分。推广到n维空间，当有n-1维超平面能将标记为正和负的点分离开时，这些点便是线性可分的。

明斯基和帕佩特的反对意见涉及许多流行的机器学习方法，包括线性回归、logistic回归、支持向量机和支持向量机。这种反对意见对信息检索的流行技术，例如向量空间模型和概率检索以及用于模式匹配任务的其他类似方法也同样适用。

皮尔斯的反对意见

比起明斯基和乔姆斯基，皮尔斯在时下的教科书上更少提到，尽管皮尔斯作为ALPAC委员会主席以及著名的“语音识别向何处去”一文的作者对本领域有深远影响。无论从终结资助还是从文章的引用率看，皮尔斯对该领域的冲击力是如此之大，真不明白现代教科书为何如此冷待皮尔斯。原因也许在于，比起明斯基和乔姆斯基，皮尔斯的批评“麻烦”更大。很多学者试图回应他的批评，但几乎没有任何回应能像他原来的批评那样有力和值得一读。

皮尔斯一生硕果累累，他开发了脉冲编码调制，一种与当今WAVE文档格式紧密相关的语音编码方法，而WAVE是一种在个人计算机上储存音频文件的流行格式。此外，皮尔斯在真空管领域的研究亦成就卓著，但他又带领团队发明了晶体管，使真空管很快消亡。皮尔斯的研究工作也涵盖卫星领域，后来他作为贝尔实验室的研究副总裁，在把卫星研究转化成商业应用上发挥了关键作用，成功开发了Telstar 1，这是卫星首次在电信领域的商业应用。

总之，皮尔斯是一位具有非凡成就的顶级技术执行官。与他争辩的另一方根本无法与他相提并论，其中包括一些可能会被拒授终身教职的初级教职人员。这是一场不公平的论战。但即便如此，也没有理由忽视他对领域的贡献，哪怕这些贡献给我们带来诸多“麻烦”。

无视历史注定要重蹈覆辙

在大多数情况下，机器学习、信息检索和语音识别方面的实证复兴派简单地无视PCM的论辩，虽然在神经网络领域，感知机附加的隐藏层可以看作是对明斯基和帕佩特批评的让步。尽管如此，明斯基和帕佩特对他们所著的《感知机》出版20年以来领域进展之缓慢深表失望。

计算语言学课程的缺陷

正如上面明斯基和帕佩特指出的，我们不断犯同样错误的部分原因与我们的教学有关。辩论的一方在当代计算语言学教科书中已被遗忘，不再提及，只能靠下一代人重新认识和复原。当代的计算语言学教科书很少介绍PCM三位前辈。在Jurafsky和Martin编著的教科书以及Manning等编著的两套教科书中根本没有提及皮尔斯。三本教科书中只有一本简要提起明斯基对感知机的批评。

结论

学界前辈皮尔斯、乔姆斯基和明斯基曾经严重质疑过当年流行后来复活了的一些经验主义方法。他们的反对意见涉及许多当代流行的方法，包括机器学习（线性分离机）、信息检索（向量空间模型）、语言模型（N元文法）、语音识别（隐式马尔可夫模型）和条件随机场。

学生们需要学习如何有效地使用流行的近似模型。乔姆斯基指出了N元文法的缺陷，明斯基分析了线性分离机的局限性。许多局限性很明显（由自身算法设计带来的），但即便如此，对其支持与反对之间的争辩有时仍然非常激烈。有时，其中一方的论点不会被写进教科书，只有等到下一代人去重新发现和复兴这些被遗忘的思想。我们应该鼓励下一代学者充分了解辩论双方的论据，即使他们选择站在一方或另一方。

20世纪90年代，当我们复兴经验主义时，我们选择了实用主义的理由来反对我们导师的观点。数据从未如此丰富，我们能拿它做什么呢？我们认为，做简单的事情比什么都不做要好。让我们去采摘一些低枝果实。虽然三元模型不能捕捉到一切语言现象，但它往往比其他方法更有效。捕捉我们可以轻易捕获的一致性事实，要比好高骛远试图捕捉更多语言事实而最终得到更少要好。

这些说辞在20世纪90年代有很大的意义，特别是学术界在前一波繁荣期提出了很多不切实际的期望。但是今天的学生在不久的将来可能会面临一系列非常不同的挑战。当大多数低枝果实采摘完毕，他们应该做些什么呢？

具体就机器翻译而言，统计方法的复兴（例如文献）由于实用主义的原因，始于采用有限状态方法。但随着时间的推移，研究人员已经越来越接受使用句法捕捉远距离的依存关系，尤其是当源语与目标语缺乏平行语料库，或者当两种语言具有非常不同的词序的时候（例如，从主谓宾词序的语言（如英语）翻译到以动词收尾的语言（如日语））。展望未来，我们可以预料到机器翻译的研究会越来越多地使用越来越丰富的语言学表达。同样，很快也将有一天，重音将成为语音识别的重要依据。