图灵汇官网

机器之心原创

自然语言理解和生成一直是人工智能系统的一大挑战，语言的复杂性和模糊性使得AI系统面临诸多难题。近日，斯坦福大学教授、IJCAI杰出研究奖得主Yoav Shoham创立的AI21 Labs提出了一种新模型，显著提升了词汇消歧的能力，并发布了名为“HAIM”的系统，其可控性优于其他前沿文本生成系统。AI21 Labs致力于开发具备前所未有的优秀自然语言理解和生成能力的人工智能系统。

人类可以轻松理解含有同音异义词的句子，例如“他是一位很棒的贝斯手，但他讨厌吃淡水鱼”。然而，AI算法可能难以处理这种复杂的语言歧义问题。“威诺格拉德模式”（需要识别句子中的指代关系）同样难倒了许多AI系统。例如，“这个奖杯装不下旅行箱，因为它太大了。”这句话中的“它”究竟指代“奖杯”还是“旅行箱”，对AI来说是一个难题。

为了使算法更好地理解人类语言中的歧义，以色列研究公司AI21 Labs日前发布了一篇题为《SenseBERT：赋予BERT一些常识》的论文，介绍了一种能够显著提升词汇消歧能力的新模型。该模型在Word in Context (WiC)任务中取得了当前最佳效果。这项研究的核心创新在于，SenseBERT不仅能够预测被掩盖的词语，还能预测它们在特定上下文中的实际含义。研究人员使用英语词汇数据库WordNet作为参考系统，设计了一个网络来预测词语在上下文中的实际含义，然后将这一预训练网络嵌入到BERT中。

SenseBERT是AI21 Labs最早的研究项目之一，在过去的一年半里秘密进行。AI21 Labs成立于2017年，总部位于以色列特拉维夫，由斯坦福大学计算机科学系荣誉退休教授、AI Index创始人Yoav Shoham和以色列军事情报局8200部队前网络安全团队负责人Ori Goshen共同创办。

正如伦敦的DeepMind和旧金山的OpenAI，AI21 Labs也是一家商业化的AI公司，专注于将传统知识表示方法与深度神经网络相结合。尽管神经网络在许多AI领域取得了显著进展，但它们仍然难以理解语义。例如，2017年斯坦福大学的研究人员发现，对抗性样本可以使SQuAD问答数据集上的16个公开模型的平均F1分数从75%降至36%。

类似的问题也出现在文本生成系统中。今年初，OpenAI发布了GPT-2，能够生成逼真的文本段落。但斯坦福大学计算机科学系副教授、SQuAD联合创始人Percy Liang指出：“GPT-2可以像人类一样写作，但它并不清楚自己写的是什么。”

“AI目前仍缺乏五岁儿童所具备的常识，距离实现人类智能还有很长的路要走。”Shoham博士说。

Shoham博士因在知识表示和博弈论领域的巨大贡献而闻名，他认为神经网络的进步需要知识表示的支持。Shoham博士在IJCAI 2019会议上获得了杰出研究奖，并在会上表示：“我没有看到神经网络在短时间内学会算术、时空、因果关系、心理状态和语言行为的证据。而知识表示则聚焦于这些难以理解的概念：时间、动作、信念。”

2017年，Shoham博士在一个以色列非营利项目中认识了Ori Goshen，该项目旨在向弱势群体普及编程技能。他们发现彼此志趣相投，于是决定创办AI21 Labs，致力于开发具备卓越自然语言理解和生成能力的AI系统。AI21 Labs的主要投资者和董事长是Mobileye的CEO Amnon Shashua，公司目前拥有20名员工，已从Pitango Ventures、8VC等机构筹集了总计950万美元的资金。

除了SenseBERT，AI21 Labs还推出了自主研发的文本生成系统“HAIM”，其可控性优于其他前沿文本生成系统，如OpenAI的GPT-2和华盛顿大学的Grover。大多数文本生成器基于人类编写的前提生成文本，但生成的文本往往偏离主题或前后不连贯。HAIM的工作方式略有不同：首先提供开头和结尾，然后生成文本填补中间部分，使之衔接开头和结尾。生成的文本长度可根据需要调整。

HAIM的名字也是研究人员自己起的。研究人员输入了开头和结尾，模型生成了“HAIM”，这代表“Halfway Acceptable Interpolating Machine”。Shoham博士称其为“玩笑式的预先合理化”。

AI21 Labs已经发布了HAIM-Large模型的演示版，该模型包含3.45亿参数，是在40GB的OpenWebText数据集上训练而成的。HAIM-Large的演示地址为：https://www.ai21.com/haim

Shoham博士之前创办的多家AI公司已被高价收购，这位63岁的连续创业者无疑具备管理公司的能力。然而，AI21 Labs面临着不同的挑战：它更加注重技术发展，需要大量投资来支持研发活动，最终实现商业化。最重要的是，它的目标是开发能够解决自然语言理解和生成难题的系统。

当被问及AI21 Labs在这一领域的规划时，Shoham博士告诉机器之心：“自然语言理解和生成是一个多方面的问题，我们对此也只是部分了解。要想取得成功，不需要全面理解，而是需要从富有成效的角度去理解。我们不认为自己是最聪明的，但我们也不认为世界上有其他人比我们更聪明。我们有机会成功，但不必是唯一的成功者。这不是零和游戏。”