Facebook的AML和FAIR团队合作致力于自然语言处理的研究,这一合作在2017年4月19日的F8开发者大会上得以展示。会议上,Facebook介绍了他们在自然语言理解和应用方面的进展,并推出了平民化的自然语言理解平台CLUE,希望借助大众的力量进一步丰富自然语言理解的应用。
演讲者包括Facebook工程主管Benoit Dumoulin和技术项目主管Aparna Lakshmiratan。以下是会议的主要内容:
在Facebook上,文字是主要的交流方式,无论是在Instagram、Messenger还是WhatsApp等产品中,文字无处不在。因此,如果能有效理解这些文字,将显著提升用户的使用体验。例如,用户可能分享关于冰球比赛、电影评论或机器学习会议的信息,而理解这些内容可以帮助Facebook更好地推荐相关内容。
自然语言理解主要包括文本分类和实体识别。文本分类涉及将文本归类为特定主题,如厨艺、体育等。实体识别则识别文本中的具体对象,如乐队名称、演出地点等,从而为用户提供更精准的推荐。
Facebook的目标是通过深度学习技术,使人工智能系统能够准确理解自然语言,达到甚至超过人类水平。为此,他们采用了一种名为《从零开始的文本理解》的深度学习方法,并构建了名为Deep Text的平台,以实现这一目标。Deep Text支持多种语言,并能灵活应对不同的任务需求。
Deep Text已经在多个Facebook产品中得到应用。例如,它能准确判断用户发布的动态是否与销售有关,并提取其中的产品信息,从而提升用户体验。此外,Deep Text还用于社交推荐和M建议功能,帮助用户找到合适的餐厅、理发店等,并简化订购流程。
在研发过程中,Facebook面临的主要挑战包括: 1. 缺乏足够的机器学习专家。 2. 不同应用间的重复开发。 3. 获取高质量的标注数据。
为了解决这些问题,Facebook推出了名为CLUE的平台。CLUE是一个自助式的自然语言理解平台,它不仅让非专家用户也能轻松创建实体提取器和内容分类器,还通过自动学习功能提升了标签效率。CLUE建立在Deep Text和Facebook的AI开发平台上,支持多种可视化工具,方便用户监控和优化分类器性能。
使用CLUE创建分类器的过程包括数据收集、标签添加和模型训练。用户可以输入包含特定意图的句子,并为这些句子打标签,从而训练出高效的分类器。通过实时监控和调整,用户可以不断优化分类器的效果,并将其部署到实际应用中。
通过Deep Text和CLUE,Facebook不仅提升了自身产品的用户体验,也为广大用户提供了更智能的服务。尽管取得了显著进展,但Facebook仍有许多工作要做,以实现更广泛、更深入的自然语言理解应用。