【导读】2018年9月9日至14日,由DeepMind主办的Deep Learning Indaba 2018大会在南非斯泰伦博斯召开。在这次大会上,来自斯坦陵布什大学的Herman Kamper和AYLIEN公司的Sebastian Ruder等专家分享了他们在《自然语言处理最新进展》方面的见解。
报告首先回顾了近年来自然语言处理技术的发展历程,从2001年首次出现神经语言模型,到2008年引入多任务学习,再到最近几年兴起的注意力机制、记忆机制以及预训练模型等前沿技术。此外,报告还讨论了一些至今尚未解决的NLP难题,如自然语言理解、资源有限情况下的自然语言处理、数据集及评估标准等。