图灵汇官网

【新智元导读】通用语言理解评价基准GLUE排行榜再次刷新，斯坦福大学的Snorkel MeTaL以83.2分的成绩位居榜首，刷新了四项任务的最佳性能。该研究将多种监督信号整合，取得了显著的效果。

自然语言处理领域进步迅速，这并不是夸张的说法。不久前，微软提出了一种新的多任务深度神经网络模型MT-DNN，结合了BERT的优点，在10项自然语言理解任务中超越了BERT，创造了多项新的最好成绩。今天，斯坦福大学的Hazy Research团队推出的Snorkel MeTaL再次刷新了GLUE排行榜，以83.2分的成绩位居第一。

该模型基于预训练的BERT-Large，通过整合多种监督信号，包括传统的监督学习、迁移学习、多任务学习、弱监督和集成学习等，逐步优化模型性能。Snorkel MeTaL在GLUE基准测试中刷新了多项任务的记录，在四个任务中取得了最佳成绩：CoLA、SST-2、MRPC和STS-B。研究团队计划于2019年4月发布代码版本。

为了提升模型性能，研究者们采用了多种策略，包括传统的监督学习、迁移学习、多任务学习和数据切片等。通过注入各种监督信号，他们逐步提高了模型在RTE任务中的表现。此外，他们还尝试了集成多个不同配置的模型，进一步提升了整体性能。

Snorkel MeTaL不仅展示了在自然语言理解任务中的强大性能，还提供了一个灵活的框架，支持多种监督信号来源。这种方法不仅可以帮助研究人员更好地理解和利用现有数据，还能促进更多创新方法的应用，推动该领域的进一步发展。

未来的研究将继续探索如何将更多的信号引入模型，以进一步提升其性能。有兴趣的读者可以访问snorkel.stanford.edu了解更多信息，并提出自己的想法和反馈建议。