王威廉,一位CMU博士和UC Santa Barbara计算机科学系助理教授,是学术界的积极参与者,研究领域广泛,包括信息抽取、社交媒体、语言和视觉、口语处理、机器学习理论以及知识图谱等。他在社交媒体上也有一定的影响力。
王威廉的研究团队非常活跃,经常在顶尖会议上发表论文。根据王威廉的微博介绍,他的团队有6篇论文被自然语言处理领域的顶级会议NAACL 2019接收,其中包括一些本科生的研究成果。最近,王威廉团队成员王鑫与微软研究院合作的论文《Reinforced Cross-Modal Matching & Self-Supervised Imitation Learning for Vision-Language Navigation》也被CVPR 2019接受。王威廉表示,这篇论文获得了CVPR满分(3个强接受),在5165篇投稿中评分最高。该论文已被程序委员会和领域主席评审团确认为CVPR行动报告论文,将在夏季于洛杉矶长滩市进行展示。
以下是这篇论文的简要介绍:
这篇论文探讨了如何解决视觉-语言导航(Vision-Language Navigation, VLN)任务中的三大挑战:跨模态参照、反馈不足和泛化问题。作者提出了一种新的强化跨模态匹配(Reinforced Cross-Modal Matching, RCM)方法,通过强化学习来促进局部和全局跨模态参照。具体而言,他们引入了一个匹配目标,作为内在反馈机制,以增强模型对指令和运动轨迹之间匹配的强化学习效果。此外,还使用了一个推理导航器,在局部视觉场景中执行跨模态参照。实验结果显示,该模型在标准数据集上的表现显著优于现有模型,SPL分数提升了10%,成为新的最佳水平。
为了提高所学策略的泛化能力,作者还提出了一种自我监督模仿学习(Self-Supervised Imitation Learning, SIL)方法,通过模拟过去的好决策来探索未见过的环境。实验表明,这种方法可以缩小智能体在已知和未知环境中的成功率差异,从30.7%降至11.7%。
由于他们的学习框架是模块化且不依赖特定模型的,各个组件未来可以独立改进。论文中的消融研究也展示了每个组件的具体效果。
论文全文可参阅:http://arxiv.org/abs/1811.10092
以上是关于王威廉团队及其研究成果的概述。