图灵汇官网

语音输入是与混合现实设备互动的一种重要方式，其优点在于输入速度快，学习时间短。混合现实设备支持多种语音交互模式，今天我们一起来探讨如何利用微软Azure的语言理解（LUIS）服务，赋予混合现实设备“智能大脑”。

本文主要介绍LUIS的工作原理及其与混合现实应用的结合方式。具体的代码操作可以参考微软官方文档，或查阅文末提供的参考资料。

通过这次实践，我们可以实现： 1. 连接混合现实设备的麦克风，捕捉用户的语音指令； 2. 将捕捉到的语音指令发送至LUIS； 3. LUIS会对捕捉到的语音指令进行信息提取和分析，并根据用户的意图做出相应回应。

自然语言理解

今天我们将重点讲解自然语言理解（NLU）。NLU、自然语言处理（NLP）和自然语言生成（NLG）是紧密相关的三个概念。自然语言理解是一项复杂的人工智能挑战，即如何处理结构混乱的输入语句，将其转化为计算机可以理解的条理清晰的语言。由于人类语言的复杂性和多样性，机器难以处理各种不可预测的输入。

微软的LUIS服务属于Azure的一部分，它可以帮助应用程序理解用户自然语言表达的内容。简单来说，自然语言理解的原理就是将语句分解为结构化的实体，并从中提取有意义的信息，赋予其语义上的意义，以便后续处理。例如，对于语句“我需要从十月4号到10号去迈阿密的航班和宾馆”，可以重新定义为“需求：航班（意图）/需求：宾馆（意图）/迈阿密（城市）/十月4号（日期）/十月10号（日期）/情绪：0.5723（中性）”。LUIS提供了一个平台，使机器能够理解用户输入语句的意图。混合现实设备基于机器学习可以实现：理解和学习输入语言，并能回复具体的相关信息。

当LUIS与混合现实结合时，用户可以直接通过语音指令操控混合现实设备。混合现实设备捕捉用户的声音，发送到Azure LUIS中，LUIS会提取核心信息并进行分析，尝试确认用户的请求意图。通过这种方式，用户可以使用语音或视线来控制混合现实中物体的大小和颜色，如图1所示。

LUIS与混合现实的结合

LUIS的设置和部署与混合现实应用的基本操作相似。关键步骤包括设置语言理解端口，在此过程中，用户需要定义实体和意图。图2显示了实体，图3展示了意图，意图通常用一句话来描述，并标定该句话对应的实体。最后，选择训练功能。

通过特定语境词汇的训练，混合现实设备可以根据用户习惯或场景分析来判断所需执行的操作，从而使得语音交互更加智能化。通过结合Azure语言理解（LUIS）服务和混合现实技术，混合现实设备能够将麦克风收到的语音指令转化为计算机可以理解的语言，进而实现语音操控。这不仅丰富了交互方式，也提高了混合现实项目的实用性。用户可以通过机器学习训练LUIS，使其更好地适应使用场景中的常用语句和用户的说话习惯，从而在交互过程中更加便捷。

目前，LUIS主要服务于大规模商用解决方案，相信它与混合现实设备的结合，将会为行业用户提供更多元的应用场景。

附录

1. Academy 303：
   https://docs.microsoft.com/zh-cn/windows/mixed-reality/mr-azure-303

2. LUIS官方文档：
   https://docs.microsoft.com/zh-cn/azure/cognitive-services/luis/