图灵汇官网

引言

亚马逊云科技（AWS）近日发布了一款名为“自动推理检查”的新工具，主要目的是解决 AI 模型容易出现的幻觉问题。这款工具在 re:Invent 2024 大会上首次公开，通过比对客户输入的信息，确保模型输出的内容真实可靠。

新工具的特点

AWS 声称，“自动推理检查”是首款专注于幻觉问题的防护工具。不过，这一说法未必完全准确。例如，微软早在今年夏天就推出了类似功能，名为“校正”，其作用也是标记可能存在错误的 AI 生成文本。同样，谷歌的 Vertex AI 平台也有类似工具，能借助第三方数据或谷歌搜索提升模型的可信度。

如何运作

“自动推理检查”基于 AWS 的 Bedrock 模型托管服务中的 Guardrails 工具开发。它会分析模型生成的答案，判断其是否正确，并为客户提供可靠的事实依据。此外，该工具还能制定规则，优化模型的表现。“自动推理检查”会在模型生成答案时对其进行验证，一旦发现可能的幻觉现象，就会参考事实依据提供正确答案。最终，它会同时显示正确答案和可能的错误答案，让用户自行评估模型的准确性。

实际案例

目前，普华永道已开始利用“自动推理检查”为客户提供更精准的 AI 辅助服务。AWS 的 AI 和数据副总裁 Swami Sivasubramanian 认为，这类工具是吸引客户使用 Bedrock 的重要因素之一。

专家看法

尽管 AWS 对这项技术充满期待，但部分专家认为彻底消除 AI 幻觉并非易事。AI 模型主要依靠统计学原理运行，预测结果通常存在一定的误差范围。AWS 提到，他们的工具通过“逻辑准确”和“可验证的推理”得出结论，但并未提供具体数据支持其可靠性。

相关图片