微软在11月26日发布公告称,已将Azure OpenAI服务引入LlamaParse,借助GPT-4o系列模型提升了非结构化数据提取与多模态文档解析的功能。这些数据能够被顺利导入Azure AI Search向量数据库,从而建立完整的检索增强生成(RAG)流程。
微软推出的LlamaParse是一款专门面向生成式人工智能(GenAI)开发的文档解析工具,主要作用是对各种文档数据进行整理和清洗,确保传递给下游大型语言模型(LLM)的数据质量。
通过这次整合,用户现在能通过LlamaParse调用Azure OpenAI的GPT-4o系列模型来完成非结构化数据提取以及文档转换任务。这种合作结合了双方的优点,其中LlamaParse专注于高效解析,而Azure OpenAI则提供卓越的语言处理能力,使得文档管理工作更加精准且智能化。
此次更新的主要内容包括: - 直接接入Azure OpenAI的GPT-4o和GPT-4o-mini模型; - LlamaParse支持多模态文档解析,充分利用Azure OpenAI的多模态特性; - 输出内容经过优化,更适合强化检索和语义搜索; - 数据可以轻松导入Azure AI Search的向量数据库; - 提供企业级别的安全保障,适用于处理敏感资料。
用户可以利用LlamaCloud、Azure AI Search和Azure OpenAI搭建一个综合性的RAG系统: - 解析与丰富:结合LlamaParse Premium和Azure OpenAI,执行复杂的文档提取任务,生成如Markdown、LaTeX及Mermaid图表等多种格式的LLM友好型输出; - 分块与嵌入:借助Azure AI Search作为向量存储平台,搭配Azure AI模型目录中的嵌入模型,对解析后的信息进行分割、嵌入和索引; - 搜索与生成:依靠Azure AI Search的查询改写和语义排序能力,优化搜索结果。最终,借助Llamaindex协调Azure AI Search与Azure OpenAI,构建生成式AI应用程序。