2023年8月12日,天津大学及信创海河实验室联合举办了“大型模型技术与评估研讨会”。天津大学在此会议中公布了首份《大型模型评估报告》,全面评测了国内外14款主流大型语言模型的中文综合能力。评估结果显示,GPT-4与百度文心一言在总体性能上显著领先,两者得分接近,处于同一水平。值得注意的是,中国自主研发的文心一言模型正迅速缩小与国际顶尖模型GPT-4的差距,并已在多项中文任务中超越了ChatGPT,展现出国产大模型的强大竞争力。
在此次研讨会上,天津大学发布的《大型模型评估报告》成为焦点。报告对比了包括GPT-4、ChatGPT gpt-3.5-turbo、Claude-instant、Sage gpt-3.5-turbo在内的国际主流模型,以及百度文心一言、阿里通义千问、讯飞星火认知大模型、ChatGLM-6B、360智脑、MOSS-16B、MiniMax、baichuan-7B等中国自主研发的大型语言模型。评估采用了一套覆盖知识问答、语言表达、逻辑推理、常识问答、文本问答、机器翻译等多领域、多样题型的中文综合性试题,通过全面评分揭示了各模型的优势与不足。
在评估结果中,文心一言以其在知识问答、语言表达、逻辑推理、常识问答等方面的表现,特别是在中文语言表达上的卓越能力,脱颖而出。相比于GPT-4及其他国产大语言模型,文心一言在多个指标上展现出了明显的领先优势。特别值得关注的是,文心一言在计算机、医学、法律、教育等领域取得了高得分,为大模型在特定行业内的应用奠定了坚实的基础。
随着大模型技术的快速发展,中国在这一领域展现出强劲的增长势头。文心一言作为国产大模型的代表,不仅在评估中展现了出色的整体性能,还在技术落地方面取得了显著进展。已有超过15万家企事业单位申请接入文心一言的测试,这标志着中国在大模型产业的应用规模上已达到空前水平。百度作为推动者之一,不仅在资金、技术、业务等多个层面提供了全面支持,还设立了10亿元创投基金,旨在激励创新、繁荣大模型生态,短短一个月内吸引了近1000个项目参与竞争。
此次评估不仅展示了中国大模型技术的快速发展与竞争力,也预示着大模型产业在中国乃至全球范围内的广阔前景。文心一言与GPT-4之间的竞争,不仅是一场技术的较量,更是中国在人工智能领域崛起的象征,预示着中国大模型技术将对全球产生深远影响。