天玑9300率先支持LoRA融合的端侧技能扩充技术,让基础大模型能力更全面

图灵汇官网

天玑9300:开创5G时代AI生成应用新纪元

引领AI算力革新,打造高效安全边缘计算平台

联发科近日推出旗舰级5G移动芯片天玑9300,集成创新的全大核架构与新一代AI处理器APU,融合独特尖端技术,为生成式AI应用提供了强大支持。天玑9300搭载的APU 790,为生成式AI而生,具备硬件级生成式AI引擎,实现高速安全的边缘AI计算,特别针对Transformer模型进行了算子加速,计算速度较上一代提升8倍。

AI算力与能效双升,打造极速生成体验

APU 790在性能与能效方面实现了显著提升,整数运算与浮点运算能力较上一代增加2倍,AI性能测试得分高达2109分,功耗降低45%,1秒内即可生成图片。天玑9300的全大核CPU架构与Immortalis-G720 GPU,为端侧运行生成式AI奠定了坚实的基础。

打破内存限制,优化AI大模型部署

联发科通过开发混合精度INT4量化技术与内存硬件压缩技术NeuroPilot Compression,有效利用内存带宽,大幅减少了AI大模型对终端内存的需求,突破了手机内存限制,使更大参数的AI大语言模型得以在端侧实现部署。

端侧AI大模型落地,性能领先业界

天玑9300在端侧成功落地70亿参数AI大语言模型,处理速度达到20 Tokens每秒。更进一步,联发科与vivo合作,实现了130亿参数大语言模型的端侧运行,甚至率先在移动芯片上成功运行330亿参数的AI大语言模型,领跑行业。

多模态生成式AI体验,丰富端侧应用生态

天玑9300支持多模态生成式AI大模型,提供“文生诗”、“文生图”、“文生趣图”等趣味端侧体验,充分展现了AI算力与端侧生成式AI能力的领先地位。

端侧AI技能扩充,加速生态布局

联发科提出的NeuroPilot Fusion技术,允许基于单一基础大模型在端侧进行低秩自适应融合,实现多功能集成,赋予基础大模型更广泛的生成式AI应用能力。这一技术使得AI模型端侧技能扩充成为可能,如实现“图生GIF动图”的个性化表情包制作功能。

AI开发平台NeuroPilot,构建丰富生态

借助强大的AI算力、先进的内存硬件压缩技术与AI模型端侧技能扩充技术,天玑9300的APU 790显著提升了端侧生成式AI的速度与广度。联发科的AI开发平台NeuroPilot构建了全面的AI生态体系,涵盖底层硬件、工具链、模型中心及开发者社区,加速了端侧生成式AI的应用部署。

生态合作伙伴共创精彩应用体验

联发科携手虹软、极感科技、Morpho与慧鲤等生态伙伴,共同打造了多项生成式AI应用,包括生成式AI超级分辨率、语意搜索、实时数字分身生成与防眩光技术,均基于天玑9300的边缘计算能力,性能显著提升,为用户带来了更出色的体验。

结语:开创AI生成式应用新时代

天玑9300不仅引领了5G时代的AI算力革新,更通过强大的性能、丰富的生态布局与广泛的应用实践,为用户带来了前所未有的AI生成式应用体验。在AI端云融合趋势下,天玑9300为新一代旗舰级端侧生成式AI体验设立了新标准,让AI生成式应用更加触手可及。

本文来源: 图灵汇 文章作者: 逸科技