亚马逊已经开始将AI从Alexa的云转移到自己的芯片

图灵汇官网

亚马逊AWS加速Alexa与云服务:专有Inferentia芯片的革新应用

亚马逊在云计算服务领域持续创新,近日宣布将Alexa处理工作负载从传统的NVIDIA GPU转向自研的AWS Inferentia芯片,此举旨在提升服务速度与成本效益,显著优化Alexa的性能。这一转变不仅为语音助手带来端到端延迟降低25%和成本节省30%的双重效益,同时也为Alexa团队提供了更多空间进行技术创新,以改善用户体验。

Inferentia芯片详解

AWS Inferentia是亚马逊为加速机器学习推理工作负载而特别设计的定制芯片。每个Inferentia芯片内嵌四个NeuronCore,每个NeuronCore搭载高性能脉动矩阵乘法引擎,显著加速包括卷积和转换器在内的典型深度学习操作。此外,NeuronCore配置大容量片上缓存,有效减少对外部存储的访问,从而大幅减少延迟并提升吞吐量。

Alexa的革新

作为亚马逊基于云的语音服务,Alexa驱动着数以万计的智能设备,包括Echo系列设备、智能扬声器、灯光、插座、电视和摄像头。通过迁移至AWS Inferentia芯片,Alexa处理流程得以优化,数据传输至云端的延迟显著降低,使得响应更加迅速,成本更加经济。这种转变不仅提升了用户体验,也为Alexa团队提供了更多机会,通过更复杂的技术创新来完善服务。

AI驱动的Alexa请求处理

当用户通过Echo设备提出问题时,请求首先由设备内的处理器检测唤醒词(如“Alexa”),随后发送至亚马逊数据中心进行后续处理。这一过程中,请求通过AWS Inferentia芯片加速,实现了高效且低成本的机器学习推理,特别是在文本到语音翻译和图像识别等任务上展现出卓越性能。

芯片与云计算

亚马逊的这一举措标志着云计算领域的又一重大突破,展示了自研芯片在加速深度学习计算方面的潜力。随着大型科技公司寻求减少对传统芯片供应商的依赖,定制化芯片成为推动行业发展的关键力量。除了Alexa,AWS Inferentia芯片还被应用于其他云服务,如面部识别系统Rekognition,以及获得了Snap Inc.、CondéNast集团、保险公司Anthem等多家企业的认可。

行业影响

亚马逊的这一创新不仅限于自家产品,它预示着芯片技术在云计算、AI应用乃至更广泛的消费电子产品中的广泛应用前景。这一变革不仅提升了服务效率与用户体验,也对整个科技产业产生了深远影响,激励了更多企业探索定制化芯片解决方案,推动技术进步与市场创新。


(免责声明):

本内容由网站原创或合作媒体供稿和第三方投稿提供,所有信息仅供参考。网站将尽最大努力确保信息准确性,但不对信息的准确性或可靠性负责。在使用信息前,请进一步核实,并对个人决策承担责任。网站对于任何因使用信息而导致的错误、不实或遗漏不承担法律责任。如有权利争议或不实内容,应及时通知网站进行处理。

本文来源: 图灵汇 文章作者: 沈新瑜