AWS:机器学习的趋向是提供端到端的处理方案

图灵汇官网

【环球网科技报道】

2016年,亚马逊云服务(AWS)首次推出了机器学习服务,最初只有三项服务。然而,从2017年起,AWS在机器学习领域的服务迅速增加,每年几乎都会发布近200项服务。在全球范围内,已有超过10万客户在使用这些机器学习功能,涵盖了金融、汽车、医疗、工业制造等多个行业。

“机器学习可以说是这一代最具颠覆性的技术。”在2020年的亚马逊re:Invent大会上,AWS副总裁Swami Sivasubramanian如此评价机器学习的重要性。2020年,AWS发布了约250项新功能。从TensorFlow到PyTorch,从SageMaker到最新的Amazon Neptune ML,AWS认为在未来的发展中,AI即服务(AI SaaS)将会提供端到端的解决方案。

构建坚实的机器学习基础

2016年,AWS发布了三项AI即服务,从而开启了机器学习的快速创新。从Swami的角度来看,机器学习的基础在于两个方面:机器学习框架和底层算力基础设施。

在框架层面,无论是TensorFlow还是PyTorch,都在不断进化和完善,以满足不同用户的需求。多个框架的结合使用能显著提高工作效率。

强大的算力是机器学习不可或缺的一部分。不同的机器学习负载对计算能力和成本有不同的需求。为此,AWS提供了多种类型的服务器,如M5、R6g等通用型机型,以及采用NVIDIA 100 GPU的P4d机型,后者在训练方面表现出色。对于推理和预测,AWS推出了自研芯片AWS Inferentia,其性价比极高。

AWS在机器学习基础设施上的选择涵盖了从CPU到GPU的各种选项,包括英特尔、英伟达和ARM等合作伙伴的产品,同时也包括AWS自研的芯片。AWS大中华区云服务产品管理总经理顾凡解释道:“我们的目标是不断创新计算技术,针对客户需求提供量身定制的解决方案,以实现更高的精度和效率。”

AWS认为,计算和算力在机器学习领域将持续创新和迭代,其中一个重要环节就是为客户提供多样化的选择,以适应不同的功能需求和成本预算。

面对复杂的超大规模模型,AWS推出了分布式训练功能,使训练速度提升了40%甚至更多。顾凡指出,该功能可以帮助客户高效地拆解数据和模型,从而节省大量的开发时间。例如,在处理复杂的T5-3模型时,使用PyTorch只需5.9天,而传统方法可能需要数月。

延伸机器学习的应用

如何让科学家和工程师在相同的时间内交付更多的模型?AWS认为,提供简化的工具和流程至关重要。因此,Amazon SageMaker一直在不断迭代更新,其核心理念是简化机器学习的每一步,从数据准备、处理到模型训练和实验,从而提高用户的使用效率。

在过去的一年中,SageMaker发布了近50项新功能,其中一个重点是帮助用户快速将原始数据转化为模型中的关键特征,避免繁琐的代码编写过程。此外,SageMaker还推出了Data Wrangler功能,用于处理不同数据源和格式的数据,简化特征提取的过程。

另一个重要功能是Feature Store,它可以解决特征一致性问题,确保训练和预测过程中使用的特征一致。此外,Feature Store还能满足训练和预测过程中对特征数据的不同存储需求。

SageMaker的每一次更新都旨在让用户更容易使用和管理机器学习工作流,同时将复杂的流程简化和串联起来。

让更多人使用机器学习

对于不具备机器学习技能的人来说,如何使用机器学习?AWS认为,从数据库开发者到数据分析师,甚至是业务人员,都有机会通过机器学习技术实现自己的想法。

AWS将机器学习能力与数据库技术相结合,让数据库开发者和数据分析师能够通过熟悉的数据库查询方式,将机器学习想法应用于实际业务中。Amazon Aurora是AWS的一款关系型数据库服务,新增的Amazon Aurora ML功能允许数据库开发者通过SQL查询直接调用机器学习模型进行推理。

同时,AWS还将Neptune与机器学习无缝集成,用户可以直接利用机器学习模型访问图数据。此外,AWS还推出了商业智能工具QuickSight,帮助用户分析大量数据表,提取关键信息和故事线。

这一切的背后是QuickSight集成了大量的机器学习技术,包括深度学习、自然语言处理(NLP)等,最终生成SQL代码,以实现高度的易用性。

通过让数据库和机器学习互动,更多的人可以参与到机器学习中来,无需深入了解机器学习知识,只需要具备基本的SQL技能即可。

解决端到端的实际应用问题

适合的工作要用适合的工具,同时找到有针对性的定制化工具。AWS推出了一系列开箱即用的机器学习解决方案,以满足特定行业的需求。在re:Invent大会上,AWS发布了五项针对工业领域的机器学习服务:Amazon Monitron、Amazon Lookout for Equipment、AWS Panorama一体机、AWS Panorama SDK和Amazon Lookout for Vision。这些服务首次实现了开箱即用的工业级机器学习解决方案。

Amazon Monitron和Amazon Lookout for Equipment利用机器学习支持预测性维护。Amazon Monitron适用于未建立传感器网络的客户,提供由传感器、网关和机器学习服务组成的端到端机器监控系统,能够检测异常情况并预测维护需求。Amazon Lookout for Equipment则面向已拥有传感器但不愿自行构建机器学习模型的客户,由AWS为其构建模型并提供预测结果,检测异常设备行为。

机器学习需要坚实的基础,AWS致力于帮助客户找到捷径,不仅服务于数据科学家和开发工程师,还将机器学习能力扩展到数据库操作和数据分析领域。最终,AWS希望通过端到端的解决方案,解决行业内外的共通问题,将机器学习技术推向新的高度。

“尽管现在机器学习已经广泛应用且发展迅速,但从历史角度看仍处于初级阶段。”顾凡表示,“AWS始终致力于将机器学习作为工具普及给所有企业,希望通过我们的努力,使机器学习成为每个企业都能掌握的强大工具。”

本文来源: 图灵汇 文章作者: 觅策