数据要素产业
亚马逊第三代服务器芯片来了!机器学习负载性能飙3倍,能耗降60%
芯东西(公众号:aichip001)
作者 | 心缘
编辑 | 漠影
芯东西12月1日报道,今日凌晨,云计算领域最受瞩目的年度技术盛会AWS re:Invent在拉斯维加斯举行。
这是时隔两年,re:Invent再度在线下举办。今年也是AWS re:Invent十周年和全球最大云服务商亚马逊云科技(AWS)的十五周年。
AWS首席执行官Adam Selipsky在主题演讲中首先分享了AWS的最新成绩,包括Amazon S3服务存储了3万亿多份文件、AWS提供逾200种服务、在全球有数百万客户等。
期间,AWS发布其第三代自研服务器处理器Graviton3、基于AWS自研云端AI训练芯片的加速实例Trn1、让开发小白也能轻松上手机器学习预测模型的Amazon SageMaker Canvas、用于轻松构建数字孪生的AWS IoT TwinMaker等一系列重磅新品。
值得一提的是,这是Adam Selipsky接任AWS首席执行官一职以来,首次在线下发表公开演讲。在原AWS负责人Andy Jassy接替Jeff Bezos担任亚马逊CEO后,曾为AWS效力11年的Selipsky成为AWS新的掌舵人。
一、Graviton3:机器学习负载性能提高3倍
AWS首先推出其第三代基于Arm的自研服务器处理器Graviton3。
相比上一代处理器,Graviton3的计算性能可提高25%,浮点和加密工作负载性能提高2倍,机器学习工作负载性能提高3倍,其消耗能源将减少60%。
Graviton3处理器还包括一项新的指针身份验证功能以提高安全性。AWS正与操作系统及编译器开发人员合作,以增加对该功能的额外支持。
AWS在2018年底推出其首款自研Graviton处理器,2019年推出第二代Graviton2,如今AWS客户可使用12种由Graviton2驱动的不同实例。
新款Graviton3芯片将为AWS即将推出的EC2 C7g实例提供支持,适用于HPC、批处理、电子设计自动化(EDA)、媒体编码、科学建模、广告服务、分布式分析和基于CPU的机器学习推理等计算密集型工作负载。
C7g实例也是云产业中第一个配备DDR5内存的实例。除了耗电量更少外,其内存将提供比上一代EC2实例中使用的DDR4内存高50%的带宽。
在网络方面,C7g实例将提供高达30Gbps的网络带宽和弹性结构适配器(EFA)支持。目前AWS正在运行C7g实例的预览。
Selipsky说,现在几乎每个工作负载都有超过475种不同的实例类型可用。
二、推出Trn1新实例,加速机器学习模型训练
除了服务器芯片外,AWS早在2019年就发布其自研云端推理芯片,并于2020年推出其专为机器学习模型设计的自研云端训练芯片Trainium。
今日,AWS公布其由Trainium芯片提供支持的最新实例Trn1。“我们希望它能为在云端训练深度学习模型提供最佳的性价比,并在EC2上提供最快的性能。”Selipsky说。
Trn1是第一个每秒带宽高达800千兆字节的EC2实例,适用于大规模、多节点分布式训练用例,包括图像识别、自然语言处理、欺诈检测和预测等等。
Selipsky谈道:“我们可以将这些与Ultra集群联系起来,这些集群由数万个与兆字节规模网络互联的训练加速器组成。这些训练Ultra集群由强大的机器学习超级计算机提供支持,用于快速训练有数万亿参数的最复杂、最深的学习模型。”
早在2014年,亚马逊就已成立芯片研发部门,并于次年收购以色列芯片设计公司Annapurna Labs。迄今AWS已公布其三个系列的自研芯片,除了前文所述的Arm服务器芯片、用于机器学习加速的云端训练及推理芯片之外,还有替CPU分担工作负载的AWS Nitro系统芯片。
三、Mainframe Modernization:让客户尽快“摆脱”主机,迁移上云
随后,Selipsky宣布了一款主机迁移和现代化新平台AWS Mainframe Modernization,旨在帮助AWS客户尽快“摆脱”主机,以便更好地利用云。
今天,客户摆脱主机束缚的方法有几种,要么几乎原样调整应用程序,要么可能会将应用程序重构和分解为云端的微服务。
但这两种方式都要耗费相当长的时间来完成,因为客户必须评估应用程序源代码的复杂性,了解对其他系统的依赖性,转换或重新编译代码,然后必须测试所有内容,以确保一切正常。
而AWS Mainframe Modernization能帮助企业以比以往低得多的成本,更快地在AWS上迁移、现代化和运行主机工作负载。
使用其一套开发、测试和部署工具以及兼容主机的运行时环境,它可以将主机工作负载移动到云端所需的时间缩短多达2/3。
该解决方案还将帮助客户评估分析他们的主机应用程序是否就绪,然后帮助他们选择要走的路径并制定计划。
许多公司可能希望在云上运行一些应用程序,并希望其中的一些实际AWS使用相同的API、硬件和工具,由AWS全面管理和支持。
四、AWS Private 5G:几天构建专用移动网络
面向5G通信,AWS推出AWS Private 5G,一种可在几天内即可轻松构建和扩展专用移动网络的新服务。
以往部署专用移动网络,需投入大量时间、金钱和精力来设计其网络,以实现预期的峰值容量,并从多个供应商采购和集成软件和硬件组件。
即便客户能够运行网络,当前的专用移动网络定价模型也会对每台连接的设备收费,并使涉及数千台连接设备的用例成本高昂。
而使用AWS推出的这项新服务,用户只需告知想在哪里构建网络,并指定网络容量,AWS就会提供所有必要的硬件、软件和SIM卡。其自动配置功能使得用户可按需连接尽可能多的设备。
AWS Private 5G简化了部署,允许客户快速部署自己的4G/LTE或5G,可快速扩大和减少连接的设备数量,并受益于熟悉的按需云定价模型。该服务没有前期费用或每台设备成本,客户仅支付他们要求的网络容量和吞吐量。
总体而言,用户无需漫长的规划周期、复杂的集成和高昂的前期成本,即可享用到移动技术的所有优点。
五、Amazon SageMaker Canvas:零经验小白也能玩转机器学习
Selipsky也谈到机器学习,他说AWS提供了周围最广泛和最完整的机器学习功能集,希望通过AWS Sagemaker推动机器学习普及。
今日,AWS又推出一项新的可视化、无代码机器学习服务Amazon SageMaker Canvas。
与其现有的机器学习服务不同,这里的目标受众不是高度技术性的数据科学家和工程师,而是企业内部的任何工程师或业务用户。
Amazon SageMaker Canvas使得没有任何经验的用户,无需编写任何代码,只需用鼠标点击拖拽,即可创建机器学习预测模型。
该服务得到了AWS完全托管的机器学习服务SageMaker的支持,可用于解决欺诈检测、减少流失和库存优化等业务关键型用例。
六、4项基于云的分析服务
AWS提供有大量分析工具来帮助客户挖掘数据,并宣布推出Amazon Redshift、EMR、MSK和Kinesis等四项基于云的分析服务,它们现可作为无服务器和按需服务提供。
Selipsky提到不同的工作负载需要正确的数据库来支持它们,分析服务也是如此。客户不想担心运行这些服务带来的基础设施,除了省去管理集群的麻烦外,用户只需为其使用的资源付费。
AWS推出了数字程序AWS技能生成器,并在Amazon.com上提供学习云技能,以及AWS重新/启动程序,以帮助刚开始上云的用户。
“Amazon Redshift Serverless会自动为您准备正确的计算资源。”AWS的Danilo Poccia解释说:“随着更多并发用户和新工作负载的发展,您的数据仓库会自动无缝扩展以适应变化。您可以选择指定基本数据仓库大小,以额外控制成本和应用程序特定的SLA。”
同样,AWS处理流数据的服务Kinesis现在提供完全托管的按需模式。使用此新容量模式,服务可以根据数据流量自动扩展。
为了方便企业访问所需数据,Selipsky展示了Amazon QuickSight Q功能如何提供仪表板以有用的方式显示数据。
七、AWS Lake Formation:构建安全的数据湖
AWS Lake Formation是一个非常重要的安全提升,允许限制对特定行和列的访问,并仅向授权用户自动过滤和显示数据。
建立和管理数据湖涉及许多人工、复杂和耗时的任务。相比以往动辄花费数周或几个月的时间,采用AWS Lake Formation,几天就能轻松地建立一个安全的数据湖。
Selipsky分享了一些新特性,可简化进一步的数据加载、优化存储和管理对数据湖的访问:
一个是Governed Tables。这是一种新型的Amazon S3表,使得在任何规模下摄取和管理数据变得简单和可靠。它可以自动管理冲突和错误,确保用户视图一致,并无需自定义错误处理代码或批处理更新。
当启动为Governed Tables提供自动压缩的存储优化选项时,用户无需自定义ETL作业,这些作业读娶合并和压缩数据到新文件中,然后替换原始文件。
还有具有行和单元级安全性的粒度访问控制,用户可根据执行操作的身份控制对查询结果和AWS Glue ETL作业中的特定行和列的访问。
八、AWS IoT TwinMaker:轻松构建数字孪生
最后出场的是一项名为AWS IoT TwinMaker的新服务,可用于轻松创建和使用现实世界系统的数字孪生。
数字孪生是建筑物、工厂、生产线和设备等事物的虚拟表示,它们定期更新现实世界数据,以模仿其所代表系统的行为。
有了这项新服务,用户无需将数据移动到单个存储库中,便可通过连接视频提要和应用程序等来源的数据来创建数字孪生。
另一个平台AWS IoT FleetWise允许制造商从数百万辆车中收集数据,并易于在云中进行分析。
用户可将内置数据连接器用于这些服务:AWS IoT FleetWise用于设备和时间序列传感器数据;Amazon Kinesis视频流用于视频数据;Amazon Simple Storage Service(S3)用于存储视觉资源(如CAD文件)和来自业务应用程序的数据。
AWS IoT TwinMaker还提供了一个框架以创建自己的数据连接器,与其他数据源(如Snowflake和Siemens MindSphere)一起使用。
一旦创建了数字孪生,用户可能会希望在物理环境中可视化数据。为了解决这个问题,AWS IoT TwinMaker创建了一个数字孪生图,它结合了用户物理系统的虚拟表示和连接的数据源之间的关系。这允许用户准确建模他们的现实世界环境。
用户可以导入现有的3D模型来排列物理空间的3D场景。从那里,用户也可以添加交互式视频和传感器数据覆盖,以及来自连接机器学习服务的见解。
该服务附带了Amazon Managed Grafana的插件,这是Grafana Labs开放仪表板和可视化平台的托管服务。
结语:云正为更多企业提供转型的关键途径
在过去的15年里,云计算作为新兴技术革命的核心驱动力,正为越来越多的企业提供了实现转型的关键途径。“我们才刚刚开始,”Selipsky提到只有5-15%的支出转移到云端,因此有一个很大的机会到来,5G和物联网也变得非常重要。
在演讲期间,Selipsky还宣布,AWS正在为培训尽一份力,希望到2025年培训29万个云技能工人,以应对云相关工作的爆发式增长。