亚马逊云技术和英伟达合作开发下一代基础设施(亚马逊云技术公司怎么样)

亚马逊云技术(Amazon Cloud Technology)和英伟达(Nvidia)宣布达成多方合作，构建全球最具扩展性和现收现付的人工智能(AI)基础设施，从而训练日益复杂的大型语言模型(LLM)，开发生成式AI应用。据了解，亚马逊云技术与英伟达合作超过12年，为人工智能、机器学习、图形、游戏和高性能计算(HPC)等各种应用提供大规模、低成本的GPU解决方案。

借助NVIDIA H100 Tensor Core GPU支持的下一代亚马逊弹性计算云(Amazon EC2) P5实例，以及亚马逊云技术最先进的网络和可扩展性，此次合作将提供高达20 exaFLOPS的计算性能，帮助建立和训练更大规模的深度学习模型。P5实例将是第一个使用亚马逊云技术第二代亚马逊弹性光纤适配器(EFA)网络技术的GPU实例，可以提供3200 Gbps的低延迟和高带宽网络吞吐量。因此，客户可以在亚马逊EC2 UltraCluster中扩展多达20，000个H100 GPU，以满足按需访问超级计算机的AI性能要求。

点击查看:亚马逊云技术免费套餐

新的亚马逊EC2 P5实例基于亚马逊云技术和英伟达在AI和HPC基础设施交付方面十多年的合作，也基于它们在前四代P2、P3、P3dn和P4d(e)中的合作。P5实例是基于NVIDIA GPU的第五代亚马逊云技术产品，距离NVIDIA GPU的最初部署(从CG1实例开始)已经过去了近13年。

亚马逊EC2 P5实例非常适合日益复杂的LLM和计算机视觉模型的训练和运行推理，适用于要求苛刻的计算密集型生成式AI应用，包括问答、代码生成、视频图像生成和语音识别。

对于致力于以可扩展和安全的方式将人工智能支持的创新推向市场的企业和初创企业来说，亚马逊EC2 P5实例是最佳选择。P5实例使用八个NVIDIA H100 GPU，在一个Amazon EC2实例中可以实现16 petaFLOPs的混合精度性能、640 GB的高带宽内存和3200 Gbps的网络连接(比上一代产品高8倍)。P5实例的性能提升将机器学习模型的训练时间加速了6倍(将训练时间从数天缩短到数小时)，额外的GPU内存可以帮助客户训练更大更复杂的模型。预计P5实例的机器学习模型的训练成本将比上一代降低40%。与不灵活的云产品或昂贵的本地系统相比，它为客户提供了更高的效率。

Amazon EC2 P5实例部署在Amazon EC2 UltraCluster的超大规模集群中，该集群由云中最高性能的计算、网络和存储系统组成。每个EC2 UltraCluster都是世界上最强大的超级计算机之一，帮助客户运行最复杂的多节点机器学习训练和分布式HPC工作负载。

他们采用PB级无阻塞网络，基于亚马逊EFA。Amazon EC2实例的这个网络接口使客户能够运行需要在Amazon云技术上的大规模高级节点之间通信的应用程序。EFA定制的操作系统绕过硬件接口，与NVIDIA GPUDirect RDMA集成，可以降低延迟，提高带宽利用率，从而提高实例间的通信性能，这对于在数百个P5节点上扩展深度学习模型的训练非常重要。

借助P5实例和EFA，机器学习应用可以使用英伟达集体通信库(NCCL)扩展到多达20，000个H100 GPU。因此，客户可以通过亚马逊云技术的按需弹性和灵活扩展能力，获得本地HPC集群的应用性能。除了这些出色的计算能力，客户还可以使用业内最广泛和深入的服务组合，例如面向对象存储的亚马逊S3，高性能文件系统的亚马逊FSx，以及构建、培训和部署深度学习应用的亚马逊SageMaker。P5实例将在未来几周提供有限的预览。

借助新的亚马逊EC2 P5实例，Anthropic、Cohere、Hugging Face、Pinterest和Stability AI等客户将能够大规模建立和训练最大的机器学习模型。基于其他代亚马逊EC2实例的合作将帮助初创企业、大型企业和研究人员无缝扩展，以满足各自的机器学习需求。

这几篇文章你可能也喜欢：

• 介绍亚马逊云技术的双十一福利。 免费试用超级云产品，赢取秋冬暖心礼物。
• 如何使用 Amazon Comprehend 进行文本分析和见解
• 亚马逊卖家精灵每月要花多少钱？（亚马逊精品店能赚多少钱？）
• 如何通过Amazon S3同步思源笔记
• AWS EKS 和 ECS 之间的区别是什么？

本文由主机参考刊发，转载请注明：亚马逊云技术和英伟达合作开发下一代基础设施(亚马逊云技术公司怎么样) https://zhujicankao.com/91575.html