腾讯云异构计算平台全面支持Llama 3，助力一键式部署，性能翻倍。

近日，史上最强开源机型Metallama 3正式发布。随着模型生态的不断变化，腾讯云异构计算平台作为覆盖90%+大模型客户的AI基地，已做好充分准备，围绕Llama 3系列模型提供从基础设施到调度的智能计算产品矩阵，为企业和开发者提供部署更快、性能更强、吞吐量更高的全链路解决方案。

第一，更快的部署通过HAI创建Llama 3只需要3分钟。

随着大模型时代的到来，应用程序有望变得更有价值。如何获得先发优势和高质量的模型能力，是打造AI应用核心竞争力的关键。为了解决中小企业和开发者在AI应用中所担心的敏捷部署、性价比、数据安全等问题，我们推出了全新的即插即用GPU应用服务产品——高性能应用服务HAI。它不仅提供了即插即用的便利，还支持AI模型在云端的私有化部署，在有丰富模型选择的同时，确保数据安全得到严格保护。

Meta发布Llama 3后，腾讯云HAI第一时间支持了Llama 3的一键部署。通过HAI只需3分钟，中小企业和开发者可以轻松创建和开发基于Llama 3的应用，并应用于各种场景，如智能客服、内容创建、文本分析等。，提升产品竞争力或企业运营效率。

腾讯云HAI提供一键计算能力和通用环境，帮助中小企业和开发者快速部署LLM、AI绘画、数据科学等高性能应用，并原生集成配套开发工具和组件，大幅提升应用层的开发和生产效率。此前已支持ChatGLM系列、Stable Diffusion、Llama 2等丰富的主流机型，支持笔记本、WebUI等多种图形计算交互模式，以应用为核心降低云端原生AI应用门槛。

第二，更强的性能，新例子Llama 3推理性能提升2-10倍。

硬件层面，腾讯云推出的最新一代异构计算GPU实例PNV5b，围绕Llama 3等大型模型场景，将AI推理部署的性价比提升到了一个新的高度。

Llama 3的模型特征与Llama 2非常相似，支持GQA机制以减少大规模模型推理过程中KV cache的内存开销。PNV5b采用最新一代GPU，单卡搭配48GB显存，在计算能力和显存匹配上取得了更好的平衡，为大模型推理提供了更好的性价比。同时，PNV5b实例在整机架构设计上支持最大单机8个GPU的高效扩展，大大提升了分布式推理性能。

在Llama 3的推理部署测试中，在典型服务请求的压力下，PNV5b的推理吞吐量相比上一代PNV4可以提升2-3倍；在极限要求压力测试下，性能可以进一步提升到10倍。这意味着PNV5b的实例可以提供更好的性能可扩展性，使用户在面对大型模型的业务高峰时更加舒适。

此外，PNV5b通过星海服务器和最新的AMD CPU平台提供多种实例规范，可以灵活匹配大模型推理、大模型微调、推荐系统等多种场景的实例规范需求。将为用户带来更加商业友好的AI模型训练和推理体验，为企业和开发者创造更多价值。

这几篇文章你可能也喜欢：

• 腾讯云双十一活动，2核2G3M云服务器仅需28元/年，2人组团PK赢大礼
• 腾讯云国际站提供EdgeOne Pages服务和免费网站部署
• #11.11#腾讯云2022双11特惠：轻量级云服务器低至50元每年，1个COM域名限时原创闪购，免费送服/100%抽奖
• 腾讯云618夏季大促：畅销云服务器首年95元起，GPU云服务器9.93元起/一天
• 腾讯云618年中特惠，云服务器每年99元起，领优惠券1188-10200元

本文由主机参考刊发，转载请注明：腾讯云异构计算平台全面支持Llama 3，助力一键式部署，性能翻倍。 https://zhujicankao.com/110869.html