最新MLCommons AI推论结果，突显英特尔产品在AI领域的强大竞争力
MLCommons于美国时间9月11日针对60亿个参数的大型语言GPT-J，以及电脑视觉和自然语言处理模型发表MLPerf Inference v3.1性能基准测试结果。英特尔提交Habana® Gaudi®2加速器、第4代Intel® Xeon®可扩充处理器和Intel® Xeon® CPU Max系列的测试结果。这些结果不仅显示英特尔在AI推论方面可提供具竞争力的性能表现，更强化英特尔的承诺－在客户端、边缘、网络、云端等一连串AI工作负载中，让AI更容易大规模地落实应用。
「正如同近期MLCommons的结果，展示出英特尔拥有强劲、极具竞争力的AI产品组合，能够满足客户对于高效能、高效率深度学习模型推论和训练的需求，适合用在最小到最大的各种AI模型，并提供领先的性价比。」
在今年6月更新的MLCommons AI训练和Hugging Face性能基准测试，验证了Gaudi2在最先进视觉语言模型方面的性能优势；而9月11日的结果近一步强化英特尔是满足AI运算需求，能够替代同类型竞品的可行方案。
每位客户均有独特的考察，而英特尔提供可解决一连串AI工作负载推论与训练难题的产品，将AI落实到每个角落。英特尔的AI产品让客户能够根据各自的性能、效率和成本目标，在选择最佳AI解决方案时拥有灵活性和选项，同时协助客户打破封闭的生态系。
Habana Gaudi2结果：Habana Gaudi2的GPT-J推论性能结果，为其极具竞争力的性能提供有力的验证。
- Gaudi2在GPT-J-99和GPT-J-99.9的服务器查询（query）和离线样本推论性能，分别为每秒78.58个查询和每秒84.08个样本。
- Gaudi2的效能是NVIDIA A100的2.4倍（服务器）和2倍（离线）。
- Gaudi2的提交结果使用FP8，在此新数据类型的准确度高达99.9%。
Gaudi2大约每6周至8周释出一次软件更新，英特尔预期在MLPerf基准测试中继续提升性能并扩大模型覆盖范围。
Intel Xeon结果：英特尔提交第4代Intel Xeon可扩充处理器的结果，其中包含GPT-J在内的所有7项推论基准测试。这些结果展现出通用AI工作负载的优异性能，包含视觉、语言处理、语音和音讯翻译模型，以及规模更大的DLRM v2推荐和ChatGPT-J模型。此外，英特尔仍是唯一一家使用业界标准深度学习生态系软件来提交公开CPU结果的供应商。
- 使用最流行的AI框架与函式库建立并部署通用AI工作负载，第4代Intel Xeon可扩充处理器为其理想之选。1篇新闻文章约1,000字至1,500字的GPT-J 100字摘要工作，第4代Intel Xeon处理器在离线模式下每秒可总结2个段落，即时服务器模式下每秒总结1个段落。
- 英特尔首次提交Intel Xeon CPU Max系列的MLPerf结果，该系列可提供高达64GB的高频宽內存。在GPT-J方面，它是唯一能够达成99.9%准确度的CPU，这对于需要最高精准度的应用而言十分重要。
- 英特尔和原始设备制造商（OEM）客户合作，提交他们自己的结果，进一步展现搭载Intel Xeon处理器通用服务器的AI性能可扩展性和广泛可用性，这些服务器能够满足客户的服务等级协议（SLA）。
MLPerf被普遍认为是AI性能方面最具声誉的基准测试，能够进行公平、可重现的性能比较。英特尔预计将为下次的MLPerf基准测试提交新的AI训练结果。性能持续不断的更新，代表英特尔致力于支持客户，并针对每个AI节点提出解决方案－从低成本的AI处理器，再到网络、云端和企业用户所需的最高性能AI硬件加速器和GPU。
评论