NVIDIA 面向企业级服务器最新推出的 A30 和 A10 GPU 两大数据中心推理新品，今日完成性能首秀，并创下推理新纪录。 在业界公认的 AI 性能衡量基准——MLPerf 基准测试中，NVIDIA GPU 在所有类别刷新记录。 绝大多数参与数据中心及边缘推理测试的系统均采用 NVIDIA GPU 作为 AI 加速器，少数则采用高通、赛灵思、Neuchips、Centaur、Arm 等其他芯片商的加速器。 NVIDIA 的两款新 GPU 集高性能与低功耗于一身，可成为企业在 AI 推理、训练、图形和传统企业级计算工作负载等诸多方面的主流选择。思科、戴尔科技、慧与、浪潮和联想预计会从今年夏季开始将这两款 GPU 集成到其最高容量的服务器中。 链接：https://mlcommons.org/en/inference-datacenter-10/一、NVIDIA 在六类算法测试均刷新纪录 MLPerf 基准测试由图灵奖得主 David Patterson 联合科技公司和全球顶级高校于 2018 年发起，是业界首套衡量机器学习软硬件性能的通用基准，能展示不同 CPU、GPU、加速器组合做展示出的不同性能表现，如今 MLPerf 已成为业界评测 AI 性能的最主流标准之一。 ＂随着 AI 持续为各行各业带来变革，MLPerf 也成为企业的一项重要工具，能够助力其在IT基础设施投资方面做出明智的决策。＂NVIDIA 加速计算部门总经理兼副总裁 Ian Buck 说，＂如今，所有主要 OEM 厂商都提交了 MLPerf 测试结果。＂ 除 NVIDIA 公司提交的测试结果外，阿里云、戴尔科技、富士通、技嘉科技、慧与、浪潮、联想和超微等多家 NVIDIA 合作伙伴也提交了共 360 多项基于 NVIDIA GPU 的测试结果。 最新公布的测试结果显示，NVIDIA 是唯一一家针对数据中心和边缘类别中的每项测试都提交结果的公司，并在所有 MLPerf 工作负载中均展现出领先的性能。 例如，在数据中心基准测试中，NVIDIA A100 的性能表现相较 CPU 提高 17-314 倍，最新发布的 A10 和 A30 也展现出不错的测试结果。 相比高通 Cloud AI 100，NVIDIA A100 在 ResNet-50 和 SSD-Large 算法中均展现出更高的性能。 NVIDIA A100、Jetson 系列在边缘基准测试中展示了全部六类算法测试的结果。 此外，NVIDIA 还开创性地使用 NVIDIA Ampere 架构的多实例 GPU 性能，在单一 GPU 上使用 7 个 MIG 实例，同时运行所有 7 项 MLPerf 离线测试。该配置实现了与单一 MIG 实例独立运行几乎相同（98%）的性能。 这些提交结果展示了 MIG 的性能和通用性。基础设施经理可以针对特定应用，配置适当数量的 GPU 计算，从而让每个数据中心 GPU 都能发挥最大的效用。 多项提交结果还基于 NVIDIA Triton 推理服务器。该推理服务器支持来自所有主要框架的模型，可在 GPU 及 CPU 上运行，并针对批处理、实时和串流传输等不同的查询类型进行了优化，能简化在应用中部署 AI 的复杂性，同时保证领先的性能。 在配置相当的情况下，采用 Triton 的提交结果所达到的性能接近于最优化的 GPU 实现及 CPU 实现能够达到的性能。二、A30 和 A10 今夏商用 NVIDIA 能够取得如此佳绩，得益于 NVIDIA AI 平台的广度。 该 AI 平台包含多种类型的 GPU 以及经优化后能实现 AI 加速的全栈 NVIDIA 软件，包括 TensorRT 和 NVIDIA Triton 推理服务器。微软、Pinterest、Postmates、T-Mobile、USPS、微信等企业都部署了 NVIDIA AI 平台。 A30 和 A10 GPU 是 NVIDIA AI 平台中的最新成员。 A30 能够为行业标准服务器提供通用的性能，支持广泛的 AI 推理和主流企业级计算工作负载，如推荐系统、对话式 AI 和计算机视觉。 A10 可加速深度学习推理、交互式渲染、计算机辅助设计和云游戏，使企业能够基于通用基础设施，为混合型 AI 和图形工作负载提供支持。通过采用 NVIDIA 虚拟 GPU 软件，可改进管理，为设计师、工程师、艺术家和科学家所用的虚拟桌面提高利用率并完善配置。 NVIDIA Jetson 平台基于 NVIDIA Xavier 系统级模块，可在边缘提供服务器级的 AI 性能，助力机器人、医疗健康、零售等领域实现更多的创新应用。Jetson 基于 NVIDIA 的统一架构和 CUDA-X 软件堆栈，是唯一采用紧凑型设计、能够运行所有边缘工作负载且功耗低于 30W 的平台。 过去 6 个月，NVIDIA 端到端 AI 平台在 MLPerf 的性能提升达 45%。 NVIDIA A100 GPU 搭载于领先服务器制造商的服务器、所有主要云服务提供商的云端，以及 NVIDIA DGX 系统产品组合（包括 NVIDIADGX StationA100、NVIDIA DGX A100 和 NVIDIA DGX SuperPOD）。 A30 和 A10（功耗分别为 165W 和 150W）预计将从今夏起用于各类服务器中，包括经严格测试以确保在各类工作负载下均可实现高性能的 NVIDIA 认证系统。 NVIDIA Jetson AGX Xavier 和 Jetson Xavier NX 系统级模块已通过全球经销商供货。 NVIDIA Triton 和 NVIDIA TensorRT 均可通过 NVIDIA 的软件目录 NGC 获取。结语：MLPerf 参与者集中于芯片大厂 总体来看，参与 MLPerf 基准测试的 AI 加速器主要来自 NVIDIA、高通、赛灵思等芯片巨头，尤其是 NVIDIA GPU 几乎刷屏数据中心及边缘的加速器一列，相对而言，我们鲜少看见 AI 硬件初创公司的身影。 NVIDIA 加速计算部门总经理兼副总裁 Ian Buck 说：＂NVIDIA 及合作伙伴的关注点不仅在于实现全球领先的 AI 性能，同时还注重通过即将面市的一系列搭载 A30 和 A10 GPU 的企业级服务器来实现 AI 普及化。＂