AMD 在测试中使用了 Llama3.1-70B（vLLM 0.6.1.post2、TP8 Parallel、FP8、连续批处理）模型，然后对比其推理性能的差异。

　　AMD 并未透露其测试中用到的这套 2020 年硬件规格，但很显然基于 Zen 2 系列的 EPYC 7002 处理器（单个 CPU 最多 64 核）以及基于初代 CDNA 架构的 Instinct MI100 加速器。

　　AMD 还表示，除了“给力”的硬件提升之外，这一成绩是通过架构改进和软件优化综合实现的成果，这是可以预料到的结果。

　　该公司最近刚推出了基于 CDNA 3 架构的 Instinct MI325X 加速器，配备了 288 GB HBM3E 内存子系统；AMD 明年还将推出基于 CDNA 4 架构的 Instinct MI355X，与 MI325X 相比性能（FP8 和 FP16）将提高约 80%。

　　除了 FP8 和 FP16 外，MI325X 还将支持 FP4 和 FP6 格式，其峰值性能将达到 9.2 PetaFLOPS（FP4），这对于许多大语言模型来说非常实用。也就是说，AMD 要想实现在 2025 年实现其计算平台能效提高 30 倍的目标并不难。

　　AMD 高级副总裁、AMD 公司研究员和产品技术架构师 Sam Naffziger 表示，“通过我们对硬件和软件协同设计中深思熟虑的方法，我们对实现 30x25 目标很有信心，并对未来充满期待，我们已经看到了在未来几年内实现大幅能效提升的有效途径。”