Groq 推理芯片：用空间换时间的把戏

最近 Groq 推理芯片以 500 token/s 的大模型输出速度刷屏了。

一句话来说，这个芯片就是玩了个用空间换时间的把戏，把模型权重和中间数据都放在了 SRAM 里面，而不是 HBM 或者 DRAM。

这是我 8 年前在微软亚洲研究院（MSRA）就做过的事情，适用于当时的神经网络，但真的不适合现在的大模型。因为基于 Transformer 的大模型需要很多内存用来存储 KV Cache。

Groq 芯片虽然输出速度非常快，但由于内存大小有限，batch size 就没法很大，要是算起 $/token 的性价比来，未必有竞争力。

Groq 需要几百卡的集群才能跑 LLaMA-2 70B 模型

上图：Groq 推理芯片的 spec

从 Groq 的 spec 不难看出，一个 Groq 芯片只有 230 MB 的 SRAM，带宽高达 80 TB/s，没有 HBM 或者 DRAM。作为对比，H100 有 96 GB HBM 内存，带宽是 3.35 TB/s。也就是说，Groq 的内存容量只有 H100 的 1/400，但它的内存带宽是 H100 的 25 倍。

Groq 的 int8 算力高达 750 Tops，fp16 算力高达 188 Tflops。作为对比，H100 的 tensor fp16 算力 989 Tflops，也就是 Groq 的算力是 H100 的 1/5。

Groq 用的是相对落后的 14nm 工艺，但也有 215W TDP，不算一个小芯片了，芯片制造成本肯定比 H100 低很多，但不可能比 H100 便宜 10 倍。

一个 LLaMA-2 70B 模型，就算做 int8 量化，也有 70 GB，就算不考虑中间状态的存储，那也需要 305 块 Groq 卡才能放下。

Groq 还没有公布售价，如果按照跟 H100 的 fp16 算力比例估算售价，一张卡就要 $6,000，那么这个集群需要 $1,800,000。有人会说这张卡 TSMC 的造价不会超过 $1,000，那我还要说 H100 的造价只有 $2,000 呢，芯片和软件生态的研发成本也是钱啊。

如果做 int8 量化，同样不考虑中间状态存储，一张 H100 就可以放下 LLaMA-2 70B，只需要 $30,000。当然，单块 H100 的吞吐量（token/s）干不过上述 Groq 集群。

那么，Groq 集群和 H100 哪个性价比更高呢？要回答这个问题，首先要搞清楚大模型是怎么拆成小块放进 Groq 卡的。

我在 MSRA 的空间计算探索

2016 年，我在微软亚洲研究院（MSRA）就搞过这种空间换时间的把戏，也就是把模型权重和中间状态全部放进 SRAM。我的博士回忆文章《MSRA 读博五年（二）自己主导的第一篇 SOSP》里面就讲了这段故事，在此摘录如下。

微软把 Catapult FPGA 部署到数据中心的每台服务器，用于加速网络虚拟化之后，Catapult 团队就开始探索这些 FPGA 是否也能用来加速 AI。学术界将 FPGA 用于 AI 训练和推理的文章已经连篇累牍，因此我们考虑的重点是如何利用高速网络来加速 FPGA AI。

当时，微软 Bing 搜索的排序算法是一个 DNN 模型。FPGA 做 DNN 推理有一个很大的局限，就是内存的带宽。当时我们的 FPGA 还没有 HBM 这么高速的内存，只有 DDR4 内存，两个通道加起来的带宽只有 32 GB/s。

大多数现有工作的做法是把模型放在 DRAM 里面，然后把模型分块，每一块都从 FPGA 片外的 DRAM 加载到 FPGA 片上的 SRAM（又称 Block RAM，BRAM），然后再在片上做计算。因此，数据搬移的开销就成了 FPGA 的主要瓶颈。编译器的工作就是优化分块形状和数据搬移，这也是我博士毕业后在华为 MindSpore 的第一个项目。

上图：我的 SIGCOMM 2016 ClickNP 论文对 FPGA 计算特征的总结

2016 年，我想到，能否利用多块 FPGA 组成的集群，把深度神经网络模型拆分成若干块，使得每一块都能放进 FPGA 内部的 SRAM 高速缓存？这样，需要通过网络传递的就是各块之间的中间结果。由于 FPGA 芯片之间有高速的互联网络，经过计算，对于我们使用的模型，传输这些中间结果所需的带宽并不会成为瓶颈。

我兴奋地把这个发现报告给我们硬件研究组的主管徐宁仪老师，他说，我想到的方法叫做 “模型并行”。在一些场景下，这种 “模型并行” 的方法确实相比传统的 “数据并行” 方法能取得更高的性能。尽管这并不算是一个理论创新，但徐宁仪老师说，把整个模型都放进 FPGA 内部的 SRAM 高速缓存这个想法是有点意思的。这就像是把很多块 FPGA 利用高速网络互联，当成了一块 FPGA 来用。

为了跟数据仍然放在 DRAM 里的传统模型并行方法相区分，我们把这种所有数据都放在片上 SRAM 内的模型并行方法叫做 “空间计算”（spatial computing）。

空间计算这个名词听起来很高大上，但其实是最原始的。我们搭建一个逻辑门组成的数字电路来完成特定的任务，这就是空间计算。基于图灵机理论的微处理器诞生之后，时间计算就成为主流，微处理器在不同的时刻执行不同的指令，这样只需要一套硬件电路，就可以完成各种各样的任务。但从体系结构的角度看，微处理器是用效率换取了通用性。

上图：用流水线把计算逻辑完全流水线化，就是空间计算

在 FPGA 和 ASIC 的世界里，为了效率，空间计算仍然是主流。在 FPGA 高层次综合（HLS）中，循环次数固定、不包含任意跳转的代码（编译领域的学名叫做 SCoP，Static Control Part，静态控制区域），可以进行完全的循环展开和函数内联，进而转换成一块组合逻辑，在合适的地方插入寄存器后，就变成一条完全流水线化的数字逻辑了。这样的数字逻辑每个时钟周期都可以接受一个输入的数据块。

搞分布式系统的都知道，多台机器组成的集群难以实现线性加速比，也就是说机器多了，通信和协同的代价高了，平均每台机器的产出就少了。但这种 “空间计算” 的方法在 FPGA 数量足够多到能够在片上 SRAM 容纳下整个模型时，可以实现 “超线性” 加速比，也就是模型并行中每个 FPGA 的平均产出相比单个使用数据并行方法的 FPGA 更高。

解决了访问模型的内存带宽问题，FPGA 的算力就可以充分释放出来。我们做了一个思想实验：微软 Azure 数据中心每台服务器都部署了一块 FPGA，如果把整个数据中心的 10 万块 FPGA 的算力都像一台计算机一样集中调度起来，只需要不到 0.1 秒，就可以翻译完成整个维基百科。它也在微软的一场官方发布会上作为一个业务场景做了演示。

上图：微软发布会上用 FPGA 加速机器翻译的 demo，如果把整个数据中心 1 Exa Ops 的算力都用起来，只需要不到 0.1 秒就可以翻译完整个维基百科

大模型做空间计算的 KV Cache 困境

空间计算的故事是不是听起来很美好？但问题在于今天基于 Transformer 的大模型并不是当年我们做的 DNN 模型。

DNN 模型的推理过程中需要存储的中间状态很少，比权重小很多。但 Transformer 的 decode 过程中需要保存 KV Cache，而且这个 KV Cache 的大小与上下文（context）长度成正比。

假设我们不做任何 batching，那么对于 LLaMA-2 70B 模型（int8 量化），假设输入和输出的上下文 token 数量达到了最大的 4096，80 层的 KV Cache 一共需要 2 (K, V) * 80 (layers) * 8192 (embedding size) * 4096 (context length) * 1B / 8 (GQA 优化) = 0.625 GB。（感谢好几位朋友指出我第一版文章中的错误，忘记考虑 GQA 优化了，导致认为 KV Cache 的存储开销过大）

相比 70 GB 的权重，0.625 GB 看起来不多吧？但如果真的不做 batching，价值 $1,800,000 的 300 多张 Groq 卡就只能达到 500 token/s 的吞吐量，这么大的集群只能服务一个并发用户，按照每 token 的价格计算，就是 $3,600 / (token/s)。

那么 H100 的每 token 价格怎么样呢？

H100 每张卡的吞吐量（token/s），来源：Perplexity AI

根据 Perplexity AI 的数据，对 LLaMA-2 70B，在 batch size = 128 的时候，8 卡 H100 机器平均每张卡的 int8 推理性能大约是 425 token/s。按照每张 H100 卡 $30,000 计算，那就是 $70 / (token/s)。价格相差 50 倍！

为了让我们昂贵的 Groq 集群也能多服务几个并发请求，我们就需要增加 batch size，比如增加到跟 8 卡 H100 机器的典型设置 batch size = 128 相同。KV Cache 的大小是跟 batch size 成正比的，一个样本是 0.625 GB，128 个样本就是 80 GB。

注意，模型本身只有 70 GB，KV Cache 这些中间状态有 80 GB，这 150 GB 内存至少需要 652 张 Groq 卡来放下。这个集群的成本高达 $3,912,000，只是前面 batch size = 1 的 2 倍。128 个并发请求是 128 * 500 = 64,000 token/s，那么就是 $61 / (token/s)，价格比 H100 还稍低一些。

我们知道 H100 本身已经有很高的溢价了，很多人都在想着用 4090 集群来做推理，比 H100 至少便宜一半。（如何用 4090 集群跑 70B 模型是另外一个问题，这里就不讨论了。）现在来了个跟 H100 性价比差不多的芯片，还只能做 Transformer，能不能跑 diffusion model 还不一定呢，你说买不买？

那么其他 batch size 是否存在甜点呢？batch size 每增加 1，就要存储 0.625 GB 的 KV Cache，这就需要 3 张 Groq 卡。其他 AI 芯片一般都是算力或者内存带宽瓶颈，Groq 的瓶颈却是内存容量。也就是说每个并发请求，或者说每 500 token/s，都需要增加价值 $18,000 的 3 张卡，每 token 价格不可能低于 $36 / (token/s) ，虽然比 H100 便宜，但是仍然达不到 4090 的水平。（Groq 每张卡的 TDP 是 215W，跟 4090 一样 token/W 比较低，电力成本比较高）

Groq 不需要给 NVIDIA 贡献利润

有人会问，为啥 Groq 宣称他们的推理服务价格比使用 NVIDIA 芯片的 Anyscale、Together AI 等公司还低呢？这是因为 Groq 自己就是做芯片的，没有 NVIDIA 这个中间商赚差价。

对于 Groq 来说，估计售价 $6,000 的芯片自己的成本可能还不到 $1,000。如果按照每张 Groq 卡 $1,000 来核算成本，那 batch size = 128 的集群成本就只要 $652,000，每 token 价格就是 $10.2，比 H100 便宜 7 倍。 当然，这里都没有考虑电力成本、主机成本和网络设备成本，在芯片都用成本价来算的时候，电力成本可能反而成了大头了，就像挖矿一样。

但是如果 NVIDIA 自己也用 H100 的成本价 $2,000 来提供推理服务，那每 token 价格就直接降低到 1/15，每 token 只要 $4.7，比 Groq 按成本价核算还便宜一半。由此可以看到 NVIDIA 的利润空间有多大了。

NVIDIA 高达一半以上的净利润率，营收还快赶上阿里了，这样赚钱的垄断生意要有航母才守得住。难怪 Sam Altman 看不下去了，OpenAI 辛辛苦苦做模型赚的钱都喂给 NVIDIA 了，因此要组个 7 万亿美金的局，从沙子开始，重塑整个芯片行业。

模型越大，空间计算的网络挑战越大

如果我们要推理的不是 70B 的 LLaMA-2，而是号称 1,800B 的 GPT-4，又会怎么样？

单是放下所有这些参数，哪怕用 int8 量化，都需要 7,826 张卡。这还不算 KV Cache。

在这么大的规模下，空间计算的网络互联会有很大的挑战。

7,826 张卡就算是把流水线并行做到极致，Transformer 每层一个流水级，假设 GPT-4 也是 80 层，每个流水级都需要 100 张卡做张量并行（tensor parallelism），这 100 张卡需要很高性能的 all-to-all 通信。为了维持 2 ms/token 的高吞吐量，网络通信延迟也必须在微秒级别。在万卡的规模下，这对网络互联的挑战是非常大的。

因此我猜测 Groq 做的可能不是一个基于交换机的互联网络，而是一个点对点的互联拓扑，每张卡互联周围的若干张卡，就像超算里面常见的 2D/3D Torus 一样。微软的 Catapult FPGA 一开始也是想搞这种类似超算的点对点拓扑，虽然数学上很漂亮，但最后发现通用性不强，还是改成了依靠基于标准交换机的 fat-tree 网络。当然 Catapult FPGA 的互联带宽不可与 NVLink 和 Groq 同日而语。

如果 Groq 能把 GPT-4 也做到 500 token/s 的输出速度，我真的会很佩服他们。

此外，上 TB/s 的网络互联既然都做出来了，为什么不用它互联 HBM 内存？

虽然用 SRAM 做 HBM 内存缓存的想法不太靠谱（Transformer 每个参数都要访问，没有局部性），但有了 HBM 至少可以做持久化 KV Cache 这些优化，比如把上百 K token 的 prompt prefill 进去，把 KV Cache 放到 HBM 里面，需要的时候再加载进来，这样就省去了很多重新计算 KV Cache 的 prefill 成本。

用过 OpenAI API 的都知道，大多数场景下 API 最烧钱的是输入而非输出。输入包括 prefill prompt（背景知识和指令）和 conversation（历史对话），输入长度经常动辄数十 K token（本文计算 KV Cache 内存容量时假设最长 4K token），但输出长度却很少超过 1K token。虽然每输入 token 比每输出 token 便宜，但输入的成本仍然一般高于输出。如果能够降低 KV Cache 重新计算的开销，功莫大焉。

结论

Groq 的优点是：通过把所有数据放进 SRAM，达到很高的内存带宽，进而实现很高的单请求 token/s，不管用多少块 H100 都很难达到 500 token/s 的输出速度。对输出速度要求很高的应用场景，以 Groq 为代表的空间计算是很有前景的。

Groq 的缺点是：每块卡的 SRAM 容量有限，KV Cache 占用的内存很大，需要很大的集群规模。因此：

如果 Groq 跟 NVIDIA GPU 类似，按照算力来对芯片定价，那么推理成本跟 H100 相当。
Groq 集群的门槛高，最低配置都要 300 张卡，$1.8M 的投资，它的性能太差；如果要性价比高，就要 1000 张卡，$6M 的投资。相比之下，8 卡 H100 的 $0.3M 太便宜了。

其实我有个大胆的猜测，Groq 的架构可能是为上一代 DNN 而非 Transformer 设计的，当时还没有想到 KV Cache 会占这么多内存，空间计算是个很漂亮的 idea，就像我们当年在微软也是这么做的。这两年 Transformer 火了，但芯片设计不那么容易改动，就用 “地表最快 token 输出速度” 这个技术指标，一下子搞了个大新闻。

Transformer 是个很干净、通用的架构，对芯片来说，就是拼算力、内存容量、内存带宽、网络带宽这些硬指标，没有什么可玩花招的。