完整题目如下：

已知 MiniMax M3 为 MoE 大语言模型，总参数 428B，单 Token 激活参数 23B，共 60 层 Transformer，原生搭载 MSA 稀疏注意力，原生支持最大 1M 上下文窗口，KV Cache 默认采用 BF16 精度存储；推理整体预留 10% 显存用于算子激活、框架系统开销。

硬件条件：

1. GPU：8 张 NVIDIA A6000 Pro，单卡显存 96GB，采用 TP8 张量并行部署；
2. 网络：单节点 400Gbps 高速互联，本次计算显存为性能瓶颈，带宽不参与并发数值计算。

请回答以下问题：

1. 将模型全部 428B 权重做 INT8 量化存储，模型权重总计占用多少显存？8 卡 A6000 Pro 集群能否完整加载全部权重？
2. 仅文本推理、上下文窗口 128K 时，分别计算标准稠密注意力、M3 自带 MSA 稀疏注意力两种场景下，单个请求 KV Cache 大致占用显存；
3. 基于上述硬件、128K 上下文、开启 MSA 稀疏注意力优化的前提，该集群理论最大支持多少并发请求；
4. 若上下文窗口从 128K 扩容至 1M，KV Cache 单请求占用量与理论并发会产生何种变化？计算并发缩减比例并给出对应估算并发数值。

---

完整答案解析

一、基础已知条件与核心参数

题目给定条件

1. 模型：MiniMax M3，MoE 混合专家架构，总参数 428B，单 Token 激活参数 23B，共 60 层 Transformer，原生 MSA 稀疏注意力，KV Cache 采用 BF16 精度存储
2. 量化规则：全量权重执行 INT8 量化，单参数占用 1 字节
3. 硬件配置：8 张 NVIDIA A6000 Pro，单卡显存 96GB，采用 TP8 张量并行部署
4. 系统开销：总显存的 10% 预留为系统运行、算子激活、框架调度等固定开销
5. 上下文基准：默认 128K，扩展目标为 1M

模型架构补充参数（来自官方公开配置）

参数项	数值	说明
隐藏层维度 hidden_size	6144	Transformer 层特征维度
注意力查询头数	64	Query 分支注意力头总数
KV 头数（GQA 架构）	4	分组查询注意力，仅 4 组 Key/Value 头
单注意力头维度	96	由 6144 ÷ 64 推导得出
BF16 单元素字节数	2	KV Cache 默认存储精度
INT8 单元素字节数	1	权重量化后单参数占用

核心计算公式

1. 模型权重显存 = 总参数量 × 单参数字节数
2. 单请求 KV Cache 显存 = 2（K 矩阵 + V 矩阵）× 层数 × KV 头数 × 单头维度 × 序列长度 × 单元素字节数
3. 理论最大并发 = 可用 KV 总显存 ÷ 单请求 KV 显存

---

问题 1：INT8 权重视显存占用与 8 卡承载性判断

计算过程

1. 全量权重 INT8 显存占用

MoE 模型推理时所有专家权重均需驻留显存，因此按总参数 428B 计算：

$$\begin{align*} \text{权重显存} &= 428 \times 10^9 \text{ 参数} \times 1 \text{ Byte/参数} \\ &= 428 \text{ GB} \end{align*}$$

（注：行业通用十进制估算规则，1GB = 10⁹ 字节，与硬件显存标称口径一致，误差在工程可接受范围内）

2. 8 卡总可用显存

单卡 96GB，8 卡总显存：$8 \times 96 = 768 \text{ GB}$

扣除 10% 系统预留开销后，有效可用显存：

$$768 \times (1 - 10\%) = 691.2 \text{ GB}$$

结论

INT8 全量权重占用 428GB 显存，小于 8 卡有效显存 691.2GB，8 张 A6000 Pro 可以完整承载该模型，剩余 263.2GB 显存可用于 KV Cache 存储。

补充说明

若仅计算单 Token 激活参数（23B）的 INT8 占用仅为 23GB，但 MoE 架构必须加载全部专家权重才能实现稀疏路由，因此需按全量 428B 参数核算。

---

问题 2：128K 上下文下单请求 KV Cache 显存（两种场景）

MSA 稀疏注意力的核心作用是优化长上下文的计算复杂度与推理延迟，不改变 KV Cache 的存储总量；两种场景的核心差异在于是否采用 GQA 分组查询优化。

场景一：标准稠密注意力（传统 MHA 架构，无 GQA 优化）

传统稠密 Transformer 采用全量多头注意力，KV 头数与查询头数一致（64 个），无存储优化。

单 Token KV 显存计算：

$$\begin{align*} \text{单 Token KV} &= 2 \times 60 \text{ 层} \times 64 \text{ 个 KV 头} \times 96 \text{ 头维度} \times 2 \text{ 字节} \\ &= 1474560 \text{ 字节} \approx 1.44 \text{ MB} \end{align*}$$

128K 上下文总 KV 显存：

$$1.44 \text{ MB/token} \times 128 \times 10^3 \text{ token} \approx 184.3 \text{ GB}$$

场景二：M3 原生架构（GQA 分组查询 + MSA 稀疏注意力）

M3 采用 GQA 分组查询架构，仅 4 个 KV 头，大幅压缩 KV Cache 体积；MSA 负责计算加速，KV 仍全量存储。

单 Token KV 显存计算：

$$\begin{align*} \text{单 Token KV} &= 2 \times 60 \text{ 层} \times 4 \text{ 个 KV 头} \times 96 \text{ 头维度} \times 2 \text{ 字节} \\ &= 92160 \text{ 字节} \approx 90 \text{ KB} \end{align*}$$

128K 上下文总 KV 显存：

$$90 \text{ KB/token} \times 128 \times 10^3 \text{ token} \approx 11.5 \text{ GB}$$

结论

• 标准稠密 MHA 架构：128K 上下文单请求 KV 约 184GB，显存压力极大，单卡无法承载单个长上下文请求
• M3 原生 GQA + MSA 架构：128K 上下文单请求 KV 约 11.5GB，仅为传统架构的 1/16，是长上下文可用的核心基础

---

问题 3：128K 上下文下理论最大并发数

计算逻辑

总有效显存扣除模型权重占用后，剩余空间全部用于 KV Cache 存储，除以单请求 KV 显存即可得到显存维度的理论最大并发。

计算过程

1. 可用于 KV Cache 的总显存 = 有效总显存 − 权重显存 = $691.2 - 428 = 263.2 \text{ GB}$
2. 单请求 KV 显存（M3 原生架构，128K）= 11.5 GB
3. 理论最大并发：

$$\text{并发数} = \frac{263.2}{11.5} \approx 22.9$$

结论

开启 MSA 优化、128K 上下文场景下，该集群理论最大支持约 22~23 个并发请求。

补充说明

• 该数值为显存维度的极限值，未考虑计算延迟、网络开销、调度损耗与突发流量；生产环境通常预留 30%~50% 安全余量，实际可用并发约 11~15 个。
• 若采用传统稠密 MHA 架构，单请求 KV 已远超单卡显存，无法正常部署服务。

---

问题 4：上下文扩展到 1M 后的并发变化

核心原理

KV Cache 显存与序列长度严格线性正相关：序列长度扩大 N 倍，单请求 KV 显存同步扩大 N 倍；总可用 KV 显存固定时，最大并发数同比缩小为原来的 $1/N$。

计算过程

1. 上下文长度缩放倍数：$\frac{1\text{M}}{128\text{K}} = 8$ 倍
2. 1M 上下文单请求 KV 显存：$11.5 \times 8 = 92 \text{ GB}$
3. 1M 上下文理论最大并发：

$$\text{并发数} = \frac{263.2}{92} \approx 2.9$$

4. 并发缩减比例：约为 128K 场景的 $\boldsymbol{\frac{1}{8}}$，并发数缩减 87.5%

结论

• 单请求 KV Cache 显存扩大 8 倍，理论最大并发缩减至原来的 1/8，约 2~3 个并发请求。
• 实际生产中，1M 上下文的 Prefill（预填充）阶段耗时显著上升，计算瓶颈进一步凸显，实际可用并发会低于理论值；MSA 稀疏注意力可将解码速度提升 15 倍以上，保障长上下文的推理可用性，但不改变显存层面的并发上限。

版权所有

版权归属：Kstheme

许可证：署名 4.0 国际 (CC-BY-4.0)

贡献者: Alan Zero

上一页把任何 GitHub 仓库变成系统设计课：这个开源项目做到了

下一页Transformer 面试必考：自注意力机制详细拆解 + 为什么它比 RNN 更适合长序列？