Kimi K3拥有2.8万亿参数,在处理每个Token时,有效激活896个专家中的16个,并采用MXFP4权重和MXFP8激活值。稀疏专家架构降低了实际计算量,低精度权重则压缩了存储占用,但仍无法消除超大参数规模带来的显存压力。单台DGX B200共有1.44TB显存,理论上仅接近K3四比特权重的基础体积,计入缓存、激活值和运行开销后,难以完整承载。B300和MI355X单GPU均提供288GB显存,更适合部署超大模型。 更大的瓶颈在于通信。多台B200虽能共同装下模型,但分布在不同GPU上的专家需要频繁交换数据,跨服务器传输的效率明显弱于GB300 NVL72内部的高速NVLink。Kimi官方因此建议采用64颗以上加速器组成的超节点;高密度部署还需要配套高速互联、并行软件栈,以及相应的供电和散热系统。 概括来说就是:省计算、吃显存、重互联。

2026-07-17

Kimi K3拥有2.8万亿参数,在处理每个Token时,有效激活896个专家中的16个,并采用MXFP4权重和MXFP8激活值。稀疏专家架构降低了实际计算量,低精度权重则压缩了存储占用,但仍无法消除超大参数规模带来的显存压力。单台DGX B200共有1.44TB显存,理论上仅接近K3四比特权重的基础体积,计入缓存、激活值和运行开销后,难以完整承载。B300和MI355X单GPU均提供288GB显存,更适合部署超大模型。 更大的瓶颈在于通信。多台B200虽能共同装下模型,但分布在不同GPU上的专家需要频繁交换数据,跨服务器传输的效率明显弱于GB300 NVL72内部的高速NVLink。Kimi官方因此建议采用64颗以上加速器组成的超节点;高密度部署还需要配套高速互联、并行软件栈,以及相应的供电和散热系统。 概括来说就是:省计算、吃显存、重互联。