Kimi
K3擁有2.8萬億參數,在處理每個Token時,有效激活896個專家中的16個,並採用MXFP4權重和MXFP8激活值。稀疏專家架構降低了實際計算量,低精度權重則壓縮了存儲佔用,但仍無法消除超大參數規模帶來的顯存壓力。單臺DGX
B200共有1.44TB顯存,理論上僅接近K3四比特權重的基礎體積,計入緩存、激活值和運行開銷後,難以完整承載。B300和MI355X單GPU均提供288GB顯存,更適合部署超大模型。
更大的瓶頸在於通信。多臺B200雖能共同裝下模型,但分佈在不同GPU上的專家需要頻繁交換數據,跨服務器傳輸的效率明顯弱於GB300
NVL72內部的高速NVLink。Kimi官方因此建議採用64顆以上加速器組成的超節點;高密度部署還需要配套高速互聯、並行軟件棧,以及相應的供電和散熱系統。
概括來說就是:省計算、吃顯存、重互聯。