微软AI于10月15日宣布,已完成新一代混合专家(MoE)基础模型MAI-Base-2的预训练,模型总参数量达2.8万亿,激活参数800亿。该模型于今年8月至9月使用约1.6万块英伟达GB200 GPU训练38天。微软称,在其内部保留测试集上,MAI-Base-2的表现超过所有参与测试的开放权重模型。以DeepSeek-V4-Pro-Base为参照,按照达到相同预训练损失水平所需计算量估算,微软新训练方案的浮点运算效率提高4.2至12.3倍,较6月发布的MAI-Base-1提高6.3至12.7倍。微软表示,新模型使用自主处理的训练数据,未采用其他模型的蒸馏数据,并首次在预训练阶段原生整合视觉能力。目前MAI-Base-2仍处于后训练阶段,微软计划未来通过Foundry向可信合作伙伴授权模型权重,尚未公布正式开放时间。

2026-10-16

微软AI于10月15日宣布,已完成新一代混合专家(MoE)基础模型MAI-Base-2的预训练,模型总参数量达2.8万亿,激活参数800亿。该模型于今年8月至9月使用约1.6万块英伟达GB200 GPU训练38天。微软称,在其内部保留测试集上,MAI-Base-2的表现超过所有参与测试的开放权重模型。以DeepSeek-V4-Pro-Base为参照,按照达到相同预训练损失水平所需计算量估算,微软新训练方案的浮点运算效率提高4.2至12.3倍,较6月发布的MAI-Base-1提高6.3至12.7倍。微软表示,新模型使用自主处理的训练数据,未采用其他模型的蒸馏数据,并首次在预训练阶段原生整合视觉能力。目前MAI-Base-2仍处于后训练阶段,微软计划未来通过Foundry向可信合作伙伴授权模型权重,尚未公布正式开放时间。