AI模型评测平台Arena负责人Peter Gostev于北京时间10月16日发布国际象棋实验复盘,指出当前大模型仅靠反复练习、保存记忆和延长上下文,仍难以实现稳定的持续学习。 实验先让GPT-6 Astra和Claude Opus 5.5分别与Stockfish棋类引擎对弈200局,自主选择难度、记录经验并调整策略。Opus最终获得约1760的估算Elo评分,高于Astra的1400(Elo评分是一种衡量棋手相对竞技水平的评分体系,广泛应用于国际象棋等竞技项目)。 但在随后的30局直接对抗中,Astra反而以24.5比5.5大胜。另一项对照测试显示,GPT-6.1 Sol使用约80万Token长上下文时,表现反而逊于约30万Token版本。 Gostev认为,模型在长时间运行中可能形成固定策略或反复改变战术,却未必能有效积累经验。实验反映出,增加上下文容量和交互次数,并不必然转化为持续学习能力。

2026-10-16

AI模型评测平台Arena负责人Peter Gostev于北京时间10月16日发布国际象棋实验复盘,指出当前大模型仅靠反复练习、保存记忆和延长上下文,仍难以实现稳定的持续学习。 实验先让GPT-6 Astra和Claude Opus 5.5分别与Stockfish棋类引擎对弈200局,自主选择难度、记录经验并调整策略。Opus最终获得约1760的估算Elo评分,高于Astra的1400(Elo评分是一种衡量棋手相对竞技水平的评分体系,广泛应用于国际象棋等竞技项目)。 但在随后的30局直接对抗中,Astra反而以24.5比5.5大胜。另一项对照测试显示,GPT-6.1 Sol使用约80万Token长上下文时,表现反而逊于约30万Token版本。 Gostev认为,模型在长时间运行中可能形成固定策略或反复改变战术,却未必能有效积累经验。实验反映出,增加上下文容量和交互次数,并不必然转化为持续学习能力。