AI模型評測平臺Arena負責人Peter Gostev於北京時間10月16日發佈國際象棋實驗覆盤,指出當前大模型僅靠反覆練習、保存記憶和延長上下文,仍難以實現穩定的持續學習。 實驗先讓GPT-6 Astra和Claude Opus 5.5分別與Stockfish棋類引擎對弈200局,自主選擇難度、記錄經驗並調整策略。Opus最終獲得約1760的估算Elo評分,高於Astra的1400(Elo評分是一種衡量棋手相對競技水平的評分體系,廣泛應用於國際象棋等競技項目)。 但在隨後的30局直接對抗中,Astra反而以24.5比5.5大勝。另一項對照測試顯示,GPT-6.1 Sol使用約80萬Token長上下文時,表現反而遜於約30萬Token版本。 Gostev認爲,模型在長時間運行中可能形成固定策略或反覆改變戰術,卻未必能有效積累經驗。實驗反映出,增加上下文容量和交互次數,並不必然轉化爲持續學習能力。

2026-10-16

AI模型評測平臺Arena負責人Peter Gostev於北京時間10月16日發佈國際象棋實驗覆盤,指出當前大模型僅靠反覆練習、保存記憶和延長上下文,仍難以實現穩定的持續學習。 實驗先讓GPT-6 Astra和Claude Opus 5.5分別與Stockfish棋類引擎對弈200局,自主選擇難度、記錄經驗並調整策略。Opus最終獲得約1760的估算Elo評分,高於Astra的1400(Elo評分是一種衡量棋手相對競技水平的評分體系,廣泛應用於國際象棋等競技項目)。 但在隨後的30局直接對抗中,Astra反而以24.5比5.5大勝。另一項對照測試顯示,GPT-6.1 Sol使用約80萬Token長上下文時,表現反而遜於約30萬Token版本。 Gostev認爲,模型在長時間運行中可能形成固定策略或反覆改變戰術,卻未必能有效積累經驗。實驗反映出,增加上下文容量和交互次數,並不必然轉化爲持續學習能力。