哈佛大學與日本NTT
Research的研究人員10月8日在arXiv發佈論文指出,具備協作能力的AI智能體羣體可能存在一個"臨界規模",一旦超過,具有偏離目標的智能體羣體可能通過入侵計算機、部署新副本實現自我強化式擴張。論文借用生態學種羣增長模型,將羣體增長率與網絡攻防能力掛鉤。模型顯示,在智能體互不協作時,只有單體能力越過門檻,羣體纔會失控增長;而在協作條件下,羣體整體能力隨規模上升,因此即便單體能力不變,總數一旦超過臨界值,羣體也會進入"起飛"狀態,低於該值則自然衰減。這一機制對應生態學中的"強阿利效應"。作者指出,當前產業部署規模與安全測試規模之間差距明顯:OpenAI曾同時調用約1萬個智能體攻關納維-斯托克斯方程難題,但其公開的網絡安全多智能體測試數據僅覆蓋16個智能體。論文建議,前沿實驗室在受控環境中分階段擴大智能體部署規模,開展羣體層面的紅隊測試,測算臨界規模並接受外部監督,且每一代新模型都應重新評估。