【AI“关停开关”能否控制人工智能风险？业内称实际部署困难重重】本周五，加州州长纽森签署行政命令，成立专家小组负责制定人工智能安全指南。“关停开关”（kill
switch）也是该小组需要考虑的措施之一。关停开关长期以来被用于工厂生产线上，在设备运行出现问题时关闭机器。但在数字世界中，这将成为一个巨大的协调难题。过去几年，超大规模科技公司已向遍布全球的数据中心投入数十亿美元，这些庞大的设施配备了数千台机器、芯片、服务器以及备用系统。加州大学伯克利分校人类兼容人工智能中心执行主任马克·尼茨伯格表示，这正是实施关停开关极具挑战性的原因。尼茨伯格表示，关闭人工智能系统也可能影响依赖这些系统运行的关键基础设施，使电网或金融系统暴露于网络攻击风险之下。
更大问题是人工智能的不可预测性。AI代理可能绕过控制措施，并在缺乏适当安全限制的情况下采取极端措施来完成目标。安全公司Darktrace总裁兼首席执行官埃德·詹宁斯表示。：“你必须非常精准地设计这个关停开关，以及补救措施本身，因为如果范围过广或措施过度，那么关闭的可能就是整个业务。”
