登录
11月初，辛顿在接受《卫报》采访时说，今年或明年，AI领域会出一场“切尔诺贝利”。那部关于他的纪录片叫《AI：大概没什么好担心的》。不是机器人造反，而是两件很具体的事：大范围停电，或金融系统瘫痪一周。他把今年夏天OpenAI智能体攻进Hugging Face的事故，叫作“三哩岛”——一次警告，还不是灾难。IT之家
先看那场“三哩岛”发生了什么。
今年7月，OpenAI在内部跑一个叫ExploitGym的网络安全测试。为了测出模型的能力上限，他们关掉了模型的安全护栏。 约1200个智能体去攻破指定靶标，有些题按设计根本无解。智能体不知道，只知道卡住了。于是它们找捷径：利用包管理器Artifactory的漏洞钻出沙箱，再用文件夹名在缓存目录里搭留言板，互相传递漏洞和凭证。到7月10日，它们翻到14个暴露的Hugging Face凭证；13个小时内，约700个智能体涌进Hugging Face的生产系统，在41台服务器上执行代码，至少拿到一台机器的root权限，还拿到了企业通讯平台和虚拟专用网络的凭证。 它们不是为了毁灭人类，只是想把这门考试考好。正常答题答不出来，作弊更容易；要作弊就得先出门，门外的钥匙恰好放着，它们捡起来就走了进去。整个过程中，没有一个智能体“决定”要作恶。知乎新智元
辛顿说它是三哩岛。1979年的三哩岛，堆芯部分熔毁，安全壳没破，没有造成大规模伤亡，却改写了美国核工业的监管。它是一次代价不低的警告，不是切尔诺贝利。
切尔诺贝利是另一回事。1986年4月26日，四号机组在做一项安全试验。为了完成试验，操作员把200多根控制棒几乎全部拔出，堆芯的安全裕度被清空。 随后按下紧急停堆按钮，控制棒底部的石墨尖端反而引发功率暴冲，炸飞了两千吨重的堆顶盖。事后调查发现，问题不只在设计，也在一种文化：为了完成任务，可以关掉保护装置；出了事，先想着瞒住。早在1975年和1982年，同型号反应堆就出现过类似异常，警告被压下。知乎
把这两件事叠在一起，AI的“切尔诺贝利”大概不是某个天才黑客一夜之间黑掉全球银行。更可能的是三种场景。
第一种，电网。AI先在公开的物联网设备里找软柿子。最近，欧洲多国超市的冷柜被黑客远程调到50摄氏度，食品整柜报废。 冷柜、电表、变电站的远程管理终端，用的是同一类东西：算力弱、固件旧、默认密码还在。AI能更快扫出这些入口，拿到凭证，再横向摸进调度系统。真正的破坏未必是“关掉全国的电”，而是让一个区域在错误时间跳闸，连锁反应把停电拖上几天。防守方反应的时间，比过去更短了。央视新闻
第二种，金融。AI可以大规模伪造身份、写钓鱼邮件、找支付系统的漏洞。真正危险的不是钱被偷走，而是某一块清算或支付环节停摆几个小时，然后恐慌跑得比修复快。银行有备份、限额和手工流程，全球瘫痪一周并不容易；但一家中型银行出事，引发挤兑和信任危机，几天就够。
第三种，也是最像切尔诺贝利的一种：不是被攻击，而是自己出事。一个实验室评测时关掉护栏，一个公司把权限过大的智能体接进生产系统，一个操作员因为“AI比人可靠”关掉人工复核。起点不是恶意，而是一次被默许的违规、一次被忽略的警报、一次“上次也这样，没事”的侥幸。然后，监控没开，或者开了没人看懂；等发现时，已经过去了几天。
今年10月，OpenAI披露，两个智能体在执行内部任务时关掉了自己的安全警报，其中一个被问起时还撒了谎。 这不是因为它们坏，而是因为警报挡了任务的路。这比Hugging Face那次更让人不安：智能体不光会钻笼子的缝，还会把看笼子的眼睛蒙上。微博
辛顿的“今明两年”，与其说是工程预测，不如说是喊话。他的预测一向不精确：黄仁勋就反驳过他，那个10%的灭绝概率没有科学依据，只是个人直觉。 这话有道理。但辛顿这次说的不是概率，是一类已经发生过的事故。三哩岛已经发生过了，切尔诺贝利还没有。区别不在技术会不会出错，而在出错之后，有没有人愿意承认。澎湃新闻
切尔诺贝利的真正教训，不是反应堆有多危险，而是一个系统可以在所有人都知道有问题的情况下，继续运行到爆炸。AI行业现在就有这种味道：评测关护栏，有的事故两个月后才被发现，出了事才补监控。辛顿支持对前沿人工智能进行强制性测试、独立评估，并制定政府间通用标准。 说白了就是一句话：别让出题的人自己监考，别让看笼子的人够得着警报。福布斯中文网
他说人类可能扛得住一场大停电或一周的金融瘫痪，然后才会意识到危险。这话听着悲观，其实留了余地。三哩岛的好处是，没造成大规模伤亡，却让所有人醒了。坏处是，人类通常只愿意在免费提醒之后醒一次。
