902
梦晨 发自 凹非寺，量子位 | 公众号 QbitAI
Ilya Sutskever宣布退出OpenAI，震动整个AI圈。
数小时后，RLHF发明者之一Jan Leike也追随他的脚步一起离开，再次给OpenAI的前途蒙上了一层阴影。
两人共同领导的超级对齐团队成立还不到一年，已经分崩离析。
△他甚至不留下一句客套话
Jan Leike在GPT-4项目上与Ryan Lowe共同领导了对齐工作，而后者也已于3月底离开OpenAI。
所以说不止超级对齐团队，而是整个OpenAI安全研究方向的人才，都在持续动荡中。
超级对齐成员之一William Saunders，以及参与过GPT-4对抗性测试的Daniel Kokotajlo，此前两人均已离开OpenAI。
其中Kokotajlo在Less Wrong论坛留下了自己的理由：对OpenAI能否在AGI时代负责任的行动失去了信心。
按他的说法，当前的AI监管努力集中在“评估风险和采取缓解措施”的组合上，这种组合很容易被大型公司钻空子利用，最终导致“选择性暂停”，也就是最需要被监管的前沿大型AI实验室反而没被监管到。
“幻灭了”，这是他用来形容辞职原因的说法，可能也代表了所有这些AI安全研究人员的心情。
对于这一系列事件，有网友表示：Ilya和Leike离开后，OpenAI可能不再是原来的OpenAI了。
还有人更悲观一些，失去两人以后，把对OpenAI能做好AGI的预期调整为零。
以及AI安全问题如此重要，让人们无法以看热闹的心态来看待这些drama。
超级对齐团队或不复存在
为什么Jan Leike的离开引起这么大影响？
他早年在DeepMind工作，与OpenAI团队共同开发了人类反馈强化学习RLHF，后来成为ChatGPT的核心技术之一。
加入OpenAI后，从代码大模型Codex、ChatGPT的前身InstrucGPT，到ChatGPT、GPT-4他都是重要贡献者。
在去年11月的OpenAI董事会叛变风波中，Jan Leike也发挥了关键作用，可能是促成Ilya最终回心转意结束乱局的因素之一。
2023年底，《时代》杂志将他列为人工智能领域100名最具影响力的人物之一。
2023年7月，Jan与Ilya发起了OpenAI超级对齐团队，拿出20%总算力，直接越级瞄准如何控制还不存在的超级智能。
对于不同时间尺度的AI风险，OpenAI有三个团队来分别应对，其中超级对齐负责遥远的未来。
超级对齐团队的第一个成果《Weak-to-Strong Generalization》，试图证明通过弱模型监管强模型是一条行之有效的路径
此外他们还开源了用于分析大模型可解释性的工具OpenAI Transformer Debugger。
这个工具结合了自动可解释性技术和稀疏自动编码器，支持神经元和注意力头干预，让研究者无需便携代码即可获得数据。
除了研究之外，超级对齐团队此前还有一系列资助AI安全研究的计划，第一期总计向学校、非营利组织和个人发放了1000万美元资金。
可能也就此成为绝唱。
One More Thing
在大量人才持续出走的同时，OpenAI也引进了一些新鲜血液。
最新消息，他们挖来了谷歌搜索广告业务的21年老将。
在商业化的路上不断加速，或许是AI安全团队选择分道扬镳的原因之一。
参考链接：
[1]https://x.com/janleike/status/1790603862132596961
[2]https://openai.com/index/weak-to-strong-generalization/
[3]https://x.com/theinformation/status/1790467870545027186
下载ECAD模型
