OpenAI又上演“权力的游戏”
OpenAI又上演“权力的游戏”
出品 | 虎嗅科技组
作者 | 杜钰君
编辑 | 苗正卿
头图 | 视觉中国
伟大的技术、产品公司,有时会折戟于管理。就好比巅峰期的雅达利因质量品控体系松弛而崩溃。
技术和管理到底能否兼具?类似的考题,被摆在 OpenAI 面前。
5 月 15 日,GPT-4o 发布后仅一天,OpenAI 再次成为了万众瞩目的焦点。不过与此前的技术突破不同,此次 OpenAI 的话题点在于,开始其首席科学家 Ilya 和超级对齐团队的集体出走。
此前,超级对齐团队曾拥有 OpenAI20% 的算力资源。因此难免让人怀疑,此次 OpenAI 短时间、大规模的人事变动是否是其发展战略变动的前哨?
分歧已久
OpenAI 内部的分歧存在已久,在去年 11 月的 " 宫斗 " 事件中早已公之于众。此次 Ilya Sutskever 等一行人的出走,可以看作是历史矛盾的延续。
Ilya 辞职前,OpenAI 内部最大的分歧之一在于对 AI 安全问题的态度上。
科技巨头和初创公司的互卷下,AI 技术研发在快车道上一往直前,AGI 时代离我们也越来越近。有人认为 "OpenAI 正在训练更强大的 AI 系统,目标是最终全面超越人类智能 "。
未知的全新力量下蕴藏着未知的风险。用前员工的一句话讲,这可能是人类有史以来发生过的最好的事情,但如果我们不小心行事,也可能是最糟糕的事情。
当前的 AI 监管主要集中于 " 评估风险和采取缓解措施 " 的组合上,这种组合很容易被大型公司钻空子,最终反而疏于了对最需要被监管的前型 AI 实验室的监管。超级对齐团队解散前,对于不同时间尺度的 AI 风险,OpenAI 有三个团队来分别应对。
" 对齐 " 或 " 超级对齐 " 是人工智能领域中使用的术语,指训练人工智能系统在人类需求和优先事项范围内运行的工作。2023 年 6 月 5 日,超级对齐 AI 团队首次对外宣布成立。这支团队的使命旨在 " 解决如果公司成功构建 AGI,实际上会出现不同类型的安全问题 " ——也就是 AI 智能水平不断提高后未来可能出现的安全问题。
师从人工智能教父 Geoffray Hinton 的 Ilya 是坚持安全第一的安全派。2016 年,Ilya 以联合创始人、研究总监的身份加入 OpenAI,并于 2018 年担任首席科学家。研发期间,Ilya 一直在关注 AI 大模型的安全问题。
Sam Altman 则是商业派,致力于开发 " 更闪亮的产品 ",与谷歌等竞争对手的卯足了劲较量。在他看来,AGI 的安全治理问题优先级远远不如推出 " 闪亮的产品 "。虽然 Altman 在采访中屡次表示对安全问题的重视,但就实际操作而言,算力资源的天平在不断向着研发的一侧倾斜。对于 Altman 来说,相对于未来态的安全治理,如何加足马力在当前的这场 AI 竞赛中拔得头筹显然更为重要。
对此,OpenAI 的前员工、超级对齐成员之一 William Saunders 在 Less Wrong 论坛上表示,对 OpenAI 能否在 AGI 时代负责任的行动失去了信心。
William Saunders 并非个例。对 OpenAI 未来 AGI 安全部署工作的失望成为超级对其团队不少人离开的关键要素。不少人认为,Ilya 出走很可能是已经看到了 AGI 的安全隐患。
OpenAI" 权力的游戏 " 还有几季?
在技术驱动的进步面纱下,未来安全团队被迫 " 重组 "。事实上,OpenAI 在安全方面的人事一直在不断 " 跳跃 "。
2021 年,GPT-3 的团队负责人 Dario 和 Daniela Amodei 因 " 对安全研究的优先次序 " 存在分歧而辞职,转身创办了 Anthropic。
同年,RLHF 的发明者兼安全研究主管 Dr.Paul Christiano 从安全团队中辞职,创办了一个非盈利性的校准研究中心。
2023 年 11 月,OpenAI 围绕安全问题爆发宫斗,Sam Altman 在被撤职 100 小时后重返 OpenAI。
2024 年,这场 " 权力的游戏 " 继续上演。
2024 年 2 月 15 日,安全研究员 William Saunders 在 EA 论坛上总结了自己在 OpenAI 作为超级对齐团队一部分的工作。表示已从 OpenAI 辞职。
3 月 17 日,Jan Leike 离职。Jan Leike 参与开发了 ChatGPT 的核心技术之一——人类反馈强化学习 RLHF,在其加入 OpenAI 后,从代码大模型 Codex、ChatGPT 的前身 InstrucGPT,到 ChatGPT、GPT-4,他都是重要贡献者。
4 月,Daniel Kokotajlo 在拒绝签署离职协议的情况下辞职,并在此后的媒体采访中公开表示 "OpenAI 正在训练更强大的 AI 系统,目标是最终全面超越人类智能。",自己已经 " 逐渐对 OpenAO 领导层以及他们负责地处理 AGI 的能力失去了信心 "。
4 月 11 日,安全团队的 Leopold Aschenbrenner 与推理团队的 Pavel Izmailov 因涉嫌信息泄密而被开除。安全研究员 Cullen O'Keefe 也离开了 OpenAI。
5 月 15 日,OpenAI 的联合创始人及首席科学家 Ilya 宣布离职,并在社交平台 X 上表示自己将开启 " 接下来的计划——这个项目对我个人来说意义重大,我会在适当的时候分享细节。"
Ilya 宣布离开几小时后,Ilya 的同事,OpenAI 超级对齐团队联合主管 Jan Leike 光速宣布辞职,在 X 上留下两个字母:I resigned。Leike 自 2021 年加入 OpenAI,并于 2023 年开始领导超级对齐团队。在此后几天,Jan Leike 陆续在 X 上揭开此次出走的 " 内幕 ":" 我与 OpenAI 领导层在公司的核心优先事项上存在分歧已有一段时间,直到我们最终达到了临界点 "" 过去几个月,我的团队一直在逆风前行 "" 建造比人类更聪明的机器本质上是一项危险的工作……但在过去的几年里,安全文化和流程已经让位于闪亮的产品 "。他认为 OpenAI" 应该把更多的精力花在为下一代模型做准备上,包括安全性、监控、准备、安全、对抗鲁棒性、(超级)对齐、保密性、社会影响和相关主题,这些问题很难解决,我担心我们还没有走上正确的轨道。"
超级对齐成员之一 William Saunders,以及参与过 GPT-4 对抗性测试的 Daniel Kokotajlo,此前两人均已离开 OpenAI。
在诸多离职的人中,Daniel Kokotajlo 和 Jan Leike 属于敢直接批判 OpenAI 在安全领域和发展方向存在问题的 " 特殊群体 "。个中原因很可能是 OpenAI 的 " 封口协议 "。 根据 OpenAI 前员工 Kelsey Piper 爆料,OpenAI 的员工需签署一份带有非贬低协议的离职协议,如果拒绝签署,其拿到的股权获益将被取消。而 Daniel Kokotajlo 则拒绝签署这一协议。
在 Sutskever 和 Leike 退出后,OpenAI 向 CNN 证实,最近几周已开始解散其超级对齐团队,转而整合各个研究小组的团队成员。OpenAI 的发言人表示,该结构将帮助 OpenAI 更好地实现其超级对齐目标。事实上,该业务线新的领导者 John Schulma 此前是负责 OpenAI 现有产品的安全问题。而将纵向超级对齐团队横向合并也意味着,未来安全把关人在一定程度上的消失。
浮世新人换旧人,Sam Altman 在社交平台 X 上表达了对于 Ilya 离开的遗憾,表示 " 他走后的 OpenAI 不再和从前一样 ",但旋即又在同一条帖子宣布任命了新的首席科学家 Jakub Pachoki。此外,OpenAI 近日还聘请了在 Google 搜索广告业务工作了多年的资深人士 Shivakumar Venkataraman。
自此,OpenAI 的发展战略阶段性地实现了表面一致——以 " 党同伐异 " 的代价。
-
- 拆解满帮Q1财报:数字化带动物流业降本增效,持续创新兑现为订单高质增长
-
2024-05-27 21:39:12
-
- 从128元猛降至几十元!这种常用疫苗价格大跳水,民众会增加接种吗?
-
2024-05-27 21:36:56
-
- 王小川把枪口又瞄准了李彦宏
-
2024-05-27 21:34:40
-
- “挖人”成了车企捣鼓智能化的基本功
-
2024-05-27 21:32:25
-
- 汽车毛利率多少?海外收入如何实现大幅增长?AI方面有啥进展?一文了解小米电
-
2024-05-27 21:30:09
-
- 悬疑逐渐成为外壳后,罪案推理剧如何洞察人性与社会?
-
2024-05-27 21:27:53
-
- 拥抱未知,BEYOND 2024 国际科技创新博览会现场巡礼(二)
-
2024-05-27 21:25:37
-
- 小鹏一季度净亏13.7亿,牵手大众能助其摘掉亏损帽子吗?
-
2024-05-22 05:43:45
-
- 罹难的伊朗总统莱希:对美态度强硬,曾是最高领袖的有力继任者
-
2024-05-22 05:41:29
-
- 提车不到1个月,小米SU7两次高速智驾失灵!涉事车辆已回购,“故障还需检测
-
2024-05-22 05:39:13
-
- 中东这两件大事,震撼整个世界
-
2024-05-22 05:36:57
-
- 跟风叫板的发贴者来了,“中通客车1:20拉涨停”,中文在线、新华联上也有相似
-
2024-05-22 05:34:41
-
- 四川一落马干部贪腐细节:用办公室打印机营利,果蔬猪肉、现金照单全收
-
2024-05-22 05:32:25
-
- 为了打造「最轻薄」,新 iPad Pro 内部设计用了更多胶水
-
2024-05-22 05:30:10
-
- 将获10亿美元投资,高合汽车开启重组,离场新势力5月扎堆复活
-
2024-05-22 05:27:54
-
- 是真的!国际天后蕾哈娜去上海摊煎饼了
-
2024-05-22 05:25:38
-
- 做多京东阿里,次贷“大空头”终究“爱上”中国公司
-
2024-05-22 05:23:22
-
- 广州农商银行下属村行年亏损2100多万,刚收到百万罚单
-
2024-05-21 02:50:05
-
- 全球股市到处都在“创新高”,但大机构却已开始买长债了
-
2024-05-21 02:47:48
-
- 一觉醒来,伊朗发生重大事件
-
2024-05-21 02:45:32