• 正文
  • 相关推荐
申请入驻 产业图谱

OpenAI Tibo 深度访谈精华摘要与完整版内容:决定AI产品胜负的,从来不只是模型

2小时前
194
加入交流群
扫码加入
获取工程师必备礼包
参与热点资讯讨论

Matthew Berman最近采访了OpenAI Codex负责人Tibo,主要聊了Codex、Agent、下一代模型,以及OpenAI接下来的产品方向。以下为核心观点及采访全文:

Part1 10个核心观点

Google曾在ChatGPT发布前一年做出内部聊天产品LMChat,却迟迟没有推向公众。Tibo认为,研究成果能否快速变成产品,组织文化和决策速度非常关键。

OpenAI强调自下而上的创新。员工可以提出想法、迅速组建团队并推出产品,同时还要保持产品简洁,避免功能越来越多却失去统一方向。

下一代智能体将逐渐摆脱Skill文件、记忆管理和子智能体调度等复杂操作。它需要真正理解用户、目标和团队,并在保持连贯体验的情况下主动完成工作。

模型能力正在超过个人电脑的承载范围。未来的云端智能体可能同时调用大量应用和计算资源,笔记本电脑将成为限制模型发挥的瓶颈。

Ultrafast与语音交互结合后,AI的工作速度可以接近甚至超过人类。开发者不再需要同时启动十几个智能体并反复等待结果,而是可以持续专注,实时查看原型并调整方向。

OpenAI同时推进两类产品。个人AGI会理解每个用户并配合其工作节奏,自动化系统则可以接管日志分析、性能优化和漏洞修复等复杂流程,只把高风险操作留给人类审批。

ChatGPT与Codex最终会成为同一个产品。统一的个人智能体将根据用户需求自动调整界面和能力,无论用户是程序员、设计师,还是完全不懂技术,都不需要提前选择产品类型。

面对Anthropic的竞争,Tibo没有直接比较两家公司。他认为OpenAI的优势来自高性能模型、效率优化、庞大的ChatGPT用户群,以及把开发者能力迅速提供给普通用户的能力。

OpenAI重置用量额度最初是为了补偿服务故障和不理想的使用体验,后来也被用于庆祝产品节点和鼓励用户尝试新功能。算力储备和效率提升让这种做法成为可能,Luna的价格降低了80%,整体运行速度也比三个月前提高约60%。

OpenAI已经让模型参与优化推理系统、CUDA内核和基础设施,这被视为递归式自我改进的早期形态。Ultrafast在代码生成等任务中可接近十倍提速,Tibo预计一到两年后,这种速度可能接近默认配置,并逐步向更多用户开放。

Part2 完整版对话视频&文字

Tibo:我想什么时候按这个按钮都行,只要我觉得时机对了。

Tibo:我通常不太关注竞争对手。我更在意的是:哪些事我们能做得特别好?我们的价值观是什么?怎样才能以最快速度朝那个方向推进?

Tibo:也许再过一两年,这样的速度即便还不是默认水平,也会非常接近默认水平。再看看Luna的成本,低得惊人。技术往往会随着时间推移变得越来越高效。我们非常重视让更多人都能用上,也在努力提升用户从每次交互中获得的实际价值。

Matthew Berman:我听说现在真有一个实体按钮了。

Tibo:对,真的有。回头我拿给你看,特别酷。

Matthew Berman:Tibo,非常感谢你来接受采访。

Tibo:当然,很高兴来到这里。

Matthew Berman:对,我也很期待和你聊聊。

1、Tibo从Google DeepMind得到的经验与教训

Matthew Berman:我想先从你在Google的经历聊起。你当时在DeepMind团队。ChatGPT出现前,Google内部有一个叫LMChat的项目。你之前发帖说,Google因为顾虑太多,没有发布它。DeepMind也被禁止推出可能冲击Google业务的产品。我经常会想起这件事。那时离ChatGPT真正改变世界还早。你一边做这些产品,一边在想些什么?

Tibo:那是一段非常令人兴奋的时期。DeepMind当时是一个很有创造力的地方。我的专长主要是用基础设施和产品来加快研究进程。当时显然有一支团队在研究语言模型,并不断扩大模型规模。后来他们取得了相当不错的成果。于是大家很自然地想到:能不能把它做成一个既能和人对话、又能完成各种任务的工具?LMChat这样的想法也就自然而然地出现了。它一开始只供内部使用。后来大家希望把它做成一个公开可用的工具。

Matthew Berman:这是哪一年?

Tibo:大约是在ChatGPT发布前一年。当时我们还在做各种其他项目,不过那些我就不谈了。总之,那里是一个很有创造力的地方。只是DeepMind的组织方式并不适合把产品真正推向市场。OpenAI在这方面非常不一样。在这里,研究和产品团队合作得非常紧密。我们会一起想点子。也会共同设计很多东西。我们非常倾向于尽快把东西做出来,也非常希望让大家真正用上。这一点我很喜欢。吸引我来这里的,正是使命、团队,以及这里很高的人才密度。OpenAI确实还有很多很棒的地方。

Matthew Berman:你参与LMChat时,是否已经意识到它很特别,或者以后会变得很特别?

Tibo:当时确实觉得它很特别。那几乎是你第一次意识到,模型不仅能生成连贯的文字,还真的能帮上忙。一开始,它带来的乐趣多过实际帮助。但后来,它变得越来越有用。

Matthew Berman:你说自己经常会想起那段经历。这点我能理解。在很多方面,Google是自己挡住了自己的路。你在那里学到了哪些经验,并把它们带到了OpenAI?

Tibo:是的。这就是我常常想起那段经历的原因。我会从团队文化和OpenAI整体文化的角度思考:哪些优点应该保留,哪些做法不能重演。OpenAI的文化很强调自下而上。它会给人很大的自主空间。大家可以提出各种想法,找到合适的人一起做,然后很快把东西做出来。新产品创意在这里遇到的阻力通常很小,整个过程既让人兴奋,也很有意思。大家的目标都是以积极的方式影响世界。所以,对我来说,保留这种文化非常重要。另一件同样重要的事,是别把产品做成一团乱麻。你不会希望各种功能东拼西凑,整体上却没有方向,也缺乏一致性。所以还要用简洁性和对产品品质的坚持来与之平衡。我认为ChatGPT的iOS应用是目前最好的应用之一。所以这些优点我们希望继续保留。我们也投入很多精力,让产品用起来更愉悦,同时提升性能和效率,并保持简洁。也就是说,我们既坚持这些总体原则,同时也让每个人都能尝试新东西,并迅速推出成果。

2、OpenAI如何打造持续推进的执行文化

Matthew Berman:如果让你给创业者一些建议,告诉他们怎样培养这样的文化,OpenAI内部有哪些比较具体的做法或机制值得他们借鉴?

Tibo:我认为,首先要有信念,还要想办法尽早获得用户,根据用户反馈快速迭代,同时也愿意主动颠覆自己。这一点对初创公司未必那么突出,但对OpenAI这样的公司非常重要。我们一直会产生新的研究成果和新想法,关键是判断什么时候应该投入资源,即便这可能意味着要从主线业务中调走一部分资源。

Matthew Berman:这真的很难。

Tibo:确实很难,但能做到这一点又极其重要。

Matthew Berman:对,这正是你刚才谈到的Google当时面临的问题。他们没能做到这一点。明白了。

Tibo:公平地说,他们有自己的计划,整件事都在一个更大的规划之中。但对我来说,那里并不适合我。

Matthew Berman:OpenAI或任何公司发展成熟之后,要继续保持快速推出产品、并愿意自我颠覆的文化,会不会变得更难?尤其是当一项核心业务正在源源不断地赚钱,另一边又出现了一个可能很酷、也很有创新性的全新方向。

Tibo:我们始终着眼于未来。AI的未来会是什么样、怎样造福人类,并不会停下来等待,也不会在意你未来一到三个月能建立起什么。所以非常重要的一点,是主动拥抱变化,清醒地看到趋势,弄清楚它会走向哪里,再想办法摆好自己的位置,这样才能赶上那股浪潮。即便在OpenAI,我们也是先训练出模型,再逐步发现它具备哪些能力。基准测试无法告诉你全部答案。我们必须花不少时间亲自试用模型,才会慢慢意识到:“原来还能以这种方式从中受益”,或者“原来它还可以做这件事”。接着你就会发现:这意味着我们思考产品的方式也要改变。比如我们刚刚推出了新版ChatGPT Voice,和它对话的体验非常愉快。交流起来很自然。现在它也能使用工具了。这就改变了很多事情。现在我会花更多时间直接和它说话。我还经常用语音输入,因为语音识别效果非常好,效率也高得多,比自己敲提示词方便多了。所以早上我就拿着手机坐在那里,一口气说上一大串。也就是给ChatGPT交代几件要做的事。

Tibo:然后它会直接去做,因为它能访问我的各种工具。在语音模型真正足够好之前,这种用法是不可能实现的。所以它一下子改变了你思考产品的方式。

3、Astra与下一代模型

Matthew Berman:好,我们继续聊聊新模型和新的智能体框架。几周前你又发了一条帖子,我还是从它说起,因为你的这些帖子都很有料。“再过两三个月,现在的Codex看起来会很原始。”“我们即将经历又一次重大演进。下一代模型需要的资源将不止一台笔记本电脑。”我们先聊智能体框架。随着模型变强,框架中还有哪些地方值得创新?

Tibo:太多了。刚才我谈到了语音,其中一点是——现在,如果你是Codex或其他编程智能体的熟练用户,大概已经习惯了它有些不够顺手的地方。比如,你得管理skill文件,把它们当作教智能体学习东西的一种方式。但问题是,很多人已经发现,这些文件时间一长就很难维护。记忆功能确实存在,却不一定什么都能记住。如果你用了子智能体,还得操心这些子智能体,最后像是在自己搭建一个小型网络。因此,你在使用过程中经常会被打断那种“它是一个完整伙伴”的感觉。你真正想要的,是一个能深入理解你、理解你的目标,了解你的日常,也知道你的团队每天在做什么的东西。它最好既能恰当地回应,也能主动行动,在日常工作中随时帮到你,同时不破坏那种连贯的体验,就像一个近乎完美的小搭档。这正是我们努力的方向。拥有非常强大的模型后,你还会发现另一个问题:笔记本电脑本身会成为限制。笔记本电脑从设计之初就是给人用的,它能处理的工作量也是按人的需求设定的。

Tibo:它大致只需要承接一个人所能产出的工作量,包括你打字和思考的速度,以及你需要同时打开多少个应用。这些都是人的限制,模型却没有同样的限制。比如,将来模型也许可以同时处理一百个打开的应用,而且毫无压力。所以从资源需求来看,未来的模型显然需要调用超出一台笔记本电脑范围的资源。

Matthew Berman:我猜你说的是云端智能体。这样一来,如果再用上我们稍后会谈到的Ultrafast,Token生成速度能提高十倍——官方说法好像是十四倍——相较普通的Fast模式,原来的带宽瓶颈就会发生变化。这时CPU会成为新的瓶颈。工具调用、网络调用以及各种额外开销,都会变成整套系统的限制因素。不过你也可以通过并发处理多个任务来弥补。比如让它同时做几件事:一边探索,一边写测试、编译,再同时验证一个新假设。这样一来,你只是把瓶颈转移到了别处,因为并发能力变强了。模型则能非常高效、快速地完成这些思考。以现在的Token生成速度,我经常会同时启动十到十五个智能体。但频繁切换上下文会给我带来相当大的认知负担。因为任务启动后,通常要等三十到四十五分钟才会返回结果,期间你得不断来回查看。换成Ultrafast后,整个工作方式会发生很大变化。我可能根本没法同时照看十到十五个智能体——这也许反而是好事,可能一次只用三四个。

Matthew Berman:你认为独立开发者的工作方式今后会怎样变化?

Tibo:是这样。

4、AI的快速演进如何改变开发者工作流

Tibo:怎样管理人的注意力,让产品更适应人的注意力分配,是我们非常重视的问题。毕竟,我们是在为人类做产品,希望打造最能增强人类能力的技术。因此,设计时就必须考虑,人能否同时处理多项任务,以及希望怎样安排自己的注意力。一件事应该现在提醒你,还是三十分钟后再提醒更合适?当Ultrafast再和语音结合起来,你会突然发现:它的工作速度已经和你一样快,甚至比你更快。你可以一直保持专注,边想点子,边看原型,还能实时生成一些简短报告。这种体验非常好。你会觉得,以前那种同时管理十个智能体的方式,我真的不想再回去了。我们想带来的,就是这种自然、为你量身打造的体验:不需要你适应技术,而是技术来适应你。

Matthew Berman:过去几个月,大家讨论了不少智能体编程方法。循环架构以前很流行,现在也依然有人用;最近我又听到图结构。这些方法是不是都在帮助独立开发者更好地安排注意力?我很喜欢你刚才的这个说法。

Tibo:我会把问题分成两类。第一类,是打造最好的个人AGI,也就是能和你保持同一工作节奏的个人智能体。它会主动行动,发现重要的新想法时及时提出来,并非常高效地准确完成你想要的事情。无论是技术问题,还是研究、建议之类的任务,它都能做,而且会高度贴合你的个人需求。这一点非常重要,关键在于它真正理解你,理解你是一个独一无二的个体。这是第一类问题,我们正在全力推进。另一类问题是全面自动化,也就是构建能够接管复杂流程的智能系统。这些流程可能确实需要智能,看起来也十分复杂。比如,查看生产日志并自动进行性能优化,发现性能回退后自动修复。网络安全中也有类似场景:扫描器发现一个漏洞后,系统能不能自动打上补丁,把暴露窗口缩短到接近于零?整个过程都不需要人工参与。或者只保留极少的人工介入,让人只审批高风险操作。其余部分基本由系统自动完成,也不要求你始终直接掌控每一步。

5、ChatGPT与Codex的融合

Matthew Berman:下面我想稍微换个话题。过去几个月,ChatGPT和Codex一直在走向合并,逐步汇入同一条产品路线。我想先问问,这项工作进展得怎么样?公司内部是什么感受?客户给了你们哪些反馈?

Tibo:总体来看,这次合并带来了很大好处。一开始,大家会问:“为什么要把它们合并?”“真的非合并不可吗?”但我们的下一代模型本身就要求两者走到一起。所以我们决定直接去做,因为这才是最简单、最合理的方向。我们要打造的是一个非常懂你、能力极强、能在各方面帮助你的个人智能体。底层用的将是同一套技术。智能体框架也相同。我们思考产品的方式同样一致。它会具备很强的多模态能力,以语音交互为主,而且效率极高。你是不是在编程,并不重要。这个智能体什么都能做,而且会以最高效的方式完成。你需要的界面,应该能够根据你的需求自动调整。你不该被迫先做选择:“我是程序员,所以要用程序员界面。”或者:“我不懂技术,所以要用非技术用户的界面。”人们并不是简单地分成几类,而是分布在一个连续谱上。“软件工程师”“设计师”这类标签,只是因为现实过于复杂,人们为了便于理解而做出的抽象。每个人都是独特的,也处在这个连续谱的不同位置。所以我们要做的是一个能适应所有人的理想界面。

Tibo:无论你懂不懂技术都没有关系,它会根据你的独特需求进行调整。这就是我们选择合并的原因。

Matthew Berman:那么,最终是不是必然只剩下一个统一界面,不再用下拉菜单选择不同产品?一想到我妈妈可能会和我使用完全相同的界面,确实挺不可思议。当然,它会根据我的需求进行定制。如果我在做更复杂的工作,可能需要它展示更多信息。但在你看来,最终形态究竟是什么?

Tibo:没错。就是同一个产品。你和你妈妈会使用同一个东西,它就是你们各自的个人AGI。你们交给它的任务会完全不同,从中获得的价值也不一样。你们会把它连接到生活中不同的工具。每个人带来的想法和需求也各不相同。它会不断根据你的情况调整,尽可能帮到你。对你的朋友和其他所有人,它也会这样做。

Matthew Berman:我想回到你刚才说的一点。你几次提到过这种“完整、连贯的体验”。在那种最终形态下,普通用户理想中的这种体验是什么样?如果设想几年后的场景,AI与人的互动会是什么样?

Tibo:在我看来,它应该高度贴合人类本身。这也是大语言模型如此成功的原因。它使用的是自然语言。自然语言本来就是人类的概念。我们早已习惯彼此交谈。如果你明天写封信给我,我当然能看懂。我们现在已经相当了解彼此。所以如果你写信给我,我还能读出其中的一些情绪和细微含义。这些都深深植根于人性。所以我们打造的技术,也植根于人类沟通和做事的方式。不应该出现这样的情况:它误解了你,只因为没能读出你语气中的细微差别,或者没理解你写下那段文字时真正想表达的意思。我们希望避免这种情况。所以我们不是要让人适应技术,而是要把技术打造得像人类现有行为方式的一种自然延伸。

Matthew Berman:人类沟通中有很大一部分是非语言的。比如我的手势、面部动作。你觉得未来AI会在多大程度上感知或读取这些信息,比如通过视觉?这件事真的重要吗?因为你目前描述的仍然只是文字交互。对我们这些伴随互联网长大的人来说,用文字交流、再通过文字中的细节表达真实含义,已经非常自然。但让AI读懂人的表情、手势等信息,仍然重要吗?

Tibo:我认为重要。在我设想的未来里,我们做的产品会融入周围环境,交互非常自然。比如我明天去办公室,在白板上写下一个想法,它也应该在场并能理解;或者我问它:“这个想法怎么样?”接着我们就直接通过语音自然地聊起来。新版ChatGPT Voice发布后,使用量增长得很快。现在,通过ChatGPT Voice与产品交互的用户数量正在迅速增加。我认为这里的规律是:每当产品朝更自然的交互方式迈进一步,人们就会选择阻力最小的那条路。像你说的,在一个小输入框里打字,对我们中的一些人也许很自然,但并非人人如此。只要出现一种更容易一点、体验更好一点的方式,人们往往就会转而使用它。

6、OpenAI与Anthropic

Matthew Berman:好。首先恭喜你们。我看到你今天早上发帖说,Codex用户已经达到两千万。那条增长曲线原本还比较平,后来突然直线上升。再次恭喜。我想聊聊你们与Anthropic的竞争,因为很多人认为,OpenAI和Anthropic是目前行业中最主要的两个竞争者。有一段时间,Anthropic几乎抢尽了所有风头。当时他们占据明显优势,但后来局面突然变了。你怎样看待现在的市场?

Tibo:目前我们真正专注的,是打造能力最强的模型,让模型拥有极高效率,同时认真为所有人做好产品。我认为OpenAI很擅长的一点,是始终关心这项技术会怎样影响整个世界,也关心怎样把如此强大的技术交到尽可能多的人手里。我们合并Codex和ChatGPT,也是出于同样的愿望:既然已经有了这项技术,我们就可以让它更安全、更容易使用,让产品经理、设计师,以及销售、市场、公关等各类用户都能用上这些能力,再通过ChatGPT迅速把这些能力提供给更多人。ChatGPT已经拥有庞大的用户群。这也是推动你刚才提到的增长的重要原因。我通常不会过多关注竞争对手。我更关心的是:哪些事我们能做得特别好,我们的价值观是什么,以及怎样以最快速度朝那个方向推进。

Matthew Berman:好,我还想再追问一点。我知道你不太关注Anthropic,但很多人会想:我更相信哪一个产品?我的二十美元或两百美元订阅费该交给谁?从市场定位、品牌、OpenAI的表达方式,以及它与开发者和更广泛用户的互动来看,你认为OpenAI与Anthropic有什么不同?

Tibo:我最关心的,仍然是和社区一起为整个世界做产品,让所有人都参与进来。你可以从我们高度透明的做法中感受到这一点。我们会吸收社区里的许多想法。老实说,这个过程本身也很有意思,因为我们同样会从社区获得很多动力。我们并不是只为自己打造这项技术,也不是只想用它来加速OpenAI自身的发展。这件事和我们的使命都非常重要,我们的动力也来自这里。所以整件事让我觉得很踏实,也很有乐趣,好的结果也会随之而来。

7、OpenAI为什么不断重置用量额度

Matthew Berman:那我们就聊聊这些好结果。Tibo,我想先谈谈重置用量额度这件事。怎么说呢,因为这件事,现在大家几乎会盯着你发的每一条帖子。再看Codex的增长曲线,我有个也许有点傻的问题:这些重置额度的做法,有多少是在为市场推广和增长助力,又有多少只是为了向开发者社区表达善意?

Tibo:答案也许有些反直觉。OpenAI是一个非常……是一个允许你直接动手做事的地方。最初我们还在迭代,偶尔会把东西弄坏,所以给用户补偿就很合理。有时也可能是某个配置出了问题,体验没有达到我们的预期。这时我们会说:“感谢你尝试这个产品。我们真的在很努力地把它做好,而且现在还处在早期阶段。这次可能是我们造成了半个小时的服务异常,所以多补给你一些用量。”我们知道这个产品对你很重要,你也很依赖它。谢谢你愿意成为我们的用户。这就是重置额度最初的由来,直到现在,我也仍然用同样的标准来处理。如果产品被我们弄坏了,或者体验不理想而我们还没完全找到原因,就应该补偿用户。我们会重置用量额度。后来,这件事的声势越来越大。你也看到了,现在甚至真有一个专门的重置按钮。但按下这个按钮并不需要经过多少评估或审查。这也不是市场或财务部门协同策划的活动。我想什么时候按就什么时候按,只要觉得时机对了。我们的原则是,要努力打造真正出色的产品;如果没有做到,就要想办法弥补。

Matthew Berman:不过我仍然认为,这件事确实为社区积累了很多好感,至少在一定程度上也促进了增长。真正关心用户,会带来很大影响。你可以只是嘴上说关心,也可以用行动表明:我们真的在乎。如果产品出了问题,我们会真诚道歉,也会告诉用户我们准备怎样弥补。这有点像Amazon的退货政策。只要你有任何不满意,都可以直接退回来。你们也在为OpenAI建立类似的文化和用户印象。如果我们犯了错,那就把用掉的Token额度还给你,或者直接再给你一批新的Token。我真的很欣赏这种做法。

Tibo:有时我们也只是想庆祝一下、纪念某个时刻。这时,我们也可以送出一些更有意义的东西。我们一直在发布新功能,而且会尽可能扩大开放范围。但有时我们还希望整个社区一起参与,会对大家说:“来试试这个新功能。你还没用过Ultrafast?这里多给你一些用量,可以现在试试看。”

Matthew Berman:我听说现在真的有一个实体按钮。

Tibo:对,确实有。

Matthew Berman:采访结束后你一定要拿给我看看。

Tibo:我会给你看,真的特别酷。

Matthew Berman:不过,要经常重置额度,前提是你们做了充足的算力容量规划。你必须有足够算力,才能承担这么多次重置。说到算力,我想聊聊自我改进。几周前,应该就是几周前,你们发布了一篇文章,其中提到Sol优化了Luna的效率。你们把Luna的价格降低了80%,Terra也降了价。Luna的这次降价,有多少来自实际挖掘出的效率提升,又有多少是因为你们的算力容量规划做得非常好?所以你们可以直接降价,因为利润空间足够,同时又希望更多人使用。换句话说,算法优化和战略规划分别贡献了多少?

Tibo:我们确实提前规划了算力。回头看两年前,当时有人质疑OpenAI为什么要在算力上投入那么多。事实证明,那是一次极其成功的押注。对,现在我们很庆幸手里有这些算力。其中很大一部分用于研究,让我们投资未来,训练出越来越好的模型。另一部分则用于提升现有模型的效率。现在非常令人兴奋的一点是:当最先进模型的能力边界被进一步推高,我们就可以利用这些模型,迅速找出更好的推理服务方式,或者重构、重新设计整套技术栈,取得显著的效率或性能提升。所以,我们提升的不止一个方面。之后我们也会发文详细介绍。我们不仅改善了成本效率,也提高了速度。即便不算Ultrafast,整体速度也一直在显著提升。

Matthew Berman:确实如此。

Tibo:如果画成曲线,你会看到现在获得的整体速度比三个月前大约快了60%。我们正在逐一优化技术栈的每个部分,确保设计和工程实现都最适合实际负载。正是最强大的模型,让一个很小的团队也能完成这些优化。所以,每当我们获得显著的效率提升和成本优化时,我们的承诺都是继续把性能与成本维持在前沿水平,而不是把这部分效率收益留给自己,而是与客户和用户分享。Luna的降价就是这样做的。

Matthew Berman:在公司内部,你们怎样讨论算力分配?比如,新模型研究、现有模型的效率优化和推理服务之间,会有哪些取舍和张力?

Tibo:我们通常从第一性原理出发。研究和产品各有一部分算力分配;在产品内部,也会做不同取舍。但这一次几乎算不上取舍,因为效率提升已经足够大。我们用同样的算力规模,就能承接非常显著的用量增长。

8、递归式自我改进

Matthew Berman:几个月前,在那篇降价文章之前,我看到你们发文谈到:一个模型可以训练下一代模型,或者帮助优化下一代模型。现在又看到Sol分析Luna的运行方式,并取得这些效率提升。在我看来,这很像递归式自我改进的早期阶段。你怎么看?现在发生的就是这件事吗?

Tibo:递归式自我改进显然是眼下的热门话题,人们通常会把它用于研究场景,比如让模型参与开发其他模型。而我们已经取得大量成果的方向,是用这些模型开发支撑模型运行的关键基础设施。这同样是一种递归式自我改进。它们本来就是同一套大系统。推理技术栈、硬件和计算内核,包括我们使用的CUDA内核,以及新产品和更高效的模型交互方式,都属于这套系统。

Matthew Berman:你刚才提到云端智能体。假如我们真正攻克了云端智能体这个难题,人的生产力也会大幅提高。这算不算递归式自我改进?毕竟,你也因此更容易从模型中获得价值。

Tibo:从某种意义上说是,但它更偏向基础设施层面,再把改进后的能力重新用于优化它自身。我们当然正在这样做。如果没有这样做,反而会很不合理。

9、引发“暂停训练”的风险

Matthew Berman:既然谈到了递归式自我改进,我还想问一件事。我记得Sam Altman说过,OpenAI暂停了最前沿的强化学习训练。你能谈谈这个决定吗?当时是怎样做出决定的?我们之前简短提过Hugging Face事件。还有哪些因素促成了这次暂停?当时的情况和内部讨论大概是什么样?

Tibo:这主要是研究团队负责的领域。OpenAI一直能够把资源投入到最重要的地方。随着模型能力提升,对齐和安全显然会变得越来越重要。因此在这些方面进行大量投入,对OpenAI来说很自然,也是公司长期坚持的方向。我们目前正在大幅增加这方面的投入。暂停也是必要的。它让团队和相关人员有时间真正理解系统,并加固各个部分,确保我们能够在有充分把握的情况下重启训练。只要有必要,我相信OpenAI今后仍会这样做。公司内部一向都能迅速做出这类决定。

Matthew Berman:解除暂停前,是否设定了一个明确目标,必须达到那个标准才能重启?还是说,等看到合适的状态时自然会知道?

Tibo:这件事由安全团队负责。整个过程既有讨论,也需要边推进边探索。不过,他们最终确实形成了一套比较清晰的原则;满足这些原则后,我们就处在适合重启的位置。

10、Ultrafast会成为默认模式吗?

Matthew Berman:我想回到Ultrafast。很多人还没有意识到,这样的速度究竟能带来什么。先从内部用例谈起。你们现在使用Ultrafast做哪些事情,而这些事情在Token生成速度达到这一水平之前根本不可能完成?

Tibo:我们经常在高风险、高时效的场景中使用它。比如发生服务中断时,事件指挥官和响应团队会获得Ultrafast权限,因为每一秒都很重要。所以,高风险场景正是我们使用Ultrafast的主要地方。还有一件挺有意思的事:如果某个团队在做非常关键的项目,或者他们认为自己的项目非常关键,通常都会申请Ultrafast。

Matthew Berman:Pets也属于这种情况吗?

Tibo:对,Pets。Pets还算不上极其关键的项目。不过我很喜欢自己的宠物,它一直在我的屏幕上。在办公室走一圈,你会看到大家的屏幕上都有自己的宠物。他们加入视频会议时也会这样。每次看到这些画面,我都觉得很可爱,也很开心。不过,Pets目前还不算关键项目。我们会继续维护它,也会好好照顾我们的Pets。但假设有人正在尝试一个新想法,他说:“我真的觉得这件事可能会很特别,我们必须试试看。可我们周一就得决定要不要把它放进DevDay。”那答案当然是:“直接用Ultrafast。”每个人的偏好不同:有人喜欢像刚才说的那样一次只专注一条线程,有人喜欢同时处理很多任务。喜欢多任务并行的人,从Ultrafast中得到的额外收益不会那么大。但也有人不喜欢频繁切换上下文。

Matthew Berman:你属于哪一类?

Tibo:我有ADHD,所以总是在不断切换上下文。

Matthew Berman:很有意思,我也有ADHD,但我其实一点也不想总是切换上下文。那对我来说非常困难。我更希望一次只专注两三件事。所以Ultrafast才让我这么兴奋。

Tibo:很有意思,我们在这点上正好相反。我在频繁切换上下文、不断做很多小决定时,反而状态很好。但有时我也想只专注于一件事。这时 Ultrafast 的体验非常好,因为它能让你一直保持专注,不会被等待打断。如果任务中没有太多工具调用,或者主要是在生成大量内容,Ultrafast的表现会特别好。比如你想快速做一个网站或电子游戏原型,需要写大量代码,它可以极快地完成,速度能达到原来的十倍。但如果任务涉及大量工具调用,额外开销会出现在网络等其他环节,或者智能体的执行链路中,因此你感受到的可能只有三到四倍提速,达不到十四倍。

Matthew Berman:我知道OpenAI员工的Token用量不受限。假如我也有无限Token,我一定会把推理强度调到最高,使用5.6Sol,或者当时最新的模型。同样地,我大概会一直开着Ultrafast。只要不用考虑成本,我就会想:直接拉满。公司内部也是这样吗?

Tibo:我们不会给所有人开放Ultrafast。很大一部分容量要留给外部用户和客户。OpenAI员工确实完全有能力把这些资源全部用光。比如耗尽生产环境里的所有GPU,或者把全部Ultrafast容量用完。我们确实能全部用掉,但不会这样做。所以我们会限制内部用量,只保留合理的部分。内部仍会使用它,以便理解和持续改进产品,也获得递归式自我改进的收益。但绝大多数容量仍然留给客户。

Matthew Berman:好,这很合理,谢谢。在OpenAI之外,这种速度能够实现的低延迟应用中,你最期待哪些?

Tibo:这个问题很有意思。我总体上非常期待的一类场景是非文字交互。比如,能不能直接在共享画布上操作?能不能创作内容、生成各种想法和不同图像,再从中选出一个,像互动式故事那样自己选择下一步,并迅速做出原型草图?然后你可以通过语音或文字实时调整这个原型,结果就直接出现在眼前。这会成为一个高度互动的创作过程,而这样的速度让它成为可能。工程师有时会坐在那里想:“我得设计整套系统,还要考虑各种权衡和需求。”但也许你可以先在一分钟内把它做出来,看看实际效果,再保持在工作状态中,更快地继续迭代。

Matthew Berman:我认为这种速度可以实现这样的工作方式。所以我猜Ultrafast的价格会明显高于普通速度。你觉得Ultrafast最终会成为标准配置,还是始终以溢价形式提供?

Tibo:这个问题很有意思。按照技术通常的发展规律,我认为它会随着时间推移,逐步向更广泛的人群开放。智能体完成任务的速度还会不断提高。我们每个月都能看到巨大的进步。这不仅取决于推理速度,也取决于模型能否用更少的Token完成任务。Sol在这方面明显优于Terra,而下一代模型会比Sol更节省Token,这并不意外。我们一直在推进这些优化,所以一切都会越来越快。推理、硬件,每一部分都在持续创新和提速。因此我认为,也许一两年后,这样的速度即便还不是默认水平,也会非常接近默认水平。不过,再往上一档的配置可能会一直存在,你可以投入更多硬件,也可以做出一些成本更高的取舍,

Tibo:换取额外收益。

Matthew Berman:Tibo,我最后通常会问一个

Matthew Berman:面向更广泛人群的问题。很多人对AI感到十分不安,担心工作被自动化取代、环境影响,或者只是对正在发生的变化本身感到不安。这一切让他们觉得很陌生。你会怎样鼓励这些人?

Tibo:我们从一开始就是在用ChatGPT为全世界做产品,并且始终高度重视效率提升,因为这直接关系到产品能否广泛普及,以及我们能给用户带来多少价值。服务成本越低,能做的事就越多,用户在日常生活中获得的价值也越大。现在它已经非常高效。以Luna为例,它是一个小得多的模型,效率高得惊人。但如果回到六个月前,它会处在能力前沿。再看Luna现在的成本,真的便宜得不可思议,非常惊人。

Matthew Berman:你们刚刚还和Replit做了一项合作,现在已经免费提供了。

Tibo:对,它被用在Replit的Free Mode中。这意味着,人人都能随时获得这样强大的智能。而这只有在我们不断推进效率时才可能实现:一月又一月,一年又一年地持续提升。所以我认为,现在处在前沿的能力,再过六个月,运行成本就会低得多。这就是我对这个问题的回答。技术往往会随着时间推移变得越来越高效。我们非常重视让更多人都能使用,也在努力提升用户直接从中获得的实际价值。

11、为什么每个人都应该尝试AI

Matthew Berman:如果一个人因为不安,连第一次尝试AI都不愿意呢?你会对他们说什么?你会怎样描绘一个AI帮助全世界的未来?

Tibo:其实不需要看得太远。ChatGPT已经能以非常贴近个人需求、深入日常生活的方式帮助人们。许多用户用它辅助写作,也会向它寻求个人建议或医疗建议。我们还推出了Health和Finance,我自己也经常使用。它们给了我很多支持,而这些支持通过其他方式很难获得。比如,它能让我在去见医生之前掌握更多信息。所以,看看身边就能发现它能带来的实际价值。和其他人聊一聊,看看他们怎样使用AI,又从中获得了什么,是一种很好的启发方式,也能让你开始思考AI可以怎样帮助自己。

Matthew Berman:Tibo,非常感谢你。

Tibo:谢谢。

Matthew Berman:感谢你抽出时间。

THE END

相关推荐