有预言家,A社研究蓝图曝光,Claude Code来自5年前
不er,这是从未来穿越回去的吗??
一起版权纠纷,导致Anthropic一份2021年7月的内部研究规划意外出现在公众视野。
文件篇幅很短,核心内容只有寥寥数页。
但当我逐字阅读这份当时标注着“最高机密”的文档时,整个人都愣住了(不是夸张)。
今天大家熟悉的Claude Code、工具调用(Tool Use)、AI自我评判(Self-Judging)、测试时计算(Test-time compute)、乃至万亿参数级别与超长上下文……
早在五年前,这家刚脱离OpenAI数月、团队仅有十几人的初创公司,就已经将这些内容白纸黑字地记录了下来。
五年前的规划蓝图
很多人觉得,大模型从聊天机器人进化为能写代码、操控系统的智能体,是近两年技术成熟后的自然结果。
这个想法并不准确。
在这份2021年的规划文件开篇,Anthropic就为其终极目标(安全、有益的通用人工智能)设定了非常明确的原型定义:
打造一个能通过自然语言与人类互动,用于创建、编辑和解析软件的通用AI助手。
所谓的通用AI助手意味着什么?
意味着它能回答各类问题、编写函数、定位缺陷、设计接口、探讨代码风格与最佳实践。
更令人惊讶的是紧随其后的描述:
它需要展现出与软件工程师同事相当的所有能力。
等等,这不就是Claude Code吗??
当GPT-3刚刚引起轰动、人们还在惊叹AI能创作藏头诗时,Anthropic就已经跳过了简单的代码补全逻辑,直接瞄准了完整的软件工程代理。
不仅如此,在具体实现路径上,团队内部还爆发过一场精彩的讨论。
研究员Andy Jones在批注中提出了核心分歧:我们究竟应该优先打造一个实用的编程助手,还是先验证工具调用的可能性?
当时摆在他们面前的是两条路径:
实用路线:开发代码仓库检索功能,让AI能够检索项目的类型定义。顺便一提,GPT-3论文的第一作者Tom Brown也参与了讨论,建议从代码仓库浏览入手。
第二条则是——
研究路线:实现printf调试、编辑器操作,先证明模型能够操控工具。
最终由CEO Dario做出决定:
短期内先验证工具调用的可行性,长期再逐步演变为体验极佳的编程助手。
现在回看Claude Code的发展路径,完全遵循了Dario当年的这个决策。
自我评判、万亿参数与超长记忆
除了编码智能体,这份蓝图还包含对底层技术的预判。
例如在预训练部分,2021年的他们就明确写下要训练1万亿参数及以上的超大规模模型,并探索超长上下文,或者其他能够容纳海量记忆与经验的机制。
在那个175B参数还被视为庞然大物的年代,他们就已经将万亿参数和超长记忆视为基础配置。
更令人惊叹的是在人类反馈与对齐部分。
文档中赫然写着:
模型自我评判。
2021年,他们就已经在研究如何让模型评估自身行为与输出质量,如何将模型的判断作为反馈信号。这正是今天AI反馈机制和推理模型自我纠错的核心思想。
更有趣的是,文档甚至出现了后来大模型研究中极为重要的概念:
测试时计算。
当然,当时这项研究被置于对齐和判别器研究的语境中,距离后来o1式的推理计算扩展还有一定距离。
但至少说明,早在2021年,Anthropic的研究视野就已覆盖了模型训练之外的计算投入。
不得不说,Neo Lab确实有料,难怪Ilya会感到震惊。
不知道现在的顶尖实验室,每天又在经历什么。
内部的紧张时刻
当然,既然是A社,就避免不了讨论安全问题。
但我发现,这群人是真心热衷于讨论安全,花费了大量篇幅。
作为一家以安全为根基的公司,Anthropic在2021年就已经预见到了今天智能体遍地开花时可能面临的困境。
联合创始人Sam McCandlish在批注中提出了一个核心问题:
如何安全地部署没有沙箱隔离的工具?
Dario紧接着补充道:
具体来说,就是在部署时执行代码的工具!
(注:原文确实有感叹号,Dario就是这么充满激情)
太神奇了。
当AI真的能在宿主环境中运行代码、调用Shell、修改文件时,一旦失控或被提示注入,后果不堪设想。
今天全网热议的智能体权限提升、环境逃逸、数据污染,人家2021年就已经在讨论沙箱边界了。
或许正是因为他们从一开始就打算走这条路。
对了,Amanda也出现在这份报告中,就是前段时间比较火的A社内部哲学家。
她非常严肃地指出:
如果我们在自然语言上进行对齐研究,却主要在代码领域推进模型能力,我有些担忧。这两类研究必须始终保持紧密联系。
如果我们不在能力提升的领域进行对齐研究,就会限制对齐测试的有效性。这可能导致连锁反应,比如因为早期没有整合,对齐研究直接变成了孤岛。
她甚至直接提议确立一条公司原则:
各领域的能力研究与对齐研究应该按比例同步推进,除非我们能给出充分理由说明为什么要分开。
一个额外信息
唉,我就说A社怎么老能压OpenAI一头,原来是存在先发优势。
Anthropic这五年是坚定不移,死磕高质量代码信号、强化学习和企业工作流;
而OpenAI则多线作战,做文生图、搞Sora视频、做语音助手、做搜索,多少分散了精力。
不过,就在大家还在复盘两家技术路线差异时,OpenAI那边突然曝出了一个比好莱坞电影还离谱的惊人大瓜——
家人们,OpenAI有内鬼啊!!!
根据美国联邦检察官公布的起诉书,35岁的OpenAI前产品团队工程师Abdulrahman Alfozan已被正式解雇并面临联邦刑事指控。
这个人干了什么?
他在OpenAI旧金山总部高管专用的核心会议室里,将一个带有高级加密和数据传输功能的窃听设备,用卫生纸包裹着,悄悄插在了电视机背后的USB接口上。
要知道,这个会议室是Sam Altman等高管进行核心闭门会议的地方,平时讨论的全是超级智能研发机密、未公开产品规划和政府合作简报。
结果,这么容易就被入侵了。
世界真是个草台班子啊。。。
PDF:
https://i.smitop.com/concise-research-roadmap.pdf
本文来自微信公众号“量子位”,作者:Jay,36氪经授权发布。