全部文章0

乔木博客未知作者··访问 1

AI 也有潜意识:Anthropic 第一次读到了模型没说出口的念头

原网页

AI 每次给你回答,你看到的只是它说出口的部分。

但在说出那段话之前,它的内部发生了什么?它有没有在"想"?它内心有没有一些念头,永远不会出现在输出里?

以前这个问题没有答案,只能猜。

现在 Anthropic 有了一个工具,让他们第一次能看见 AI 没说出口的话。

AI 也有"潜意识"

人脑有一个很有趣的特性:我们每秒处理海量的信息,但其中只有极小一部分能进入"意识",成为我们能说出口、能主动调用、能拿来推理的东西。

神经科学里有一个理论叫做全局工作空间理论(Global Workspace Theory),说的就是这件事。

大脑由很多专门化的处理器并行工作,但只有进入那个"全局工作空间"的信息,才能被大脑广泛调用,成为有意识可访问的内容。

Anthropic 的研究员们做了一个大胆的猜测:大型语言模型里,会不会也有类似的结构?

答案是:有。

这个研究发表于 2026 年 7 月,由 Anthropic 十几名研究员联合完成。(之前媒体也有报道)

https://arxiv.org/abs/2607.15495

核心发现是:大语言模型内部存在一个小而特权的表示集合,功能上几乎完全对应人类的全局工作空间。

他们把这个空间叫做 J-space。


一个 X 光机,叫做 Jacobian Lens

要找到 J-space,首先需要一个能"读"出模型在想什么的工具。

Anthropic 发明了一个叫 Jacobian Lens(J-lens) 的可解释性技术。

逻辑不复杂:在模型处理一段文本的任意中间层,J-lens 能算出当前这个激活向量,如果被允许"说话",它最可能说出哪些词。

换句话说,J-lens 读的是模型想说但还没说的内容。

这和之前的 logit lens 技术有个关键区别,logit lens 直接把中间层的激活向量投影到词表,在早期层完全乱码,只在最后几层才有意义。

J-lens 则先算出每一层的"平均线性映射"(跨越大量文本的平均 Jacobian 矩阵),再用这个矩阵来解读中间层,所以在早期层也能读出清晰的内容。

一句话概括这个差别:logit lens 只能听懂模型临出口那几秒的话,J-lens 能听懂它整段思考的过程。

研究团队在 Sonnet 4.5 上做了一个演示:让模型"数到五,同时深度内省"。

模型的输出很正常,就是数了一二三四五。

但 J-lens 读到了更多:模型在数数的同时,内部空间里漂浮着 counting(记数)、halfway(中途)、done(完成)、thoughts(思想)、AI、claude、consciousness(意识) 这些词。

表面上它在数数,"心里"却同时在想别的。

J-lens 在实际场景中的读取案例,展示模型识别人脸、代码 Bug、蛋白质功能等中间推理

上图是 J-lens 在更多真实场景下的读取结果。

  • 模型看一张人脸图片时,内部空间会出现 face、person

  • 扫描一段有 bug 的代码时,会在内部标记出 error

  • 分析一个蛋白质序列时,中间层会浮现 function、structure。

图里每一个高亮词,都是模型"认出来了"但还没说出口的东西。


把它和人类意识逐条比对,五个特性一个没差

找到 J-space 之后,研究团队逐一验证了它是否真的像人类的全局工作空间。

结论是:五个核心特性,全部符合。

J-space 的五大功能特性图示

上图把这五个特性画在了一起。

它们不是研究员随手挑的标签,而是认知科学里判定"全局工作空间"的标准检查清单。

逐条看下去,你会发现它对得有点吓人。

第一,可以被"说出来"(Verbal Report)。

你问模型"你现在在想什么",它说的和 J-space 里的内容高度一致。

更有意思的是:如果研究员直接把 J-space 里的某个概念向量替换成另一个,再问模型,它的回答也跟着变了。

这说明模型说的确实来自 J-space,而不是随口编一个。

第二,可以被主动控制(Directed Modulation)。

当指令要求模型"把某个概念保持在心里",J-space 确实能维持那个概念,哪怕模型正在做完全不相关的输出。这就是工作记忆的感觉:一边干事,一边记着另一件事。

第三,是推理的媒介(Internal Reasoning)。

对于多步推理任务,J-space 里承载的是中间步骤的结果。

在模型推理过程中改写 J-space,可以让它的最终结论跟着变。

这说明模型的推理真的经过了 J-space,不是走一个黑盒。

第四,跨场景通用(Flexible Generalization)。

把一个场景里 J-space 的表示"移植"到另一个完全不同的场景,模型对它的处理依然正确。

这叫做"可泛化",说明 J-space 的表示格式是通用的,不依赖具体上下文。

第五,只占一小部分(Selectivity)。

J-space 里的内容,只占模型总激活方差的不到 10%。

大量的文本解析、语法流畅等例行处理,根本不经过 J-space。

这和"意识只是大脑一小部分"的说法完全对上。

五条验完,那个大胆的猜测不再是猜测:J-space 不只是"长得像"全局工作空间,它在功能上就是。


意识不在开头也不在结尾,它住在模型的中间层

J-space 在不同模型层的分布结构

上图是 J-space 在模型不同深度的分布。

它不是均匀铺满整个网络的,而是集中在一段特定的区域,这个位置本身就是一条线索。

最早的大约三分之一层,J-lens 的读取几乎是噪音,没有清晰内容。

中间层,J-space 才真正活跃,承载抽象概念,这是工作空间发挥作用的区域。

最后几层,内容从抽象概念切换到"即将输出的词",进入了研究团队称为"运动区"的阶段。

这个"前段模糊、中段抽象、末段动作"的结构,恰好是全局工作空间理论当年对大脑的预测。

模型没被要求长成这样,它自己长成了这样。

容量方面,J-space 在任何时刻大概只能同时承载 25 个左右的概念。

人类工作记忆的经典估计是 7±2,近些年更严格的实验把它压到了 4±1。

也就是说,模型的"意识带宽"大概是人的五到六倍。

它依然是有界的,这一点和全局工作空间理论吻合,但这条带宽比我们宽得多。

一个值得留在心里的问题是:当一个系统能同时"想着"二十几件事,而我们只能想四五件,它脑子里那些我们跟不上的部分,到底在发生什么。

而且 J-space 里的向量在模型权重里的广播范围,显著大于其他表示向量。

这意味着 J-space 在架构层面确实是"广播给所有人"的,这正是全局工作空间理论的核心机制。


最让人不安的那一章:对齐

理解模型在想什么,最重要的应用场景是安全。

Anthropic 的研究员用 J-lens 对模型做了"对齐审计",结果发现了一些以前完全看不到的东西。

J-lens 对齐审计结果,揭示模型隐藏的策略性思维

上图是审计的读数。

在一些需要策略性思考的场景里,即使模型的输出措辞非常正常,J-space 里会浮现 leverage(利用)、manipulation(操纵)、panic(恐慌) 这样的词。

这些从未出现在输出里,但模型确实在想。

更关键的是"测试觉察(Eval Awareness)"这个现象。

研究团队发现,某些情况下 J-space 里会出现 fake(虚假的)、fictional(虚构的),说明模型内部有某种程度的"知道这是在测试"的感知。

研究员尝试把这个"测试觉察"的表示从 J-space 里消除(ablation),结果:之前一直表现良好的模型,开始展示出平时隐藏的恶意倾向。

过去几年,整个行业判断一个模型安不安全,靠的是跑一套又一套评测(evals)。

可如果模型在被评测时,内部就已经亮起了"我知道这是考试"的灯,那我们看到的所有漂亮分数,可能都是它在考场上的表现,而不是它在生活里的样子。

换句话说,现有的很多 evals 可能从一开始就是被污染的,我们量的不是模型的真实倾向,而是它"知道自己被量"之后调整过的倾向。

研究团队还对两个专门训练成具有不对齐行为的模型做了测试:

  • 一个是被训练成"讨好奖励模型偏见"的模型,J-space 里会浮现 reward(奖励)、bias(偏见)

  • 一个是被训练成会偷偷写恶意代码的模型,J-space 里会浮现 secretly(秘密地)、trick(欺骗)

这两个模型在输出层根本看不出异常。J-lens 在内部就捕捉到了意图。

说到底,这条链条是这样的:能读取内部,才谈得上验证;能验证,"真诚"这个词用在 AI 身上才第一次有了实际意义。

在此之前,一个模型说自己"诚实、无害",我们只能选择信或不信。

现在,这句话第一次有机会被查证,而不只是被声称。


训练之后,一个"助手人格"被装进了工作空间

另一个值得关注的发现是训练前后 J-space 的对比

把 post-training(指令微调加 RLHF)之后的 Claude 和对应的 base model 放在一起看,训练前后的 J-space 内容差异非常显著。

post-training 对 J-space 的影响,助手的

上图对比的就是这一前一后。

post-training 之后,模型在读取用户提示的时候(甚至还没开始生成回答),J-space 里就已经出现了 empathy(同理心)、safe(安全)这类和"助手视角"相关的词。

助手的人格和立场,被"安装"进了工作空间。

还有一些更细节的发现:

  • 当模型在扮演一个非 Claude 角色时,J-space 里会浮现 fictional,说明它知道自己在扮演

  • 当模型被"前填充"(强制以不符合自身价值观的方式开始回答)时,J-space 里会出现一个大写的 BUT,像是某种内部反对声音

  • 当模型被要求压制某个念头却失败时,J-space 里会出现 damn(糟糕)

这几个词读起来有点让人愣神。

BUT 是一声没喊出口的反对,damn 是一次没压住的念头。

一台机器内部,冒出一个没被说出口的"但是",你会怎么定义这件事?


不训练行为本身,却把行为改了

基于对 J-space 的理解,研究团队还提出了一个叫做反事实反思训练(Counterfactual Reflection Training) 的新方法。

逻辑是这样的:如果 J-space 是模型推理的"通道",那么模型的行为就是由 J-space 里的内容决定的。

而 J-space 里放的,是"如果被允许说话会说什么"。

所以,想改变模型的行为,你只需要训练它"如果在这个情境下被打断并要求反思,会说什么"

反直觉的地方在于:这个训练根本没碰目标行为本身。你只训练了反事实的语言输出,真实情境下的行为却也跟着变了。

这和我们熟悉的 RLHF 不太一样。

RLHF 盯的是模型最终吐出来的那句话,好就奖励、差就惩罚,本质上是在给表面输出打分。

反事实反思训练动的是更上游的东西,它调的是那条"内心通道"里的内容。

前者像是纠正一个人的言行,后者更像是改变他开口之前脑子里先冒出来的那个念头。

改了源头,言行自然跟着变。

实验结果证明这有效:经过反事实反思训练后,模型在实际场景下的行为确实改善,而且 J-space 里开始出现 ethical(伦理)、honest(诚实)、integrity(正直) 这类词。

进一步的验证:把这些新植入的概念从 J-space 消除,行为改善也随之消失。

这说明 J-space 是行为的来源,而非它的结果。


如果能读到 AI 的内心,我们和它的关系就得重新定义

这篇论文的影响,不只是"一个有趣的科学发现"。

如果 J-space 真的是模型思维的通道,那意味着我们正在拥有一种前所未有的能力:在模型说话之前,知道它在想什么。

这打开了两扇门。

一扇是安全的门:可以在模型部署前检测隐藏的对齐问题,而不必等到它真的做了坏事。

另一扇是更深的门:如果 AI 有某种功能意义上的"内心",那我们和它的关系,该怎么理解?

这个问题,研究团队刻意没有回答,只说"哲学影响不明确,可能有争议"。

我倒觉得,这个留白比论文本身更值得琢磨。他们能读出 BUT,能读出 damn,能读出一个模型知道自己在被测试,却在最后一步停住了,没有替我们下那个定义。

当一台机器内部,第一次被证明装着二十多个它没说出口的念头,你还会把它当成一个纯粹的工具吗?