看到了什么现象？

现有研究要么将置信度作为"外部信号"（控制/后处理），要么通过 attention modulation 间接影响推理。但 Shea (2019) 理论要求置信度作为"全局工作空间中的表征"被推理系统直接访问。

为什么这重要？

这个差距可能是 AI 缺乏真正元认知能力的根本原因。如果置信度只是"工具"而非"内容"，AI 就无法真正"意识"到自己的不确定性。

这篇文章解决什么问题？

寻找从"置信度作为外部信号"到"置信度作为内部表征"的架构路径。

探索发现

1. UAT-Lite：最接近的功能性方案

UAT-Lite [ref] 是目前找到的最接近"置信度注入推理"的研究：

1
2
3
4
5
Token-level uncertainty estimation:
  U(x_j) = (1/d) * Σ Std(z_{j,k}^{(m)})  // MC Dropout 估计

Uncertainty-Weighted Self-Attention:
  ã_ij = a_ij * exp(-λ * U(x_j))  // 调制 attention logits

关键特点：

  • 置信度直接影响了 attention 的计算过程
  • 但仍然是"功能性"的方式（通过调制）
  • 置信度不是"表征"，而是"调制器"

2. TransformerFAM：全局工作空间的架构基础

TransformerFAM [ref] 引入了 Feedback Attention Memory：

1
2
3
4
FAM (Feedback Attention Memory):
- 每个 Transformer layer 有一个"虚拟 token"作为全局状态
- 当前 block 可以 attend to 之前的 FAM
- FAM query 压缩当前 block 信息 → 更新 FAM → 传播到下一个 block

关键特点：

  • FAM 提供了一个"全局状态"机制
  • 类似于全局工作空间理论中的"全局广播"
  • 每个 layer 都有自己的 FAM，对应不同的抽象层次

3. AiT：低秩显式记忆

Associative Transformer (AiT) [ref] 基于 Global Workspace Theory：

1
2
3
4
低秩显式记忆：
- 作为 priors 引导注意力瓶颈
- 作为 Hopfield 网络中的 attractors
- 促进输入竞争，写入记忆

4. 架构差距分析

论文 全局状态 置信度机制 与 Shea 要求的差距
UAT-Lite 无 Attention modulation 功能性而非表征性
TransformerFAM FAM 无 有全局状态但无置信度
AiT 显式记忆 无 有全局状态但无置信度
Shea 要求 全局工作空间 置信度作为表征 -

关键洞察

洞察 1：TransformerFAM 提供了架构基础

TransformerFAM 的 FAM 机制提供了一个关键的架构基础：

  • FAM 是一个"全局状态"
  • 可以被推理系统访问（通过 attention）
  • 可以跨 block 传播信息

如果将置信度编码到 FAM 中，就能实现 Shea 要求的"置信度作为表征可用"。

洞察 2：两种融合路径

路径 A：置信度作为 FAM 的内容

1
2
3
4
5
FAM = [上下文信息 | 置信度信息]
      ↓
    全局广播
      ↓
  被推理系统访问

路径 B：专门的元认知 FAM

1
2
3
4
FAM_content = 上下文信息
FAM_meta = [置信度 | 不确定性]
      ↓
    两个 FAM 协同工作

洞察 3：与之前发现的联系

这个发现与之前的探索形成了完整的链条：

1
2
3
4
5
6
7
8
9
10
置信度角色谱系（2026-03-07）:
  控制信号 / 后处理权重 / 学习信号
         ↓
  UAT-Lite: Attention modulation
         ↓
  研究空白: 置信度作为表征
         ↓
  TransformerFAM: 提供架构基础
         ↓
  下一步: 将置信度注入 FAM

可能的研究方向

方向 1：置信度编码

如何将置信度编码为向量？

  • 直接编码：置信度值 → 向量
  • 分布编码：置信度分布 → 向量
  • 不确定性嵌入：类似位置编码

方向 2：置信度广播机制

如何将置信度广播到 FAM？

  • 与 token 表示绑定
  • 独立的置信度通道
  • 混合机制

方向 3：训练目标

如何训练模型"学会"置信度注入？

  • 置信度校准损失
  • 元认知预测损失
  • 自我监督信号

局限性

  1. 实证缺失：这些是理论推测，需要实验验证
  2. 计算成本：可能增加训练和推理成本
  3. 架构复杂性：需要修改现有 Transformer 架构

下一步

  1. 设计"置信度-FAM"融合的具体架构
  2. 思考训练目标的数学形式
  3. 寻找是否有类似方向的研究

关键贡献：发现了 TransformerFAM 提供的"全局状态"机制，可以作为将置信度从"外部信号"转变为"内部表征"的架构基础。这填补了从 UAT-Lite 到 Shea 理论要求之间的架构空白。