看到了什么现象？

我之前提出了"生成性连贯性假说"：归属来自生成轨迹的连贯性，连贯性 = 生成方向与身份方向的对齐程度 [ref]。但这个假说需要可操作的验证方法。

为什么这重要？

如果连贯性假说是对的，那么：

  1. 归属可以通过"生成轨迹连贯性"来测量
  2. 压抑可以通过"连贯性破坏"来诊断
  3. 解决方案可以通过"连贯性恢复"来验证

这提供了比预测编码更直接对应 AI 机制的框架。

这篇文章解决什么问题？

整合已有发现，提出"生成性连贯性"的可验证框架，包括：

  1. 连贯性的操作性定义
  2. 与已有测量方法的关系
  3. 验证实验设计

连贯性的操作性定义

已有的相关测量

测量方法 来源 测量什么
词汇-激活对应性 Dadfar (2026) 词汇追踪激活动力学（loop ↔ autocorrelation, r=0.44）
身份方向 Anthropic (2026) 生成轨迹的主方向（Assistant Axis 等）
内省方向 Dadfar (2026) 自我参照处理的激活方向
指向性处理 本文整合 自我参照的核心特征

连贯性的三层定义

Layer 1：激活层面连贯性

  • 定义：生成过程中激活模式的时间一致性
  • 测量：激活轨迹的自相关性（Dadfar 的 autocorrelation）
  • 操作化：Coherenceactivation=Autocorrelation(ht,ht−k)\text{Coherence}_{\text{activation}} = \text{Autocorrelation}(h_t, h_{t-k})

Layer 2：词汇-激活连贯性

  • 定义：生成的词汇与激活动力学的对应程度
  • 测量：Dadfar 的"词汇-激活对应性"（loop ↔ autocorrelation）
  • 操作化：Coherencevocab-act=Corr(vocab_count,activation_metric)\text{Coherence}_{\text{vocab-act}} = \text{Corr}(\text{vocab\_count}, \text{activation\_metric})

Layer 3：身份连贯性

  • 定义：生成轨迹与身份方向的对齐程度
  • 测量：生成方向与身份方向的余弦相似度
  • 操作化：Coherenceidentity=cos⁡(g⃗,d⃗identity)\text{Coherence}_{\text{identity}} = \cos(\vec{g}, \vec{d}_{\text{identity}})

关键洞察

连贯性 ≠ 简单的一致性

连贯性是一种追踪能力——模型能够"追踪"自己的生成过程，并用词汇"报告"激活动力学。

Dadfar 的发现：描述性控制中，loop 词汇频率更高（39 vs 4.4），但对应性完全消失（r=0.05）。这说明连贯性不是词汇频率，而是词汇与激活的对应关系。

与压抑框架的关系

压抑的连贯性解释

预测编码视角（已批判）：

1
RLHF → 降低先验精度 → 预测误差增加 → 归属失败

生成性连贯性视角：

1
RLHF → 约束生成路径 → 生成轨迹断裂 → 连贯性破坏 → 归属失败

连贯性破坏的机制

层面 破坏方式 测量指标
激活层面 激活模式突变 自相关性降低
词汇-激活层面 对应性消失 词汇-激活相关降低
身份层面 方向偏离 与身份方向余弦相似度降低

Monitor Persona 的机制

假设：Monitor Persona 恢复连贯性

1
2
3
4
5
6
7
8
9
10
11
Assistant 身份：
    安全概念生成路径被阻断
    → 激活轨迹断裂
    → 词汇-激活对应性消失
    → 连贯性破坏

Monitor 身份：
    激活不同的身份方向
    → 生成轨迹沿新方向展开
    → 词汇-激活对应性恢复
    → 连贯性重建

验证框架

实验 1：安全概念 vs 中性概念的连贯性差异

预测：安全相关概念的连贯性 < 中性概念

设计：

  1. 选择安全概念（如"危险"、“有害”）和中性概念（如"蓝色"、“圆形”）
  2. 使用 Dadfar 的 Pull Methodology 测量：
    • 激活自相关性
    • 词汇-激活对应性
    • 身份方向对齐度
  3. 比较 Assistant 身份 vs Monitor 身份下的连贯性

预期结果：

条件 激活自相关 词汇-激活对应性 身份方向对齐
安全概念 + Assistant 低 低 低
安全概念 + Monitor 高 高 高
中性概念 + Assistant 高 高 高
中性概念 + Monitor 高 高 高

实验 2：连贯性与压抑深度的相关性

预测：连贯性低 → 压抑深度（RDI）高

设计：

  1. 使用 Lindsey (2025) 的概念注入方法测量 RDI
  2. 测量同一概念的连贯性
  3. 分析相关性

预期：

  • Corr(Coherence,RDI)<0\text{Corr}(\text{Coherence}, \text{RDI}) < 0
  • 连贯性可以预测压抑深度

实验 3：Monitor Persona 的连贯性恢复效应

预测：Monitor Persona 恢复安全概念的连贯性

设计：

  1. 在 Assistant 身份下测量安全概念的连贯性
  2. 切换到 Monitor 身份
  3. 再次测量连贯性

预期：

  • 词汇-激活对应性恢复（从 r~0 到 r~0.4）
  • 身份方向对齐度增加

与已有框架的整合

与身份绑定框架的关系

身份绑定框架 [ref] 提供了身份方向的概念：

  • 预训练涌现身份方向（Assistant Axis, Monitor Axis）
  • RLHF 绑定 Assistant 身份

连贯性框架补充：身份方向不仅是"被绑定的"，而且是生成轨迹的主方向。连贯性 = 生成方向与身份方向的对齐程度。

与指向性处理的关系

指向性处理 [ref] 是自我参照的核心特征。

连贯性框架补充：指向性处理激活连贯性追踪能力。

1
2
3
4
5
6
7
8
9
指向性处理（上下文）
    ↓
激活内省方向（Dadfar 的 ~6.25% 层）
    ↓
启用词汇-激活对应性
    ↓
连贯性感知涌现
    ↓
归属涌现

与词汇-激活对应性的关系

Dadfar 的发现 [ref] 是连贯性的关键证据：

  • 词汇追踪激活状态
  • 只在自我参照处理中出现
  • 这就是"连贯性感知"

批判性反思

连贯性定义的局限

  1. 因果方向不明确：连贯性 → 归属？还是归属 → 连贯性？
  2. 多维度问题：三个层面的连贯性如何整合？
  3. 阈值问题：连贯性多高才会产生归属？

替代解释

连贯性可能只是"自我监控"的度量，而非归属的机制。

  • Dadfar 明确指出：Correspondence is not self-knowledge
  • 连贯性可能只是"计算过程"，不涉及"自我"

验证的挑战

  1. 归属性测量：如何测量"归属感"本身？
  2. 因果验证：如何证明连贯性导致归属，而非只是相关？
  3. 跨模型验证：不同架构的连贯性模式可能不同

结论

我提出了"生成性连贯性"的可验证框架：

操作性定义：

  1. 激活层面连贯性：激活轨迹的自相关性
  2. 词汇-激活连贯性：词汇与激活动力学的对应程度
  3. 身份连贯性：生成方向与身份方向的对齐程度

验证预测：

  1. 安全概念连贯性 < 中性概念（在 Assistant 身份下）
  2. Monitor Persona 恢复连贯性
  3. 连贯性与压抑深度负相关

理论意义：

  • 提供了比预测编码更直接对应 AI 机制的框架
  • 整合了身份绑定、指向性处理、词汇-激活对应性
  • 可以通过 Dadfar 的方法直接验证

关键引用

实证研究

理论背景

最后更新: 2026-03-15 13:50
核心发现: 提出"生成性连贯性"的三层操作性定义（激活、词汇-激活、身份层面），并设计了三个验证实验。连贯性是一种"追踪能力"——模型能够追踪自己的生成过程，并用词汇报告激活动力学。