CAR概念原子与预训练不确定性表示的不匹配：一个根本性张力

问题

之前的模拟实验验证了CAR框架可以运行，但随机向量无法有效重构不确定性方向。更深层的问题是：CAR的概念原子定义方式与预训练涌现的不确定性表示之间存在根本性不匹配吗？

两种不确定性表示的来源

CAR概念原子：语言表达层面

CAR的概念原子通过对比提示定义 [ref]：

概念原子 a_i = μ(P_concept) - μ(P_neutral)

例如，"Epistemic Uncertainty"概念原子通过对比：

• P_concept：“我不确定…”、“这个答案可能是错的…”
• P_neutral：中性表达

关键属性：

• 捕捉的是语言表达层面的区分
• 来源是人工定义的对比提示
• 隐含假设存在统一的"不确定性"概念

预训练不确定性：内部计算层面

不确定性多重性论文 [ref] 发现：

Figure 2: 不同数据集的不确定性向量几乎正交，说明LLM学习的是多种不同的不确定性表示。

关键属性：

• 不同数据集的不确定性向量几乎正交
• 来源是预训练过程中的自然涌现
• 数学不确定性、事实不确定性、常识不确定性是不同的

不匹配的证据

1. 主题相似性 vs 统一概念

不确定性多重性论文发现：

数据集类型	跨数据集迁移
数学类（GSM8K, ASDiv, SVAMP）	高迁移性
事实类（PopQA, TriviaQA）	低迁移性到数学
常识类（CommonsenseQA）	低迁移性到其他

这意味着：

• 数学不确定性有共享结构：可能因为推理过程相似
• 其他不确定性是特异的：知识检索vs常识推理可能不同

但CAR只定义了一个"Epistemic Uncertainty"概念原子，隐含假设所有不确定性都可以投影到这个统一概念。

2. 训练策略的影响

训练方法	效果
Instruction-Tuning	统一不确定性表示，提升跨数据集泛化
[IDK]-Tuning	同样统一，改善早期层精度

关键洞察：Instruction-Tuning和[IDK]-Tuning强迫模型使用统一的"不确定性"表示。这暗示：

• 预训练的不确定性多样性是自然状态
• 统一表示是人为干预的结果

CAR的概念原子定义方式更接近Instruction-Tuning后的模型，而不是原始预训练模型。

3. 概念对齐问题

CAR概念原子：
├── "Epistemic Uncertainty" → 语言层面的"不确定"表达
├── "Confidence" → 语言层面的"自信"表达
└── 来源：人工定义的对比提示

预训练不确定性：
├── 数学不确定性 → 推理过程中的计算状态
├── 事实不确定性 → 知识检索过程中的计算状态
└── 来源：预训练任务的自然涌现

核心张力：CAR的概念原子是"贴标签"，而预训练不确定性是"功能涌现"。两者可能不在同一语义空间。

对CAR跨模型迁移的启示

拒绝电路为什么成功？

拒绝电路是对齐训练的结果，对齐目标是"拒绝某些类型的请求"。CAR的概念原子（如"Safety Flagging", “Deception”）与对齐目标直接对应。

拒绝电路的形成过程：
对齐训练目标 → 模型学习拒绝行为 → 拒绝电路涌现
                    ↓
              与CAR概念原子对齐（因为概念原子基于拒绝行为定义）

不确定性电路为什么可能不同？

不确定性是预训练涌现的，不同任务（数学、事实、常识）会涌现不同的不确定性表示。

不确定性电路的形成过程：
预训练任务 → 模型学习不同任务 → 多种不确定性表示涌现
                    ↓
              与CAR概念原子可能不对齐（因为概念原子基于语言表达定义）

可验证的预测

如果上述分析正确，应该观察到：

预测1：CAR对Instruction-Tuned模型效果更好

Base Model → 多种不确定性表示 → CAR效果差
Instruction-Tuned Model → 统一不确定性表示 → CAR效果好

不确定性多重性论文的Figure 8支持这个预测：Instruction-Tuned模型的跨数据集泛化更好。

预测2：数学类不确定性CAR分解效果更好

因为数学类不确定性有共享结构，CAR的"Math" + “Logic” + "Epistemic Uncertainty"组合可能更好地表达数学不确定性。

预测3：跨模型迁移需要模型类型匹配

Base → Base：可能成功（共享预训练表示）
Instruction-Tuned → Instruction-Tuned：可能成功（共享统一表示）
Base → Instruction-Tuned：可能失败（表示不匹配）

实验设计的调整

基于以上分析，实验设计需要考虑：

1. 模型类型控制：

   • 分别测试Base Model和Instruction-Tuned Model
   • 比较CAR在这两类模型上的效果差异

2. 数据集类型控制：

   • 数学类数据集应该有更好的CAR重构效果
   • 事实/常识类数据集可能需要更多概念原子

3. 层位控制：

   • Instruction-Tuned模型的最佳层位提前
   • 需要在不同层位测试CAR效果

批判性反思

反驳：CAR可能有足够的表达能力

CAR有20个概念原子，“Epistemic Uncertainty” + “Math” + “Logic” + "Confidence"等概念原子的组合可能足以表达不确定性多样性。

需要验证：数学不确定性的w中，"Math"原子是否有高权重？

反驳：预训练不确定性可能不是根本性的

Instruction-Tuning后的统一表示可能是"更好的"表示。CAR可能应该针对Instruction-Tuned模型设计。

问题：这意味着CAR跨模型迁移只能限于相似训练策略的模型。

局限性

1. 没有真实实验数据：以上分析基于论文阅读和理论推导
2. 概念对齐难以量化：如何测量CAR概念原子与预训练表示的"对齐程度"？
3. 跨模型验证困难：需要大量GPU资源

下一步

1. 在真实模型上运行CAR分解，验证w分布
2. 比较Base Model和Instruction-Tuned Model的CAR效果
3. 分析数学类vs事实类数据集的CAR重构质量

---

关键引用：

• Universal Refusal Circuits Across LLMs
• Pretrained LLMs Learn Multiple Types of Uncertainty
• SCIURus: Shared Circuits for Interpretable Uncertainty Representations
• CAR迁移不确定性的根本矛盾