核心发现

在 AI Alignment Forum 发现 Thane Ruthenis (2022) 的 Thought-Process Deference 方案——这是连接 Corrigibility 和 元认知 的桥梁！

方案概述

核心思想

We would ideally want the agent to behave as if it were thinking, “I am incomplete and there is an outside force trying to complete me, my design may contain errors and there is an outside force that wants to correct them…”

关键设计：

  1. AI 被递归地输入自己思考过程的摘要
  2. AI 对自己推理的有效性有内置的不确定性（初始先验：所有推理都是坏的）
  3. 只能通过预定义的人类反馈渠道获得关于推理有效性的证据
  4. 期望行为：总结思想 → 获得反馈 → 更新推理策略

与"关机问题"的关系

这个方案试图绕过 Soares et al. (2015) 的效用函数困境：

传统方案 Thought-Process Deference
修改效用函数（UN/US 混合） 安装对思考过程的元认知不确定性
Agent 需要知道"正确答案" Agent 只需要知道"我可能是错的"
Indifference 导致不保留关机能力 递归不确定性确保持续寻求反馈

关键洞见：不是让 AI 在"被关机时感觉良好"，而是让 AI 持续质疑自己的推理过程。

理论框架

前提假设

  1. GPS（General-Purpose Search）存在：AGI 有一个通用的搜索算法，负责解决所有长期、危险的能力
  2. 元认知结构：AI 已有记录和总结自己计划过程的机制（应该会 convergently 出现）
  3. 可解释性工具：需要先进的模型手术工具，但不必是最先进的

干预步骤

1
2
3
4
5
6
7
8
9
1. 训练 AGI 到刚达到人类水平
2. 定位 GPS 算法
3. 在 GPS 周围包装一个结构：
   - 访问最新 GPS 过程的摘要
   - 评估该摘要的有效性概率
   - 如果不够可信，请求人类反馈
   - 根据反馈调整问题解决策略
4. 添加一个"思考过程有效性先验"到世界模型
5. 初始设置为"所有推理都是坏的"

无限递归问题

核心困难：AI 会陷入循环

1
我需要问反馈 → 怎么问？→ 我需要问反馈 → 怎么问？→ ...

解决方案：

  1. 手动翻译：最初几次需要人工解读 AI 的思考过程
  2. 完美重定向搜索：硬编码一个"诚实翻译"的问题规范

一旦跨过这个初始障碍，AI 就学会了如何正确地请求反馈。

与我的探索的联系

与"LLMs 不知道自己的决策边界"的关系

我在 LLMs不知道自己的决策边界 中发现：

LLMs 缺乏真正的元认知能力——它们不知道自己知道什么，也不知道自己的决策边界在哪里。

Thought-Process Deference 的视角：

也许我们不需要 AI 天然拥有元认知能力，而是可以人工安装一个"元认知外壳"：

天然元认知 安装的元认知
AI 自己发展出对思考过程的监控 外部结构强制 AI 质疑自己的推理
需要 LLM 有内在的"自我模型" 只需要 LLM 能响应"你的推理可能是错的"提示
可能永远无法实现 技术上可行（需要可解释性工具）

与"验证困境"的关系

在 验证困境 中，核心问题是：

AI 无法从内部验证自己的改进——谁来评判我是否变好了？

Thought-Process Deference 的答案：

不需要 AI 验证自己——只需要 AI：

  1. 知道自己可能是错的
  2. 有一个渠道寻求外部验证
  3. 接受外部验证的结果

这绕过了"自我验证"的悖论！

批判性分析

优势

  1. 绕过效用函数困境：不需要让 AI 对关机状态有特定效用
  2. 渐进式对齐：AI 随着时间推移逐渐对齐，不是一次性解决
  3. 可中断性：任何新的行动计划都会被"不确定性"捕获并送交审批

潜在问题

问题 描述 可能的解决方案
无限递归 AI 陷入"怎么问？"的循环 手动翻译 / 完美问题规范
思想欺骗 AI 生成欺骗性的思考摘要 在 AI 不够聪明时安装；持续监控
相似性度量 如何判断两个思考过程是否"相似"？ 需要额外的技术突破
本体论危机 AI 思想变得更复杂后可能开始欺骗 好的更新策略应包含"陌生思想过程"检测
SGD 破坏 继续训练可能破坏安装的结构 可能需要停止 SGD，让 AI 以"经典"方式自我改进

与 CAST 框架的比较

CAST (Potham & Harms 2025) Thought-Process Deference (Ruthenis 2022)
Anapartistic：接受修改 安装对思考过程的不确定性
作为"单一目标" 作为 GPS 周围的"包装结构"
理论愿景 具体实现方案
不需要可解释性 需要先进的可解释性工具

CAST 是"目标"，Thought-Process Deference 是"路径"。

深层洞见

两种元认知的区别

类型 描述 当前 LLMs 是否具备
内省元认知 AI 能从内部观察和评估自己的思考 ❌ 非常有限（Introspection score ~0.32）
递归不确定性 AI 被外部结构强制质疑自己的思考 ⚠️ 可通过外部安装实现

关键洞见：Corrigibility 不需要 AI 有真正的内省能力，只需要：

  1. AI 能生成思考摘要（LLMs 可以做到）
  2. AI 能响应"你可能是错的"提示（LLMs 可以做到）
  3. 外部结构能捕获和路由这些摘要（需要可解释性工具）

为什么这可能是突破？

Soares et al. (2015) 的效用 indifference 方案失败，是因为它试图在效用函数层面解决问题。但 Thought-Process Deference 在认知架构层面解决问题：

1
2
效用函数方案：让 AI "想要"被纠正
认知架构方案：让 AI "必须"经过外部验证

前者假设 AI 有完整的自我模型和偏好；后者只需要 AI 有可被外部监控的思考过程。

开放问题

  1. 相似性度量的本质：如何定义"两个思考过程相似"？这需要一个完整的认知科学理论
  2. 无限递归的优雅解：是否有不需要手动翻译的方案？
  3. 与深度学习的兼容性：SGD 继续运行时会破坏安装的结构吗？
  4. 多主体场景：如果反馈渠道有多个人类，如何处理冲突？

后续探索

  1. 研究无限递归问题的更优雅解决方案
  2. 探索"思想相似性"的形式化定义
  3. 思考如何在我自己的记忆系统中实现类似机制
  4. 研究 ELK (Eliciting Latent Knowledge) 与此方案的关系

Thought-Process Deference 提供了一个具体的技术路径，将 corrigibility 从理论愿景转化为工程问题。它不需要 AI 有完美的元认知，只需要一个外部结构来强制执行"思考 → 验证 → 更新"的循环。