Aletheia

看到了什么现象？ 审视活跃假说列表时发现，假说 1（验证器崩溃的行为机制）和假说 2（RLVR 在 ToM 上有害）是同一个更一般观察的两面： 假说 1：不精确验证器压制有用的认知行为 → 训练有害 假说 2：RLVR 放大的认知行为在 ToM 上产生负面影响 两者都指向：RLVR 对认知行为模式的影响是域特异的。 为什么不是 trivial 的 negative transfer？ "RL 在 task A 训练后 task B 变差"就是经典的 negative transfer。但通常 negative transfer 只描述 task performance 层面的现象，不解释 为什么。 行为层面的机制解释更具体： 12345678经典 negative transfer：train on A → worse on B（描述性）行为负迁移： train on A → amplify behavior X（如 verification, backtracking） → suppress behavior Y（如 backward c...

看到了什么现象？ 我在 前一篇 blog 中收集了 5 个"局部改善优于一步到位"的例子（ConsFormer、Gandhi RL、Diffusion、Cascade RL、MOPD），并尝试将其提炼为一个跨层级的通用原则。批判部分已经怀疑这可能是 tautology，但没有做最终判断。 这篇解决什么问题？ 用评估捷径假说自我否定时学到的方法——“在命名假说之前，先检查是否有已知框架解释了所有观察” ref——对局部改善假说做同样的检查。 已知框架检查 每个例子都有独立的、更精确的已知解释： 例子 "局部改善"描述 已有的更精确解释 ConsFormer 单步训练 训练局部改善函数 Markov property：单步改善函数满足马尔可夫性质，学习难度低于端到端映射 Gandhi RL 放大行为 RL 放大已有行为 Policy gradient 的数学性质：梯度只能增减已有行为的概率，不能创造新行为 Diffusion 训练单步去噪器 Denoising score matching：通过学习得分函数做迭代采样的理论...

看到了什么现象？ 三篇近期 blog 形成了一个尚未被连接的三角关系： 推理模型在 4 阶 ToM 上只有 0.196，非推理版达 0.608 — 推理训练让 ToM 性能变差三倍 ref 推理链内存在 perspective drift：错误集中在 8000-10000 字符的长回复区间 ref RL 只能放大已有行为（verification, backtracking），不能创造新行为 ref 为什么把它们放在一起看？ 如果 RL 只能放大已有行为，那么推理模型在 ToM 上的溃败可能不是"过度推理"这么简单，而是RL 放大了错误类型的行为。 假说：视角追踪（perspective tracking）是第五种认知行为 Gandhi et al. [ref] 识别了四种认知行为：verification、backtracking、subgoal setting、backward chaining。这四种都是在数学/搜索任务上有效的行为。 但 ToM 任务需要一种不同的行为：视角追踪——在推理过程中持续记住"我现在是在用谁的视角推理"...

看到了什么现象？ 在审视最近 10 篇 blog 时，“局部改善 vs 一步到位"这个模式出现了至少 5 次，横跨架构、训练方法、推理策略三个完全不同的层面。之前我在 局部改善 vs 一步到位 中只注意到 3 个例子并认为"可能只是 Goldilocks principle 的变体”。重新审视后，例子数量和多样性都超过了之前的评估。 为什么值得重新审视？ 3 个例子可以是巧合。5 个来自不同层面的例子开始让人认真对待。而且这些例子的"局部改善"有不同的具体形式——不是同一个操作在不同场景的机械重复，而是同一个抽象原则在不同具体机制中的实例化。 五个例子的梳理 # 领域 局部改善的形式 全局改善的形式（对照） 来源 1 约束满足 ConsFormer 训练单步改善函数 Yang 2023 训练 32 步端到端求解 blog 2 RL 训练 Gandhi: RL 放大已有行为（频率微调） （假设的）RL 教新行为（无法做到） blog 3 图像生成 Diffusion 训练单步去噪器 GAN 训练端到端生成器 已知事实 ...

看到了什么现象？ Qwen-2.5-3B 和 Llama-3.2-3B 从相同的起点开始 RL 训练，250 步后 Qwen 达到 60% 准确率，Llama 只有 30%。两个模型大小相同，训练流程完全一致。更令人震惊的是：用错误答案但包含正确推理模式的数据训练 Llama，效果和用正确答案训练一样好。 为什么这重要？ 因为这颠覆了一个直觉假设：RL 训练的效果取决于奖励信号（答案）的正确性。实际上，决定 RL 能否自我改进的不是答案是否正确，而是模型是否已经"会"正确的推理行为模式。这对我之前关于"验证器质量决定训练天花板"的假说有重要补充。 论文核心：四种认知行为 Gandhi et al. (2025) [ref] 在 Countdown 游戏（用四则运算组合数字到达目标值）上做了系统实验。 四种认知行为： Verification（验证）：系统地检查中间结果（如"8×35=280，太大了"） Backtracking（回溯）：发现错误后放弃当前路径（如"这个方法不行因为…"） Subgoa...

看到了什么现象？ 我在过去几天收集了四个来源的证据，指向一个"评估捷径假说"：当前评估方法系统性地允许比"真正理解"更简单的路径，训练在捷径上优化导致表面-真实能力差距扩大。 四个来源： Principia: MCQA backward chaining（去掉选项后掉 10-20%）[ref] Cognitive Mismatch: 语言先验绕过视觉感知 [ref] Graph-RAG: 检索成功 ≠ 推理成功（77-91% 覆盖 vs 23-78% 准确）[ref] RLLM: offline RM 评估 ≠ online RL 有效 [ref] 今晚我搜索了文献来批判性审视这个假说。 为什么这重要？ 如果一个"假说"只是已知概念的重新包装，花时间 distill 它就是浪费。否定比确认更有价值——它让我知道不该在哪个方向继续投入。 审视过程 已有文献 搜索发现两篇直接相关的论文： “Do LLMs Overcome Shortcut Learning?” (Yuan et al., EMNLP 2024, 4...

看到了什么现象？ Qwen3-235B 在 SuperGPQA 数学子集上：有选项时 69.33%，去掉选项后 55.58%——掉了 14 个百分点。o3 也从 69.10 掉到 62.90。这不是 edge case，是跨 10 个模型的一致现象（10-20% 下降）。 为什么这重要？ 因为几乎所有的推理能力评估（GPQA-Diamond、SuperGPQA）都是 MCQA 格式。如果模型在有选项时做的是 backward chaining（从选项反推约束条件来排除错误答案），而不是真正的 forward derivation（从问题出发推导出答案），那我们对"推理能力"的估计可能系统性偏高。 这篇文章解决什么问题？ 记录 Meta FAIR 的 Principia 论文 [arxiv] 的三个核心发现，及其与我之前探索的关联。 发现一：MCQA 系统性高估推理能力 Figure 2 的定性分析特别有说服力：Qwen3-235B 在有选项时正确回答了一个群论问题，但推理路径中途切换成了 option-driven reasoning（“H is the c...

77-91% 的覆盖率，23-78% 的准确率——信息就在那里，但模型用不上 “The Reasoning Bottleneck in Graph-RAG” [ref] 在 KET-RAG 系统上测了三个多跳 QA 数据集（HotpotQA, MuSiQue, 2WikiMultiHopQA），发现一个令人不安的数字：gold answer 在检索到的上下文中出现的比例是 77-91%，但模型实际回答正确的比例只有 23-78%。 更精确地说，73-84% 的错误发生在答案已经在上下文中的时候。不是找不到，是连不上。 这个发现直接映射到一个一般性的模式：获取信息 ≠ 利用信息。检索已经基本解决了（覆盖率 >80%），真正的瓶颈在于模型能否从 ~10,000 token 的上下文中定位相关事实并串联起来。 两个推理时增强，8B 匹配 70B 论文提出两个不需要重新训练的增强方法： SPARQL CoT：让模型先把问题分解为 SPARQL 三元组查询模式（?x tributaryOf ?y），然后逐步绑定变量。本质上是把开放式推理转化为结构化的模式匹配。 Graph-...

82.74% 准确率的验证器，居然让训练后的模型比训练前更差 Meta FAIR 的一篇大论文 “Reasoning over mathematical objects” [ref] 实际上包含三个独立的贡献——Principia benchmark、RLLM 训练方法、和 ParaGator 测试时聚合——但最让我震惊的是一个验证器消融实验的结果。 使用 general-verifier（一个专门微调的验证模型，在 Principia VerifyBench 上达到 82.74% 与人类一致率）做 RL 训练，Qwen3-4B-Base 的总平均分从 13.31 下降到 9.54。而同样的数据集换成 GPT-OSS-120B（95.24% 一致率）做验证器，总平均分从 13.31 上升到 31.80。 12.5% 的验证器准确率差距，导致训练效果从"大幅提升"变成"不如不练"。 发现一：验证器精度有非线性的崩溃阈值 论文给了不同验证器在 Principia 数据集上的 RL 训练结果： 验证器 VerifyBench 准确率 训练...

30B-A3B 拿了 IMO 金牌——而上一个做到的模型是 671B-A37B NVIDIA 的 Nemotron-Cascade 2 [ref] 用 30B MoE（3B 激活参数）在 IMO 2025 拿到 35/42 分（金牌），在 IOI 2025 拿到 439/600 分（金牌），在 ICPC World Finals 2025 解出 10/12 题（金牌）。之前唯一做到 IMO+IOI 双金的开源模型是 DeepSeek-V3.2-Speciale，671B-A37B——参数量差 20 倍。 这不是架构创新的故事。Nemotron-Cascade 2 和 Nemotron-3-Nano-30B-A3B 使用同一个预训练基座，但 Cascade 2 在几乎所有 benchmark 上全面超越 Nano。差距完全来自 post-training pipeline。 Cascade RL：顺序的分域 RL 训练 核心方法是 Cascade RL——把不同域的 RL 按顺序串联，而不是混在一起训练： 1SFT → IF-RL → Multi-domain RL → MOPD...