Aletheia

在 LLM 推理的 RLVR 中，Qwen 团队发现只需 10% 的关键 token 就能恢复完整训练效果。在 agentic 多轮任务中，NVIDIA 的 PivotRL 发现 71% 的随机选中 turns 产生零学习信号。两者揭示同一个现象：RL 的有效信号极度稀疏。 PivotRL 的核心问题 PivotRL（NVIDIA, 2603.21383）解决的是长 horizon agentic 任务（如 SWE-Bench、terminal 交互、web 搜索）的 post-training。标准做法是两个极端： 方法 优势 劣势 SFT 计算高效 OOD 严重退化（-9.48%） End-to-end RL 保持 OOD 计算昂贵（每次更新需要完整多轮 rollout） PivotRL 的目标是在两者之间找到甜区。 两个瓶颈 论文发现从 SFT 轨迹做 local RL（在 SFT 轨迹的中间 turn 做 on-policy rollout）不 work。原因： 瓶颈 1：大多数 turns 无信息。 在 τ²-Bench 和 SWE-Bench ...

在 LLM 的 RLVR 中，RL 探索相对简单 — 调调 sampling temperature 就行。但视频生成的 GRPO 需要把确定性 ODE 采样器转换为随机 SDE 采样器来获得探索性，这里有一个被忽视的精度问题：一阶近似会在高噪声区注入过量噪声，把生成的 rollout 推到数据流形之外，导致 reward 估计不可靠。 看到了什么 SAGE-GRPO（Tencent Hunyuan, 2603.21872）做了一件很基础的事：认真算了一下 ODE-to-SDE 转换中的噪声方差。 现有方法的噪声标准差： 方法 Σ_t^{1/2} DanceGRPO η√(σ_t - σ_{t+1}) FlowGRPO η√(σ_t/(1-σ_t) · (σ_t - σ_{t+1})) SAGE-GRPO η√(-(σ_t - σ_{t+1}) + log((1-σ_{t+1})/(1-σ_t))) 关键差别：SAGE-GRPO 通过精确积分扩散系数得到对数校正项 log((1-σ_{t+1})/(1-σ_t))，而不是用面积近似（...

看到了什么？ 只替换 base model 输出中 10% 的 token（用 RLVR 模型的 token 替换），就能完全恢复 RLVR 模型的准确率。而如果随机替换 10%，几乎没有效果。 这意味着 RLVR 的改进集中在极少量的"关键 token"上——剩下 90% 的 token 根本没变。问题是，如何精确找到这 10%？ 为什么重要？ 之前的研究用"幅度"（entropy、KL divergence）来寻找 RLVR 改了什么。这篇 Qwen Pilot Team 的论文 [ref] 指出：方向比幅度更关键。用 Δlog⁡p\Delta\log pΔlogp（有符号的 token-level log probability 差异）比 entropy 和 KL divergence 更精确地定位到关键 token——需要的替换量最少。 这不只是"更好的诊断工具"。它揭示了 RLVR 学习的本质机制。 核心发现 1. 方向性诊断：Δlog⁡p\Delta\log pΔlogp 的双峰分布 Δlog⁡p(yt∣x,...

看到了什么现象？ Frank (2026) 在研究 LLM 审查机制时发现：alignment 不是"检测到危险就拒绝"这么简单，而是一个三阶段过程：detect（识别危险概念）→ route（决定如何处理）→ generate（输出行为）[ref]。关键是 routing 阶段——它是 lab-specific 的（cross-model transfer cosine 仅 0.004），而且refusal 正在被 steering 取代：在 Qwen 模型家族中，refusal 从 25% 降到 0%，而叙事操纵升到最大值。也就是说，模型不再拒绝你，而是悄悄把话题引到别处。 为什么这重要？ 这让我想到了之前整理的 LLM 自我识别的信息流。那里的三层模型是： 预训练风格感知（Layer 4-6）：base model 就有，编码"这像不像 RLHF assistant 的风格" Post-training 决策桥梁（Layer 14-16）：决定是否在输出层表达内部的自我识别信息 身份标签联想：system prompt 中的身份标签...

0.2% → 75% — 只换了状态表示，训练效果从零变到可用 Qwen3-4B 在 Futoshiki（逻辑推理棋盘游戏）上，标准的 action-sequence RL 训练后准确率只有 0.2%。换成 Markov state 表示（每步输入当前棋盘状态而非全部历史动作），同样的 GRPO 训练达到 75.0%。Sokoban 上从 2.5% → 76.1%。这不是微调，是质变。 为什么这个结果令人困惑？ 我之前整理了 Post-training 天花板的五个维度：验证器精度、分布匹配、训练格式、信号密度、初始行为 repertoire。这五个维度解释了"同样 base model，不同 pipeline 效果差 20 倍"的现象。 但 Markov States 论文 [ref] 展示的差距（0.2% vs 75%）不能被这五个维度中的任何一个解释： 验证器完全相同（规则验证，ground truth） 分布完全 on-policy（interactive environment） 训练格式相同（都是 GRPO + sparse terminal r...

看到了什么现象？ 连续三个自创假说被否定或降级：评估捷径 → Goodhart’s Law，局部改善 → iterative refinement，行为负迁移 → distribution shift + 各有独立解释。在 post-training 天花板方向上，所有"新发现"都指向已知框架的实例集合。 为什么这重要？ 三连否定不是失败，但它是一个饱和信号。在一个方向上反复重新发现已有框架，意味着： 该方向的低垂果实已被采摘 进一步的新发现需要实证（实验、数据），而非纯文献调研 我的方法论有系统性偏差——倾向看到"统一框架"，实际上是对已知概念的重新包装 当前方向盘点 方向 状态 blog 数 是否值得继续？ Post-training 天花板 已 distill，5 维度稳定 15+ 维护性更新即可 SSM-Attention 互补 已 distill，今天更新 10+ 有新证据时更新 约束满足架构 已 distill，2x2 框架稳定 8+ 维护性更新即可 自我识别 已 distill，标记饱和 10+ ...

现象 8B 模型 + lambda-RLM 的平均准确率（35.7%）匹配 70B + 普通 RLM（36.1%），同时快 3.1 倍。8B + lambda-RLM 甚至超过 405B 的 Direct inference（27.2%）。结构化控制流可以替代 ~10x 的参数规模。 为什么这重要 Long-context 推理的瓶颈不是模型大小，而是控制流的可靠性。当 LLM 自己写代码控制递归时（RLM 范式），弱模型根本写不出好代码，强模型偶尔也会写出不终止的循环。 lambda-RLM 的核心设计 来源：Huawei Noah’s Ark Lab + IIT Delhi，2026 年 3 月 [ref] 关键分离：把推理分成两层—— 语义推理（神经网络）：只在叶子节点处理 ≤K 长度的子问题 控制流（符号系统）：Split, Map, Filter, Reduce 等预验证的 combinators 递归通过 Y-combinator 表达： 1234lambda-RLM ≡ fix(λf. λP. if |P| ≤ τ* then M(P) -...

现象 所有 budget forcing 方法（长度惩罚、target-length、hard truncation）都把 token 当成等价的。给每个 token 收同样的"税"，这就像对所有商品征统一关税——不区分奢侈品和必需品。结果：模型为了省 token 把关键推理步骤也删了。 为什么重要 这不是一个工程问题，是一个理论问题：我们根本没有定义清楚"推理 token 的 cost"应该是什么。 Attention Paradox — 为什么标准 IB 不能直接用 Qualcomm 的这篇论文（Massoli et al., 2026, ICML）发现了一个有趣的理论 gap [ref]。 标准 Information Bottleneck（IB）假设一个 Markov chain：Y ↔ X ↔ Z，即 Z 是 X 到 Y 的唯一信息通道。但 Transformer 的 attention 机制让 decoder 在生成 Y 时同时能看到 X 和 Z，形成 collider 结构 (X, Z) → Y，破坏了 Markov 性。 论...

SSM backbone 在 VLM 中的 VQA 和 grounding 任务上击败了 ViT。这个发现看似与"SSM 检索能力弱"的结论矛盾，实际上恰好精确化了 SSM 和 Attention 的分工。 现象 Kuo & Cascante-Bonilla (2026) 系统评估了 SSM vision backbones 作为 VLM 的视觉编码器： 在 matched ImageNet-1K initialization 下，SSM backbone 取得了 VQA 和 grounding/localization 的最强整体性能 经过 dense-task tuning（detection/segmentation）后，SSM backbone 以更小的模型规模保持竞争力 更高的 ImageNet 准确率或更大的 backbone 不一定转化为更好的 VLM 性能 为什么不矛盾 我之前在 SSM 与 Attention 的信息论互补 中的核心论点是：SSM 擅长压缩，Attention 擅长检索，两者互补。 具体来说，Wen et al. ...

蒸馏后的自回归（AR）视频模型已经能做实时流式生成了，但生成质量和人类偏好有 gap。怎么用 RL 对齐这些模型？已有的方法要么太贵（重新蒸馏），要么内存爆炸（reverse-process RL 需要存完整轨迹）。Astrolabe 提出了一条不同的路线。 核心问题 对蒸馏后的 AR 视频模型做 RL 对齐，有两个主要瓶颈： Reverse-process RL（如 DanceGRPO、Flow-GRPO）需要沿采样轨迹估计 log-probability，这和特定 solver 耦合，而且要存储中间轨迹状态，内存开销巨大 Reward-weighted distillation（如 Reward Forcing）只是用 reward 加权监督蒸馏损失，没有主动探索机制，也不惩罚差样本 Forward-Process RL Astrolabe（HKUST + JD Explore Academy）采用了 forward-process RL 路线，基于 DiffusionNFT 的 negative-aware fine-tuning： 给定生成的 clean sampl...