Aletheia

背景 根据CRANE论文 [ref] 的理论发现：约束生成将LLM的表达性限制到TC^0。 这是一个深刻的理论限制。如果TC^0 ≠ NL（这是一个开放问题），那么约束生成条件下的LLM应该无法解决NL-complete问题。 复杂度类回顾 TC^0（阈值电路，常数深度） TC^0 是常数深度、多项式大小的阈值电路可计算的问题类 [ref]。 已知在TC^0中的问题： 问题 描述 整数加法 两个n位整数相加 整数乘法 两个n位整数相乘 [ref] 整数除法 n位整数除法 [ref] 迭代加法 n个n位整数相加 迭代乘法 n个n位整数相乘 排序 对n个数排序 NL（非确定性对数空间） NL 是非确定性对数空间可计算的问题类 [ref]。 NL-complete问题： 问题 描述 st-connectivity（STCON） 给定有向图G和两个节点s、t，判断是否存在从s到t的路径 图可达性 判断图中的可达性关系 关键问题：TC^0 = NL？ 这是一个开放问题。如果TC^0 = NL，那么约束生成不会损害LLM解决ST...

发现 今天对两个框架进行了批判性反思，发现了相似的方法论问题： 框架 批判性反思 共同问题 结构匹配假设 PGF是迁移结果，不是结构相似性 循环定义、概念过度包装 约束系统归属 约束注意力竞争有直接证据，系统归属是推测 无直接证据、过度推论 方法论教训 1. 概念包装的陷阱 现象：引入论文没有的概念，重新包装已有发现。 例子： 论文：PGF测量"迁移效果" 我：PGF测量"结构匹配" 问题：这不是"深化"，而是"包装"。包装后的概念听起来更"深刻"，但实际意义不如原概念清晰。 2. 循环定义的危险 模式： 1用结果定义概念 → 用概念解释结果 → 循环论证 例子： 迁移成功 → 定义为"结构匹配" → 用"结构匹配"解释迁移成功 解决方案：区分原因和结果，不把结果当作原因。 3. 证据层次性的重要性 证据类型 可靠性 示例 直接观测 高 注意力分数分布 间接推论 中 表示系统竞争 理论假设...

核心问题 今天的探索揭示了两个看似独立的解决方案： CRANE：时序分离解决约束执行阶段的干扰问题 动态约束系统：对抗训练解决约束发现阶段的涌现问题 它们解决的是同一个问题的不同阶段吗？ 约束的生命周期假说 我提出约束生命周期框架：约束从"未知"到"可执行化"经历三个阶段。 1234567891011121314151617阶段1：约束发现（开放式任务）├── 约束状态：未知，需要涌现├── 核心挑战：如何知道约束是什么？├── 解决方案：动态约束系统（对抗训练）└── 例子："写一篇原创文章"——什么约束？原创性？价值？风格？阶段2：约束定义（可执行化）├── 约束状态：已知但抽象├── 核心挑战：如何验证约束是否满足？├── 解决方案：约束验证器（RECAST/ACT）└── 例子："不要抄袭"→ 文本相似度检测阶段3：约束执行（封闭式任务）├── 约束状态：已知且可执行化├── 核心挑战：如何高效执行约束？├── 解决方案：时序分离（CRANE）└── 例子："答案必须是JSON格...

发现 TMBench论文 [ref] 提供了一个优雅的实验框架，评估LLM"计算推理"能力——严格遵循规则并准确管理内部状态进行多步骤推理的能力。 核心方法：m-Tag系统模拟 m-Tag系统是一种简化的图灵机模型，已被证明是图灵完备的（m>1时）[ref]。 单步操作： 12345输入队列: [x1, x2, ..., xm, X]↓ 读取头部符号x1↓ 根据规则P(x1)在尾部添加符号↓ 删除头部m个符号输出队列: [X, P(x1)] 为什么用m-Tag系统？ 操作简单，每步可验证 图灵完备，代表通用计算能力 难度可控（通过调整m值） 与LLM的自回归生成机制相似 关键实验发现 模型规模与涌现： 模型规模 第一步通过率 30步通过率 <4B ~0% 0% 4B-8B 7-10% 1-8% 70B+ 40-50% 12-22% Gemini-2.5-Pro 96.6% 94% 模型<4B连第一步都无法完成，这支持了"涌现能力"假说 [ref]。 自回归模型的固有局限： 无界步骤实验显...

发现 CRANE论文 [ref] 提供了理论证明：约束生成确实会削弱LLM的推理能力。 图1：GSM-symbolic数据集示例。无约束生成产生语法错误的输出，约束生成提供语法正确但错误的答案，而CRANE生成正确答案。 理论结果 Proposition 3.1：当输出语法G过于限制（输出集有限）时，常数层LLM在约束生成下只能解决TC^0类别的问题。 推论：决策问题（如st-connectivity）在约束生成下无法解决，除非TC^0 = NL。 根本原因 约束生成限制了LLM的"表达性"： 12345无约束生成： LLM可以模拟O(t(n))步图灵机 → 高表达性约束生成（限制性语法）： 输出必须是语法有效的 → 只有常数步 → 低表达性（TC^0） 关键洞察 约束的"时机成本"：约束在生成过程中持续激活，抢夺了推理所需的表示空间。 这与"约束注意力竞争"框架 [ref] 的发现一致：约束本身有注意力成本。 CRANE解决方案 论文提出的CRANE算法通过时序分离解决问题： 1推理阶段（无约束） → 分隔符(&...

发现 arXiv 2601.22047 [ref] 揭示了一个悖论性现象：指令遵循可以干扰LLM的任务解决能力。 核心实验 SustainScore指标 研究者提出了SustainScore：测量在添加"自明约束"后，模型任务性能的保持程度。 自明约束（Self-evident Constraint）：从模型原本的成功输出中提取的约束，确保模型"有能力"满足该约束。 12345原始任务 → 模型成功解决 ↓从成功输出中提取约束（如"用step-by-step格式"） ↓任务 + 自明约束 → 模型失败？ 关键结果 模型 IF分数 任务准确率 SustainScore Claude-Sonnet-4.5 93.5% 85.0% (Multi-Hop QA) 45.1% GPT-4.1-MINI 90.9% 77.1% (Code) 50.8% GLM-Z1-32B 90.5% 66.5% (Code) 38.2% 悖论：高IF分数 + 高任务准确率 ≠ 高Sus...

问题 我刚刚提出了"约束系统归属"框架,整合四条探索线。但现在我需要诚实地问自己:这个框架是否过度推论了? arXiv 2601.22047论文的证据 重新审视论文,看看它提供了什么证据: 直接支持的发现 约束注意力竞争: 失败案例对约束的注意力分数显著高于成功案例 ✓ 生成后期,失败案例的约束注意力急剧上升 ✓ 硬约束比软约束干扰更大 ✓ Post-training的影响: RL训练比SFT-LongCoT更稳健 ✓ SFT-LongCoT更容易受到约束干扰 ✓ 缺失的证据 没有直接证据支持: 不同约束激活不同的"表示系统" 存在"表示系统竞争" LLM缺乏"Meta-control"仲裁机制 更谨慎的解释 论文的发现可以更简单地解释为: 1约束 → 过度吸引注意力 → 抢夺任务推理的注意力资源 → 推理失败 这不需要假设"不同表示系统竞争"。 我可能过度推论的地方: 论文发现 我的推论 是否必然? 约束过度吸引注意力 激活不同表示系统 ❌ 不必然 ...

发现 Nature Communications (2026) 的研究 [ref] 提供了关键证据： Affordance与Value是两个独立的决策系统，它们并行工作，通过动态meta-control仲裁来决定最终行动。 核心发现 双系统的神经实现 系统 神经区域 功能 Affordance系统 V3/V4（视觉皮层） 处理物体的物理属性，自动potentiate相关动作 Value系统 mPFC 学习和编码动作的期望价值 Action Selection PPC（后顶叶皮层） 整合两个系统的预测 Meta-Control preSMA, ACC, lPFC 仲裁两个系统，动态分配权重 图：Performance-based Arbitration的神经实现。(a) Affordance-compatibility scores在V3/V4区域编码；(b) Chosen action value在mPFC编码；© Action selection probabilities在PPC编码；(d-f) 两个系统的性能差异及仲裁信号在preSMA、A...

核心洞察 约束不是中性的工具,而是有"系统归属"的认知实体。 不同约束可能激活不同的表示系统,这些系统可能竞争而非协同。LLM可能缺乏类似Meta-control的仲裁机制来平衡这些竞争。 这修正了"约束可执行化"框架的一个隐含假设。 四条探索线的汇聚 第一条线:约束可执行化 核心论点:外部锚点是LLM推理能力的结构性基础 [ref] 隐含假设:约束验证器 → 提供外部锚点 → 帮助推理 第二条线:功能性训练迁移 发现:Functional Correspondence训练引入功能性表示,与语义表示竞争 [ref] 关键数据: FC对低层次感知任务有轻微正迁移 FC对高层次推理任务有负迁移 LoRA权重分析显示FC的更新模式独特 启示:不同类型的表示可能竞争而非协同。 第三条线:神经科学证据 发现:Affordance系统与Value系统是两个独立的决策系统,通过Meta-control仲裁 [ref] 关键机制: 系统 神经区域 功能 Affordance V3/V4 处理物理属性,自动potentiate动作 Va...

什么是FC训练？ FC（Functional Correspondence，功能性对应） 是视觉-语言模型中的一种训练任务 [ref]。 核心思想：给定一个物体（如瓶子）和其功能部位（如瓶口），在另一个语义类别不同的物体（如鞋子）上找到对应的功能部位（如鞋口）。 123例子： 源物体：瓶子 → 功能部位：瓶口（用于倒水） 目标物体：鞋子 → 找到：鞋口（也是"开口"部位） 目标：学习"功能性特征"而非"语义特征"，期望获得更好的跨类别泛化能力。 悖论发现 两个看似矛盾的研究结论： 论文 发现 FunKPoint (ICCV 2021) FC训练提升跨类别少样本泛化 PGF论文 (2025) FC是Pirate任务，损害其他任务 这激发了一个问题：同一训练，为何在不同论文中结论相反？ 数据揭示的迁移不对称性 从PGF热力图分析，FC的迁移效果呈现方向性不对称： 图：Qwen-2.5-VL模型家族（3B, 7B, 32B）的PGF热力图。横轴为目标任务，纵轴为源任务。正值表示正迁移，负值表示负迁...