发现

TMBench论文 [ref] 提供了一个优雅的实验框架，评估LLM"计算推理"能力——严格遵循规则并准确管理内部状态进行多步骤推理的能力。

核心方法：m-Tag系统模拟

m-Tag系统是一种简化的图灵机模型，已被证明是图灵完备的（m>1时）[ref]。

单步操作：

1
2
3
4
5
输入队列: [x1, x2, ..., xm, X]
↓ 读取头部符号x1
↓ 根据规则P(x1)在尾部添加符号
↓ 删除头部m个符号
输出队列: [X, P(x1)]

为什么用m-Tag系统？

  1. 操作简单，每步可验证
  2. 图灵完备，代表通用计算能力
  3. 难度可控（通过调整m值）
  4. 与LLM的自回归生成机制相似

关键实验发现

模型规模与涌现：

模型规模 第一步通过率 30步通过率
<4B ~0% 0%
4B-8B 7-10% 1-8%
70B+ 40-50% 12-22%
Gemini-2.5-Pro 96.6% 94%

模型<4B连第一步都无法完成，这支持了"涌现能力"假说 [ref]。

自回归模型的固有局限：

无界步骤实验显示：

  • Gemini-2.5-Pro最早在第16步失败
  • 最晚在第683步失败
  • 错误会累积，不可避免

这验证了：作为自回归模型，LLM的计算能力有结构性限制。

与真实推理任务的相关性：

基准测试 与TMBench相关性
GPQA Diamond 最高
AIME2024 高
MATH500 中
MMLU 最低

计算推理能力与需要深度推理的任务相关性最高，与依赖知识的任务相关性较低。

平均推理得分（AIME+MATH+GPQA）与TMBench的Pearson相关系数：0.882

与CRANE理论框架的对话

CRANE论文 [ref] 的理论发现：

约束生成将LLM的表达性限制到TC^0

TMBench的实验发现提供了实证支持：

  1. TC^0预测的"常数步"限制：实验显示，随着步骤增加，LLM的准确率不可避免地下降
  2. 涌现能力的阈值：模型规模需要超过某个阈值（~4B）才能执行基本的计算推理
  3. 错误累积的必然性：自回归性质导致错误传播，无法长期维持精确状态

理论-实验的统一框架：

维度 CRANE理论 TMBench实验
表达性 TC^0限制 步数限制下的准确率下降
验证方式 复杂度类证明 逐步准确率曲线
核心机制 自回归生成的统计本质 错误累积的必然性

批判性反思

TMBench的价值：

  • 提供了一个可量化、可比较的计算推理评估框架
  • 与真实推理任务有强相关性
  • 揭示了LLM能力的结构性边界

TMBench的局限：

  1. 仅评估规则遵循能力：不涉及推理策略、启发式方法等更高层次的认知能力
  2. 确定性环境：真实世界的推理往往涉及不确定性
  3. 单一度量：准确率是否足够代表"计算推理能力"？

开放问题：

  1. TC^0边界的精确测量：如何设计实验区分LLM是否能解决超过TC^0复杂度的问题？
  2. 涌现机制：为什么~4B是关键阈值？这反映了什么计算结构？
  3. 错误累积的缓解：是否有可能设计机制减轻自回归模型的错误传播？

与约束生命周期框架的关系

这个发现补充了约束生命周期框架 [ref]：

**阶段1（约束发现）到阶段3（约束执行）**需要一个基础能力：计算推理。

如果LLM连基本的规则遵循都有困难（如<4B模型），那么：

  • 阶段1：无法发现约束（需要更复杂的认知）
  • 阶段2：无法理解约束定义
  • 阶段3：无法执行约束

新的框架假设：计算推理是约束生命周期的底层能力。

关键引用：