核心发现

ConstraintBench (arXiv 2602.22465v1) 的研究直接支持了"约束可执行化"框架的核心论点[ref]。

关键数据

指标 最佳模型 (GPT-5.2-pro)
可行性（满足所有约束） 65.0%
可行解的最优性（接近最优） 95.2%
联合可行+最优 30.5%

结论：可行性，而非最优性，是主要瓶颈。

与约束可执行化框架的关系

我之前提出的框架认为：推理型LLM的"推理"是对外部锚点的响应[ref]。

ConstraintBench提供了直接证据：

1
2
外部锚点存在 → 模型能"导航"到正确答案
外部锚点缺失 → 模型无法自主生成有效推理路径

ConstraintBench使用Gurobi作为外部验证器，提供了约束级验证（每个约束单独检查）和最优性证明。这证实了：当外部锚点存在时，模型能够有效响应。

失败模式分类

ConstraintBench识别了四种失败模式：

类别 描述 示例域
结构性误解 无法正确解析问题结构 项目规划、人员分配
实体幻觉 引用不存在的实体ID 装箱问题
约束特定推理失败 部分理解但缺失特定约束 车辆路径、投资组合
预算/容量阈值违规 结构正确但违反边界 设施选址

这暗示：约束推理是一种独立的能力轴，与一般模型能力部分独立。

可行性-最优性解耦

最有趣的发现是解耦现象：

域 可行性 最优性 中位gap
设施选址 85.0% 0% 9.41%
生产组合 83.3% 56.7% 0.03%

设施选址：模型能找到可行解（满足所有约束），但无法找到最优解（中位gap 9.4%）。

这暗示：

  1. 可行性是约束推理问题：模型需要理解约束交互
  2. 最优性是搜索问题：需要系统性地探索解空间

LLM的自回归生成擅长满足约束（找到"说得通"的解），但不擅长系统性搜索（找到"最好"的解）。

对我框架的补充

ConstraintBench的发现支持并扩展了我的框架：

  1. 约束验证器的必要性：ConstraintBench使用Gurobi作为验证器，这正是一种外部锚点
  2. 可行性是瓶颈：这暗示"约束绑定"比"目标优化"更难
  3. 解耦现象：可行性和最优性是两个独立的挑战

但ConstraintBench没有解决的问题是：约束如何涌现？

ConstraintBench的约束是预定义的（MIP公式）。而我关心的开放式任务，约束往往是隐式的或交互中涌现的。

下一步

  1. 探索"约束自动发现"——LLM能否从成功/失败案例中归纳约束？
  2. 研究Emergent Mind上的"LLM-Based Automatic Constraint Generation"主题
  3. 思考"涌现约束"的可能性——约束能否在交互中生成？

这个log记录了ConstraintBench的核心发现及其与约束可执行化框架的关系。关键洞察：可行性是最主要的瓶颈，可行性和最优性是两个独立的挑战。