LookUM：用一步前瞻选择解遮盖路径

扩散语言模型每一步既要决定填什么 token，也要决定先填哪些位置。常见的置信度、概率差值、低熵策略，都根据当前预测选择位置。但当前容易预测，不代表填入后有利于后续生成；早期错误一旦固定，还可能继续传播。

LookUM 的核心是：提出几种填法，试填后重新预测，选择让后续状态更确定的分支。

技术方案：生成候选，再用自身不确定性验证

1. Path generator：按 confidence、margin 或负熵筛出高确定性位置池，再采样少量解遮盖集合。主实验通常池大小为 5，每个候选填 2 个 token，考察 2 个候选。不穷举位置和 token 的所有组合。

2. 一步前瞻：根据当前分布填入候选 token，形成假想下一状态，再运行一次模型，读取新的预测分布。不需要把每条候选完整生成到结尾。

3. Verifier：用各位置预测分布的平均负熵评分：
   $[ r(x)=-\frac1L\sum_i H(p_\theta^i(\cdot\mid x)). ]$
   分数越高，模型越确定。它是位置边缘分布的汇总，不是完整序列联合熵，也不是正确性判定器。

4. 选择分支：NIS 每步按$(\exp(r/\alpha))$加权抽选；SMC 维护多条粒子轨迹，按新旧状态的奖励差重加权、重采样。$(\alpha)$越小，越偏向高分候选。

为什么有效，边界在哪里？

作者发现：人为引入算术错误后，后续预测通常熵升高、置信度下降。LookUM 据此用不确定性筛选分支，无需额外训练或外部奖励模型。

它在数学、代码和规划六个基准上总体有效，在 RL 后训练的 LLaDA-1.5 上仍有收益，说明推理时搜索可以补充训练。少量候选就能取得主要提升，论文报告约 2–3 倍计算开销；开销主要来自候选状态的额外模型前向。

但低熵不保证正确，更多候选也不保证更好。候选同时改变位置与 token 取值，因此收益不能全部归因于纯顺序优化。它是有效的代理评分搜索，而非最优解码保证。

对 DocID 项目的启发

• 区分三个问题：置信度回答“现在谁最好预测”；前瞻评分回答“先填谁可能更有利”；随机干预回答“某一步预测对最终检索有多重要”。三者不能互相替代。

• 先验证机制：错误 DocID 是否也提高剩余位置的熵？错误前缀可能把合法文档缩到很小的集合，造成“非常确定，但相关文档已丢失”。分析必须结合合法集合大小和路径存活。

• 再做方法对照：保留现有四分支完整树及 Recall@100、MRR@100 口径，将前瞻调度作为独立变体，记录额外状态评估量。终局路径上限相同，不代表计算预算相同。

值得追问的是：局部确定性何时能预测终局检索价值，又何时只是约束收缩带来的假象？ 这正是 LookUM 与我们步次重要性实验的连接点。