论文总结：Learning Unmasking Policies for Diffusion Language Models
核心思想： 不再人工规定扩散模型的生成顺序，而是通过强化学习自动决定每一步解除哪些 Mask。
具体方法：
建模： 将解掩码过程定义为 MDP，冻结原始扩散模型。
策略： 使用轻量级 Transformer，输入各位置置信度、Mask 状态和时间步，输出每个位置的解掩码概率。
训练： 使用 GRPO，以答案正确性和生成速度构建奖励，学习动态生成策略。
结果： Semi-AR 下接近 Fast-dLLM，Full-Diffusion 低计算预算下优势明显；专家引导可改善探索不足，但跨领域泛化有限。
对我们研究的启发
顺序学习： 冻结 DocID 生成模型，单独训练 Semantic ID 生成顺序策略。
奖励设计： 以 MRR@100 等文档级检索指标为目标，而非仅依赖置信度。
探索优化： 利用启发式顺序提供专家轨迹，缓解 RL 探索困难。
机制分析： 研究位置重要性、预测熵与最优生成顺序的关系。
泛化验证： 比较不同 ID 编码方式和检索数据集上的策略表现。