Large-Language-Model-Guided State Estimation for Partially Observable Task and Motion Planning

Title: Large-Language-Model-Guided State Estimation for Partially Observable Task and Motion Planning
Authors: Yoonwoo Kim, Raghav Arora, Roberto Martín-Martín, Peter Stone, Ben Abbatematteo, Yoonchang Sung
arXiv: https://arxiv.org/abs/2603.03704

Problem framing

部分可观测TAMP里，机器人会看到大量“当前无关但未来可能关键”的对象；传统估计器往往忽略它们，导致后续规划缺上下文。

Core method

该文让LLM提供常识先验，辅助状态估计器判断“哪些未观测对象可能存在于何处”，再与几何/任务约束融合更新belief，从而提升长程规划可行性。

Key equations and mechanisms

可写成belief更新： $b_{t+1}(x)\propto p(o_{t+1}|x,a_t){\sum }_{x^{\prime }}p(x|x^{\prime },a_t)b_t(x^{\prime })\cdot q_{LLM}(x|c_t)$ 其中 $q_{LLM}$ 表示由语言常识上下文 $c_t$ 导出的先验因子，等价于对POMDP信念施加语义重加权。

Experiment reading guide

优先看“隐藏物体推断”相关任务：是否减少无效探索、是否缩短任务完成路径、是否提升首次成功率。

Limitations

LLM先验可能带偏见；若常识与具体环境冲突，可能误导belief。

Future work

可引入不确定性校准与先验置信门控，仅在观测证据不足时启用强语义先验。

Replication angle

复现时建议把LLM先验替换为规则库与随机先验做对照，验证收益确实来自语义知识而非额外计算预算。

图示：arXiv 页面无稳定直链图片。

Graph: Paper Node 2603.03704