SafeGen-LLM Enhancing Safety Generalization in Task Planning for Robotic Systems

Title: SafeGen-LLM: Enhancing Safety Generalization in Task Planning for Robotic Systems
Authors: Jialiang Fan, Weizhe Xu, Mengyu Liu, Oleg Sokolsky, Insup Lee, Fangxin Kong
arXiv: https://arxiv.org/abs/2602.24235

Problem framing

机器人任务规划里“可泛化”与“可安全”常被割裂：经典规划可验证但扩展性差，RL/基础 LLM 可扩展但安全约束在分布外容易失效。

Core method

论文提出 SafeGen-LLM：把安全属性显式注入到 LLM 规划生成与训练目标中，使模型不仅提升已见约束满足率，也能迁移到未见安全规则。

Key equations and mechanisms

可抽象为约束增强的生成目标：

$$\underset{\theta }{\max }{\mathbb{E}}_{\tau \sim p_{\theta }}[R_{task}(\tau )]-\lambda \mathbb{E}[\mathbb{I}(\tau /\models {\phi }_{safe})],$$

其中 ${\phi }_{safe}$ 表示时序/逻辑安全属性；核心是把“语言可行”与“安全可证”同时纳入学习信号。

Experiment reading guide

重点看三条曲线：已知域安全满足率、跨域/新属性迁移成功率、与基座 LLM/经典规划混合方案的鲁棒性差距。

Limitations

安全属性表达能力依赖规则覆盖度；若真实环境约束未被形式化，模型仍可能出现“语义正确但执行不安全”。

Future work

可接入在线监控器（shielding）与闭环执行反馈，把离线安全泛化扩展到真实机器人执行链路。

Replication angle

优先复现实验中的“seen vs unseen safety properties”拆分评测，验证其泛化增益是否独立于模型规模。

Figure: https://arxiv.org/html/2602.24235v1/2602.24235v1/figures/cross_model_success_rate.png

Graph: Paper Node 2602.24235