LangGap - Diagnosing and Closing the Language Gap in Vision-Language-Action Models

Title: LangGap: Diagnosing and Closing the Language Gap in Vision-Language-Action Models Authors: Yuchen Hou, Lin Zhao arXiv: https://arxiv.org/abs/2603.00592v1 Relevance: Medium

Problem framing

本文聚焦于：Vision-Language-Action (VLA) models achieve over 95% success on standard benchmarks. However, through systematic experiments, we find that current state-of-the-art VLA models largely ignore language instructions. Prior w。从机器人/VLA视角，核心痛点是把“可解释目标”稳定映射到“可执行动作/轨迹”，并在分布外扰动下保持性能不塌陷。

Core method

系统诊断VLA语言对齐短板并提出可执行修复路径，直接作用于“看得懂但做不对”问题。 方法主线通常可写为“表示层（状态/语义）→ 中间机制层（优化/奖励/混合/检索）→ 控制层（动作生成/执行）”三级联动，强调训练-推理一致性与部署可行性。

Key equations and mechanisms

可用统一目标理解为：

\pi^* = rg\max_\pi \; \mathbb{E}_{ au\sim\pi}\left[\sum_t r_t^{task} + \lambda_1 r_t^{align} - \lambda_2 \mathcal{R}(\pi) ight]

其中 $r_t^{align}$ 对应语言-视觉-动作一致性或关键帧结构约束，$\mathcal{R}(\pi )$ 对应稳定性/约束罚项（如可行域、平滑性、风险）。

Experiment reading guide

建议先看：1）主任务成功率与样本效率曲线；2）OOD/扰动泛化；3）消融（去掉关键机制后性能回落幅度）；4）推理时延或求解时间。

Limitations

当前证据通常仍受限于基准封闭性与任务分布；对真实长尾接触、传感噪声、跨本体迁移的覆盖仍可能不足。

Future work

可延展到：跨 embodiment 联合训练、world model + policy 协同后训练、以及具身安全约束的可证化集成。

Replication angle

优先复现最小闭环：同一数据协议 + 同一评测脚本 + 关键模块替换实验。先复现相对增益，再追求绝对 SOTA。

Figure links

https://arxiv.org/html/2603.00592v1/x1.png; https://arxiv.org/html/2603.00592v1/x2.png

Graph: Paper Node 2603.00592