Learning to unfold cloth Scaling up world models to deformable object manipulation

Title: Learning to unfold cloth: Scaling up world models to deformable object manipulation
Authors: Jack Rome, Stephen James, Subramanian Ramamoorthy
arXiv: https://arxiv.org/abs/2602.16675

Problem framing

布料操作是高维形变 + 接触耦合问题，刚体操控范式在跨材质/折痕场景下泛化不足。

Core method

在 DreamerV2 基础上增强 world model：加入 surface normals 输入，并改造 replay buffer 与数据增强流程。

Key equations and mechanisms

沿用 latent imagination RL：

$$\mathcal{L}={\mathcal{L}}_{recon}+{\lambda }_{dyn}{\mathcal{L}}_{dyn}+{\lambda }_{rl}{\mathcal{L}}_{policy/value}$$

法向输入提升局部几何可辨识度，缓解视觉同像异态。

Experiment reading guide

重点看 zero-shot 实机 unfold、跨材质稳健性、以及 normals/buffer 的消融贡献。

Limitations

主要覆盖 unfold；复杂遮挡与长时 rollout 偏差问题仍在。

Future work

加入触觉和层级子目标，扩展到 folding/packing 等更复杂可变形任务。

Replication angle

先单材质做 ablation，再做跨材质扩展，重点记录想象偏差导致的失败模式。

图链接（可直链渲染）：https://arxiv.org/html/2602.16675v1/media/system_diagram2.png

Graph: Paper Node 2602.16675