Learning Surgical Robotic Manipulation with 3D Spatial Priors

Title: Learning Surgical Robotic Manipulation with 3D Spatial Priors
Authors: Yu Sheng, Lidian Wang, Xiaomeng Chu, Jiajun Deng, Min Cheng, Yanyong Zhang, Bei Hua, Houqiang Li, Jianmin Ji
arXiv: https://arxiv.org/abs/2603.03798

1) 问题与动机（为什么值回看）

手术机器人中的高精细操作最怕两件事：

• 视觉信号受遮挡/光照/组织变化影响；
• 纯2D 表征难以稳定表示 3D 操作几何。

这篇的核心意图是把 3D 空间信息直接嵌回策略网络，不靠独立重建流水线，减少几何误差在控制链中的放大。

2) 方法框架（SST）

从摘要可还原到：

1. 构建大规模数据支撑（Surgical3D，约 30,000 stereo 对，带 3D 几何）；
2. 用几何 Transformer 从 stereo 图像中学习空间先验表示；
3. 用 MSFC 将空间先验对齐到动作空间（endoscope-centric）；
4. 在 end-to-end 策略中联合优化。

这意味着它不是“先还原几何再决策”的双阶段框架，而是把几何信息前置到策略学习中。

3) 关键数学框架

可写为多目标学习：

$$\underset{\theta }{\min }{\mathcal{L}}_{\text{policy}}(\theta )+\alpha {\mathcal{L}}_{\text{3Dprior}}(\theta )$$

其中 ${\mathcal{L}}_{\text{3Dprior}}$ 约束网络中间表示与深度几何一致。

如果 $\alpha$ 太小：你得到的是“弱几何约束的2D策略”； 如果 $\alpha$ 太大：你可能牺牲任务适应性、动作灵活性。

4) 如何读实验

建议重点核查：

• knot tying、ex-vivo dissection 等任务上是否可见明显泛化提升；
• 在遮挡/姿态变化/组织状态变化下是否仍稳定；
• 与 baseline 的对比收益是否来自真实几何建模，而非仅数据增益。

5) 可见失败模式

• Stereo 几何标注噪声会污染先验；
• 真实场景和训练分布偏离导致先验约束失配；
• 若任务中存在显著模型外形变，先验反而会让策略过度“保守”。

6) 你可复现的实验建议

先做“去先验 vs 加先验”两组消融：

1. 固定模型与数据，仅关闭 3D prior；
2. 开启 3D prior，比较泛化提升来源；
3. 再看动作平滑性和安全指标（误碰概率、过大扭矩）是否同步改善。

7) 对你的下一步启发

这篇可迁移的方向是“在你当前手眼-抓取场景中引入几何先验开关”：

• 场景几何复杂、视野不完整时开；
• 场景稳定时降级关闭以减低推理压力。

Figures (optional)

• 暂不强制图示。若你要可视化，建议画：任务成功率 vs 遮挡强度曲线、先验权重变化对失败率影响图。

Research action for Wanpeng

下一步你可试着在一个任务上实现两个版本（SST-on / SST-off）对照，输出一个“何时需要 3D 先验”的决策门控规则。

Graph: Paper Node 2603.03798