Squint Fast Visual Reinforcement Learning for Sim-to-Real Robotics

Title: Squint: Fast Visual Reinforcement Learning for Sim-to-Real Robotics
Authors: Abdulaziz Almuzairee, Henrik I. Christensen
arXiv: https://arxiv.org/abs/2602.21203

Problem framing

视觉 RL 在机器人上一直卡在“两难”：off-policy 样本效率高但训练慢，on-policy 并行快但样本浪费。论文关注的核心不是再做一个更复杂策略，而是把训练吞吐与样本效率同时拉起来，让 sim2real 变成可日常迭代的工程流程。

Core method

Squint 走的是“结构拆分 + 训练路径优化”：把视觉编码、值函数学习、策略更新的时序与资源占用重新编排，减少高维图像带来的存储/编码瓶颈；同时保持 off-policy 的经验复用能力。直观上是把“每步都贵”的视觉 RL，改造成“关键步骤贵、其余步骤高吞吐”的流水线。

Key equations and mechanisms

• 离策略目标（SAC/actor-critic 族）：

$$J_Q(\theta )={\mathbb{E}}_{(s,a,r,s^{\prime })\sim \mathcal{D}}\left[\right(Q_{\theta }(s,a)-(r+\gamma {\mathbb{E}}_{a^{\prime }\sim \pi }[\bar{Q}(s^{\prime },a^{\prime })-\alpha \log \pi (a^{\prime }|s^{\prime })]\left){)}^2\right]$$

强调通过经验回放 $\mathcal{D}$ 反复利用样本。

• 视觉表征与控制解耦：将图像编码器更新频率与策略头更新频率分离，降低端到端反传成本。
• 墙钟时间优化：把“每单位真实时间获得的策略改进”作为主要优化指标，而非仅看环境步数回报。

Experiment reading guide

先看 wall-clock 曲线（同等硬件下达到目标成功率所需小时数），再看 sim2real 迁移成功率。重点对比：是否在不牺牲最终性能的情况下显著降低训练时延。

Limitations

若任务强依赖细粒度时空视觉细节，编码器压缩/稀疏更新可能损伤上限；另外该类系统级优化对工程实现质量敏感，复现时需严格对齐数据管线。

Future work

可与 world model 或 latent imagination 结合，把“高吞吐离策略学习”继续推向更低真实交互成本；也可引入跨机器人本体共享回放池，探索 cross-embodiment 数据复用。

Replication angle

先在单任务 sim 环境对齐作者 wall-clock 设定，做“固定回报阈值的训练耗时”复现；再迁移到小规模真机 pick-place/导航任务，验证吞吐收益是否保留。

Key Figure: https://arxiv.org/html/2602.21203/x1.png

Graph: Paper Node 2602.21203