SmolVLA · 稠密视觉融合
保留全局视觉分支,新增冻结DINOv2-B/14工作区特征。37×37 patch网格投影至720维,以8头交叉注意力融入动作专家。
零初始化残差门控维持热启动输出一致;特征及K/V在10步去噪内复用。保留材料中的实际模块与集成补丁。
基于社区 SmolVLA / DexGraspVLA 实现,统一整理动作表示、视觉扩展、位姿–力分支及实机演示。
保留全局视觉分支,新增冻结DINOv2-B/14工作区特征。37×37 patch网格投影至720维,以8头交叉注意力融入动作专家。
零初始化残差门控维持热启动输出一致;特征及K/V在10步去噪内复用。保留材料中的实际模块与集成补丁。
位姿与手部25D、五指实测力5D分别编码和归一化,公开预测边界合为30D;以流匹配速度场生成动作块。
力分支预测未来五指实测反馈;位姿与手部控制通过独立分支输出,适配低层视觉动作策略。
| 检查 | 记录 | 口径 |
|---|---|---|
| 动作表示与固定锚点 | 12项接口参考测试通过 | NumPy/SciPy表示、旋转和训练数学检查 |
| 零门控初始化 | 固定噪声输出最大差0.0 | 输出形状1×16×25,模型热启动一致性 |
| 模型审计 | 32项测试通过记录 | 真实forward/backward数值检查 |
| DINO阶段1 | 18,200步checkpoint记录 | 3,155,760个可训练适配参数 |
| 训练工程 | 8进程配置、分组损失、有效计数归约 | 阶段化训练与分布式数据加载 |
分组损失采用有效标量元素计数归约,处理各rank有效样本数不一致时的DDP权重;8卡BF16及分阶段微调配置单独保存。历史排查还覆盖了persistent DataLoader/PyAV worker的退出问题。
数据审计区分机器人反馈与遥操作指令,并保留RGB对齐误差分布。执行接口通过canonical手部通道、单位、IK和传感器顺序约定连接模型预测与硬件适配层。