VISION-CONDITIONED DEXTEROUS MANIPULATION · IMPLEMENTATION STUDY

灵巧操作策略适配
与稠密视觉融合

基于社区 SmolVLA / DexGraspVLA 实现,统一整理动作表示、视觉扩展、位姿–力分支及实机演示。

66 段所选示教记录
23,283 帧10Hz,历史数据审计
25D / 30D控制与位姿–力预测边界
1,369DINO稠密patch token
完成25D统一动作表示、固定锚点相对位姿、DINO稠密视觉融合及位姿–力预测接口适配;训练配置、模型审计、检查点和实机操作片段在同一项目中组织展示。

实机桌面物体操作演示

约26秒机械臂与灵巧手桌面物体操作片段,保留完整操作顺序,采用H264浏览器兼容编码。

统一接口下的两条适配路径

具名示教数据与RGB → 状态/动作分离 → 固定观测锚点的相对位姿 → rotation6D + canonical hand16

SmolVLA · 稠密视觉融合

保留全局视觉分支,新增冻结DINOv2-B/14工作区特征。37×37 patch网格投影至720维,以8头交叉注意力融入动作专家。

零初始化残差门控维持热启动输出一致;特征及K/V在10步去噪内复用。保留材料中的实际模块与集成补丁。

DexGraspVLA · 位姿/力分离

位姿与手部25D、五指实测力5D分别编码和归一化,公开预测边界合为30D;以流匹配速度场生成动作块。

力分支预测未来五指实测反馈;位姿与手部控制通过独立分支输出,适配低层视觉动作策略。

绝对位姿重建 → 16步动作块 / 执行6步后重规划 → 模型与硬件适配器分离的推理边界

实现验证

检查记录口径
动作表示与固定锚点12项接口参考测试通过NumPy/SciPy表示、旋转和训练数学检查
零门控初始化固定噪声输出最大差0.0输出形状1×16×25,模型热启动一致性
模型审计32项测试通过记录真实forward/backward数值检查
DINO阶段118,200步checkpoint记录3,155,760个可训练适配参数
训练工程8进程配置、分组损失、有效计数归约阶段化训练与分布式数据加载

训练与数据工程

分组损失采用有效标量元素计数归约,处理各rank有效样本数不一致时的DDP权重;8卡BF16及分阶段微调配置单独保存。历史排查还覆盖了persistent DataLoader/PyAV worker的退出问题。

数据审计区分机器人反馈与遥操作指令,并保留RGB对齐误差分布。执行接口通过canonical手部通道、单位、IK和传感器顺序约定连接模型预测与硬件适配层。