CVPR 2025丨京东科技大比分领先，斩获机器人双臂操作仿真挑战赛冠军！
大模型的发展为机器人行业注入了新的希望，斯坦福“炒虾机器人”项目更是导火索，点燃了具身智能赛道的全球热潮。在这一背景下，具身操作作为具身智能落地应用中最具价值的技术方向，正成为学术界与产业界都关注的核心。在2025年CVPR机器人双臂操作仿真挑战赛中，京东科技团队“JD-TFS”以大比分领先，超越地平线、蔚来、清华、哈工大等国内外知名企业和高校，在第一阶段、第二阶段双双夺得冠军。
CVPR2025挑战赛：逼近真实场景的极限考验
2025年6月，全球计算机视觉与人工智能领域顶级会议CVPR(IEEE/CVFRecognition)在美举办，本次大会聚焦“生成式人工智能时代的多智能体具身系统”，其中RoboTwin双臂协作竞赛作为三大核心赛事之一，备受学界关注。比赛采用RoboTwin仿真平台和Cobot-Magic实体平台，分为模拟赛和线下赛两个阶段，注重解决模拟和现实世界环境中机器人操作的复杂性问题。
挑战赛聚焦于机器人双臂操作任务，涵盖合成数据生成、端到端模型框架设计与训练、视觉-触觉多模态感知与轨迹控制等关键技术。挑战赛目标是在随机物体摆放的仿真环境中取得尽量高的操作成功率：仿真赛第一阶段任务集包括叠木块、摆放手机、摆放鞋子、摆放鼠标等；
机械臂完成收纳鞋子任务
仿真赛第二阶段比赛难度成指数级上升，以"根据语言指令完成鞋子收纳"任务为例，其复杂性体现在多重环境变量与跨模态控制的耦合挑战中。在随机桌面高度、桌面纹理、随机光照的复合环境中，机器人需从放置了许多无关物体的杂乱桌面里定位到鞋子，同时解析"将鞋子放在盒子里"的自然语言指令。随着比赛阶段的进行，任务设定越来越接近机器人真实工作场景，也越来越困难。
大模型的发展为机器人行业注入了新的希望，斯坦福“炒虾机器人”项目更是导火索，点燃了具身智能赛道的全球热潮。在这一背景下，具身操作作为具身智能落地应用中最具价值的技术方向，正成为学术界与产业界都关注的核心。在2025年CVPR机器人双臂操作仿真挑战赛中，京东科技团队“JD-TFS”以大比分领先，超越地平线、蔚来、清华、哈工大等国内外知名企业和高校，在第一阶段、第二阶段双双夺得冠军。
CVPR2025挑战赛：逼近真实场景的极限考验
2025年6月，全球计算机视觉与人工智能领域顶级会议CVPR(IEEE/CVFRecognition)在美举办，本次大会聚焦“生成式人工智能时代的多智能体具身系统”，其中RoboTwin双臂协作竞赛作为三大核心赛事之一，备受学界关注。比赛采用RoboTwin仿真平台和Cobot-Magic实体平台，分为模拟赛和线下赛两个阶段，注重解决模拟和现实世界环境中机器人操作的复杂性问题。
挑战赛聚焦于机器人双臂操作任务，涵盖合成数据生成、端到端模型框架设计与训练、视觉-触觉多模态感知与轨迹控制等关键技术。挑战赛目标是在随机物体摆放的仿真环境中取得尽量高的操作成功率：仿真赛第一阶段任务集包括叠木块、摆放手机、摆放鞋子、摆放鼠标等；
机械臂完成收纳鞋子任务
仿真赛第二阶段比赛难度成指数级上升，以"根据语言指令完成鞋子收纳"任务为例，其复杂性体现在多重环境变量与跨模态控制的耦合挑战中。在随机桌面高度、桌面纹理、随机光照的复合环境中，机器人需从放置了许多无关物体的杂乱桌面里定位到鞋子，同时解析"将鞋子放在盒子里"的自然语言指令。随着比赛阶段的进行，任务设定越来越接近机器人真实工作场景，也越来越困难。
机械臂在真实场景实现抓-移-放技能
京东科技能够在两阶段比赛中领先大比分夺冠，与京东长期的大模型技术积累，和应用场景中的创新探索密不可分。此次大赛中，京东科技通过在模型和数据维度的双重创新，为机械臂在真实场景中的更精度应用奠定了扎实基础。
技术破局：AnchorDP3模型与数据构建的双重创新
模型层面，在3Dpolicy基础上，京东科技团队提出了一种具有高精度、高成功率的3D视觉运动策略AnchorDP3，主要利用以任务操作对象为中心的3D视觉表征，完成多背景多物体的数据采集和训练。模型系统架构如下：
模型架构图
AnchorDP3是以3Dpolicy为基础进行模块化设计，模型采用简化的PointNet实现对点云信息特征提取，并通过统一的扩散动作专家生成相应的任务动作序列。其中，语言指令模块采用轻量化BERT实现对不同任务的理解，通过与其对应的点云特征提取模块融合，实现小参数量可灵活扩展的多任务多头输入；同时将所有任务混合，实现端到端的具身操作多模态模型训练。
数据集构建部分，结合数据采集效率以及模型测试效果分别从三方面着重进行优化：
1)对于动作专家action输出，京东科技团队将连续的动作输出变为来源于专家策略的离散关键点，即所有到达预抓取姿态之前的帧，其输出的目标动作均被设定为该预抓取姿态。并通过随机抽观测的方式，保证数据均衡，这种方法显著扩展了仿真中收集的轨迹数据集，从千条级别提升至数十万条，极大地增强了对各种随机设置的覆盖能力。
图2稀疏关键点数据集的构造方式
2)与传统数据采集丢弃失败数据不同，对于失败轨迹如何有效的处理也是数据构建的关键。考虑到不同物体抓取状态以及任务执行时抓取不牢等失败case，结合Dagger方法，通过随机扰动方式使机器人自主收集从失败中恢复到成功执行的数据，使得模型能够学习如何从失败状态下完成到任务成功执行完成的能力。
3)在数据构建过程中，京东科技团队将机器人的关节坐标和末端执行器坐标同时作为模型的动作输出，该策略优势在于，关节坐标提供对机械臂运动的直接控制，而末端执行器坐标则确保任务目标的准确性和灵活性。通过同时输出这两种坐标，模型能够更好地理解和执行复杂的抓取任务，提高任务成功率。
依托京东供应链布局，京东科技推动机器人产业发展
2024年4月，京东科技发布了国内首个双臂移动机器人操作数据集，为行业提供了重要的数据基准与方法参考。此外，应用场景是具身智能落地的关键动力，机械臂在物流场景中已被广泛应用，承担分拣操作等工作。在机器人ToC应用方面，京东的供应链基础具备显著优势。京东JoyInside将京东大模型驱动的对话智能体植入硬件本体，进入交互终端硬件。今年618，京东接入了众擎、商汤元萝卜、灵童、魔法原子、文曲星、萤石、folotoy等一众头部机器人品牌，联合多个品牌焕新登场，打造全新“机器人天团”的硬核阵容。
本次CVPR挑战赛，不仅为京东提供了一个面向合成数据训练的高质量平台，也成为京东将具身智能研究与具身操作应用真正融合的桥梁。京东作为机器人产业界的重要推动者之一，不仅在学术竞赛的比拼中摘得桂冠，还有扎实的供应链基础，在具身智能方向有丰富的应用场景，未来京东还将持续吸纳具有潜力的优秀人才，为机器人产业释放更多动能。
加载全文
