新闻详情

走进虚拟,走向现实,首个城市级具身智能仿真平台“浦源·桃源”发布

发表时间:2024-07-30 15:30

走进虚拟“桃源”,走向缤纷现实


与大模型不同,具身智能的能力提升需要从交互中自主学习。在真实物理世界中对机器人进行训练,存在着数据采集效率低下、复用性差、训练风险高、评测困难等诸多瓶颈,因而,将在虚拟环境训练成果应用于真实环境的“虚实迁移”(Simulation-to-Real)技术,成为当前具身智能领域的重点研究方向之一。


桃源仿真平台可模拟各种复杂场景和机器人的行为模式,包括但不限于户外作业、社交互动、家庭生活、工业生产、商业交易等,从而为具身智能体提供了具有社会属性的虚拟社会。该平台包含海量高质量可交互场景数据,并可借助AIGC技术生成多样化、难度适中的具身智能任务,建立相应的评测体系,赋能具身智能大模型研发。


贴近现实的具身智能任务



数据、工具链、评测三位一体

此外,借鉴人类运动员的训练场景,桃源仿真平台还为具身智能体构建了训练场、陪练员及评分表。


作为训练场的GRScenes场景数据集包含10万级别高质量、可交互场景数据,首次覆盖超市、医院等 89 种功能性场景,提供语言描述、物体类别、部件、材质等全方位标注。


在视觉真实性和物理真实性的打造过程中,研究团队与专业场景设计师团队合作,实现场景布局、物体纹理等方面的真实,**限度使虚拟场景与现实环境接轨。


同时,GRScenes中的物体具备真实的部件设计、物理属性及内部建模,并基于Isaac Sim算法进行物理仿真,为具身智能训练提供了真实的场景交互反馈。通过人工标注和多模态大模型的应用,场景中的所有区域、物体具有类别、材质等标注,为具身智能训练提供了可参考的物理场景指标。


多种功能类型场景



GRResidents角色交互系统相当于陪练员,由LLM驱动智能虚拟角色进行具身任务生成与分发,为平台提供交互社交属性。


构建“以人为中心”的通用机器人系统对具身智能研究尤为重要。在真实应用中,机器人通常需要与用户进行多轮交互,以明确指令目标,提升执行效率。由大模型智能体框架构成的GRResidents,利用多模态大模型和系统API,从场景中提取物体描述、空间关系和区域描述等高层语义信息,并通过全局信息管理器(World Knowledge Manger)将这些信息组织成智能体可调用的环境感知 API。


由大模型驱动的NPC(非玩家角色)相当于仿真平台中的“居民”,他们可依据对话及环境感知 API 进行信息提取和推理,从而进行开放形式对话。在此基础之上,这些 NPC 能够通过采样将场景信息进行智能组合,进而生成多种形式的具身任务,供具身智能体训练。


大模型驱动的NPC系统



GRResidents: 智能虚拟角色系统


评分表由GRBench评测体系完成,支持对多类机器人及任意任务进行客观评测。


目前,桃源仿真平台支持多种类型机器人的训练评测,包括对机械臂、轮式机器人、四足机器人、人形机器人的运动控制算法及训练。


用户通过即插即用式 API 调用,即可在任意任务中模拟真实的控制过程,并还原规划过程中的各类场景。未来,桃源仿真平台还将通过持续迭代,拓展对更多类型具身智能体的支持。


桃源仿真平台支持各类型机器人及任务评测,并提供控制算法及生态工具链



基于桃源仿真平台,上海AI实验室为具身智能研究构建起生态工具链,为打通各平台壁垒,充分利用各类具身智能控制开源算法,提供了首个跨平台控制算法的迁移工具包。使用工具包,用户可一键将Isaac Gym、Isaac Lab等具身智能开源社区的控制算法迁移至桃源仿真平台。在人机交互方面,研究团队还打造了支持多模态交互与机器人控制的全新交互界面,便于研究者进行算法演示和调试,进一步提升研究效率。

(来源:上海人工智能实验室)









如有侵权,请联系删除


分享到: