【机器人】mobile-aloha:可移动可学习遥控操作机器人 Learning Bimanual Mobile Manipulation with Whole-Body Teleoperation

本文链接：https://blog.csdn.net/imwaters/article/details/145827761

发布时间：2024年01月

项目主页：https://mobile-aloha.github.io/

在框架中使用：https://github.com/huggingface/lerobot

（*视频中的机器人是遥控操作的，机器人自主技能请见项目网站）

Mobile ALOHA: 你的管家机器人

一、简介（用低成本全身远程操作学习双手移动操作）

人类示范的模仿学习在机器人技术中表现出令人印象深刻的性能。然而，大多数成果专注于桌面操作，缺乏执行一般实用任务所需的移动性和灵巧性。在这项工作中，我们开发了一个模仿移动操作任务的系统，这些任务是双手的，并且需要全身控制。我们首先介绍 Mobile ALOHA，这是一个低成本的全身远程操作系统，用于数据收集。它通过移动基座和全身远程操作界面增强了ALOHA系统。使用Mobile ALOHA收集的数据，我们然后执行监督行为克隆，并发现与现有的静态ALOHA数据集共同训练可以提高移动操作任务的性能。通过每项任务50次演示，共同训练可以将成功率提高到90%，使Mobile ALOHA能够自主完成复杂的移动操作任务，

例如煎炒并上菜一片虾、
打开双门墙橱存放重型烹饪锅具、
呼叫并进入电梯、
使用厨房水龙头轻轻冲洗使用过的平底锅。

硬件细节

移动ALOHA，系统由有两个手腕摄像头（wrist camera）和一个顶部摄像头，具有机载电池和计算设备

应用

移动机械手相对于地面的垂直高度可达65cm至200cm，可超出底座100cm，可举起重1.5kg的物体，并能以100N的速度施加100N的拉力。高度1.5m。 Mobile ALOHA 能够执行的一些示例任务包括：

家务管理：给植物浇水、使用吸尘器（use a vacuum）、装卸洗碗机、从冰箱取饮料、打开门、使用洗衣机、扔和铺被子、塞枕头、拉上拉链和挂夹克、折叠裤子、打开/关闭灯，并自动充电。
烹饪：鸡蛋打碎，蒜切末，蔬菜拆包，倒入液体，煎炸鸡腿，将蔬菜焯水，翻炒，盛入盘中。
人机交互：与人类打招呼并握手，打开并递给人类啤酒，帮助人类刮胡子和铺床。

二、与静态 ALOHA 数据联合训练

在这项工作中，我们使用协同训练管道，利用现有的静态 ALOHA 数据集来提高移动操作模仿学习的性能，特别是双手动作。静态 ALOHA 数据集总共有 825 个任务演示，包括Ziploc 密封、拿起叉子、糖果包装、撕纸巾、打开带盖的塑料杯、打乒乓球、胶带分配、使用咖啡机、交接铅笔、紧固魔术贴电缆、插入电池以及操作螺丝刀。请注意，静态 ALOHA 数据全部收集在黑色桌面上，并且两条手臂固定为面对面。这种设置与 Mobile ALOHA 不同，MobileALOHA 的背景随着底座的移动而变化，并且两个手臂平行放置，面向前方。我们在协同训练中没有对 RGB 观察或静态 ALOHA 数据的双手动作使用任何特殊的数据处理技术。

$a_{arms} \in R^{^{14}}$ 双手动作被表述为目标关节位置