洗衣服做家务机器人
- 量子位
- 2024-11-05 00:14:18
洗衣服做家务机器人
这是一个会自己洗衣服、叠衣服、泡咖啡、倒垃圾，甚至还能抓取稍加用力就会捏碎的鸡蛋的机器人。
简直像是一个会做各类家务的全能好手，能力堪比真正意义上的通用版家庭机器人。
看这个【视频】，只见机器人将衣物从洗衣机里取出来，并整齐划一地叠好并摞起来。
全过程小心翼翼，像一个怕做错事的孩子，叠好后它还不忘拍两下，好像在鼓励自己“干得不错”。
人类轻松完成的叠衣动作，对机器人来说却并不简单，因为衣服的褶皱会干扰其视觉模型的判断。
这个由“物理智能”（Physical Intelligence）团队研发的通用机器人π（pi-zero），竟然克服了这些困难。
π模型号称在迄今为止最大的交互数据集上训练，其任务场景涉猎广泛，包括：将物品装入袋子、折叠衣服、包装纸盒、插入电源插头，将食物装入外卖盒，捡起并扔掉垃圾等多种日常家务。
令人兴奋的是，官方还开源了这一多样化的大型任务数据集。【视频2】
技术原理方面，π模型采用了视觉-语言-动作模型，从【图】可以看到，中间的架构部分包括预训练的视觉-语言模型（VLM）和行动专家模块（action expert）。
这使得机器人具备丰富的语义知识和视觉理解能力。
右侧部分展示了模型在特定任务上的后训练效果，包括在分布内任务上的零次训练（如摆放桌面），针对困难任务的专门后训练（如批量折叠衣物），以及对未见任务的有效后训练（如放置抽屉物品、更换纸巾等）。
感兴趣的小伙伴可以点击：
网页链接
这是一个会自己洗衣服、叠衣服、泡咖啡、倒垃圾，甚至还能抓取稍加用力就会捏碎的鸡蛋的机器人。
简直像是一个会做各类家务的全能好手，能力堪比真正意义上的通用版家庭机器人。
看这个【视频】，只见机器人将衣物从洗衣机里取出来，并整齐划一地叠好并摞起来。
全过程小心翼翼，像一个怕做错事的孩子，叠好后它还不忘拍两下，好像在鼓励自己“干得不错”。
人类轻松完成的叠衣动作，对机器人来说却并不简单，因为衣服的褶皱会干扰其视觉模型的判断。
这个由“物理智能”（Physical Intelligence）团队研发的通用机器人π（pi-zero），竟然克服了这些困难。
π模型号称在迄今为止最大的交互数据集上训练，其任务场景涉猎广泛，包括：将物品装入袋子、折叠衣服、包装纸盒、插入电源插头，将食物装入外卖盒，捡起并扔掉垃圾等多种日常家务。
令人兴奋的是，官方还开源了这一多样化的大型任务数据集。【视频2】
技术原理方面，π模型采用了视觉-语言-动作模型，从【图】可以看到，中间的架构部分包括预训练的视觉-语言模型（VLM）和行动专家模块（action expert）。
这使得机器人具备丰富的语义知识和视觉理解能力。
右侧部分展示了模型在特定任务上的后训练效果，包括在分布内任务上的零次训练（如摆放桌面），针对困难任务的专门后训练（如批量折叠衣物），以及对未见任务的有效后训练（如放置抽屉物品、更换纸巾等）。
感兴趣的小伙伴可以点击：
网页链接
