克雷西 发自 凹非寺街拍丝袜

量子位 | 公众号 QbitAI

东说念主类只需要演示五次，就能让机器东说念主学会一项复杂时期。

英伟达实验室，忽视了机器东说念主考研数据败落问题的新贬责决议——DexMimicGen。

五次演示之后，DexMimicGen就不错径直效法出1000个新的demo。

而且可用性强，用这些新demo考研出的机器东说念主，在仿真环境中的任务成遵守不错高达97%，比用真东说念主数据效果还要好。

参与此名堂的英伟达科学家范麟熙（Jim Fan）觉得，这种用机器考研机器的神气，贬责了机器东说念主范围最大的痛点（指数据网罗）。

同期，Jim Fan还预言：

机器东说念主数据的改日是生成式的，统统这个词机器东说念主学习进程的改日也将是生成式的。

值得一提的是，DexMimicGen三名共归拢作都是李飞飞的“徒孙”，具体说是德克萨斯大学奥斯汀分校（UT奥斯汀）助理西宾朱玉可（Yuke Zhu）的学生。

而且三东说念主均为华东说念主，当今都在英伟达商讨院实习。

5次演示，生成1000条数据

如前所述，DexMimicGen不错仅把柄东说念主类的5次演示，生成1000个新DEMO。

在统统这个词实验中，作家配置了9个场景，涵盖了3种机器东说念主口头，共进行了60次演示，获取了21000多个生成DEMO。

在仿真环境当中，用DexMimicGen生成数据考研出的计谋扩张整理抽屉这一任务，成遵守可达76%，而单纯使用东说念主工数据只须0.7%。

关于积木拼装任务，成遵守也从3.3%普及到了80.7%。

成遵守最高的任务是罐子分类街拍丝袜，更是高达97.3%，只用东说念主工数据的成遵守不异只须0.7%。

合座来看，在仿真环境中，生成数据让机器东说念主在作家想象的九类任务上的成遵守均显著加多。

比拟于baseline行径，用DexMimicGen生成的数据也更为有用。

移动到真确环境之后，作家测试了易拉罐分拣的任务，末端仅用了40个生成DEMO，成遵守就达到了90%，而不使用生成数据时的成遵守为零。

除此除外，DexMimicGen还展现了跨任务的泛化才略，使考研出的计谋在各式不同任务上推崇雅致。

针对运功绩态散播变化，DexMimicGen也体现出了较强的鲁棒性，在更无为的运功绩态散播D1和D2上测试时，仍然省略领有一定的成遵守。

将仿真行径移动到实践

DexMimicGen是由MimicGen立异而成，MimicGen也出自英伟达和UT奥斯汀的长入团队。

朱玉可和范麟熙都参与过MimicGen的责任，该遵守发表于CoRL 2023。

MimicGen的中枢念念想，是将东说念主类示范数据分割成以算计打算物体为中心的片断，然后通过变换物体相对位置和姿态，在新环境中复现东说念主类示范轨迹，从而杀青自动化数据生成。

DexMimicGen则在MimicGen系统的基础上，针对双臂机器东说念主明智操作任务作念了立异和扩展，具体包括几个方面：

引入并行、配合、法规三种子任务类型，以妥当双臂明智操作任务的需求；对应三种子任务类型，想象了异步扩张、同步扩张暄和序经管等机制，以杀青双臂的落寞动作、精密协同和特定法规操作；杀青了“实践-模拟-实践”的框架，通过构建数字孪生，将DexMimicGen拓展到了骨子机器东说念主系统的哄骗。

责任进程上，DexMimicGen会领先对东说念主类示范进行网络和分割。

商讨东说念主员通过捎带XR头显，汉典适度机器东说念主完成算计打算任务，在这一过程中就会产生一小批示范数据，作家针对每个任务网络了5~10个东说念主类示范样本。

这些东说念主类示范样本会按照并行、配合、法规三种子任务界说被切分红片断——

并行子任务允许两臂落寞扩张；配合子任务条目两臂在关键时刻同步动作；法规子任务则规矩了某些子任务必须在另一些子任务完成后材干扩张。

总之，在示范数据被切分后，机器东说念主的每个手臂会得到我方对应的片断靠拢。

在数据生成动手时，DexMimicGen随即化模拟环境中物体的位置、姿态等数据，并随即遴荐一个东说念主类示范手脚参考。

关于面前子任务，DexMimicGen司帐算示范片断与面前环境中关键物体位置和姿态的变换。

之后用该变换对参考片断中的机器东说念主动作轨迹进行处理，以使扩张这一变换后的轨迹省略与新环境中物体位置匹配。

生成变换后，DexMimicGen会保重每个手臂的动作队伍，手指环节的指令则径直重放示范数据中的动作。

在统统这个词过程中，系统不断检查任务是否成效完成，若是一次扩张成效完成了任务，则将扩张过程记载下来手脚有用的演示数据，失败则将数据丢弃。

之后等于将生成过程不断迭代，直到获取有余量的演示数据。

网罗好数据后，作家用DexMimicGen生成的演示数据考研效法学习计谋，计谋的输入为RGB相机图像，输出为机器东说念主动作。

临了是模拟到实践的移动，不异地，作家使用DexMimicGen在数字孪生环境中生成的大范围演示数据，考研效法学习计谋。

丝袜诱惑

之后作家对在数字孪生环境中评估考研得到的计谋进行调优，以提高其泛化性能和鲁棒性，并移动到骨子机器东说念主系统中。

作家简介

DexMimicGen的共归拢作有三东说念主，都是UT奥斯汀的华东说念主学生。

况兼三东说念主均出自李飞飞的学生、浙大学友朱玉可（Yuke Zhu）助理西宾门下，他们永诀是：

博士生Zhenyu Jiang，本科就读于清华，2020年干预UT奥斯汀，瞻望将于来岁毕业；硕士生Yuqi Xie（谢雨皆），本科是上海交大和好意思国密歇根大学联培，瞻望毕业时期亦然来岁；博士生Kevin Lin，本科和硕士永诀就读于UC伯克利和斯坦福，本年加入朱玉可课题组读博。

朱玉可的另一重身份是英伟达的商讨科学家，团队的另外两名风雅东说念主也都在英伟达。

他们永诀是Ajay Mandlekar和范麟熙（Jim Fan），也都是李飞飞的学生，Mandlekar是统统这个词DexMimicGen名堂组中惟一的非华东说念主。

另外，Zhenjia Xu和Weikang Wan两名华东说念主学者对此名堂亦有孝敬，统统这个词团队的单干如下：

△中语为机翻，仅供参考

名堂主页：

https://dexmimicgen.github.io/论文地址：

https://arxiv.org/abs/2410.24185参考辘集：

[1]https://x.com/SteveTod1998/status/1852365700372832707[2]https://x.com/DrJimFan/status/1852383627738239324

— 完 —

量子位 QbitAI · 头条号签约

关心咱们街拍丝袜，第一时期获知前沿科技动态