最牛抓取机器人:X射线“看透”物体堆,还能顺应差别环境

2021-01-14 网络
浏览
[科技新闻]最牛抓取机器人:X射线“看透”物体堆,还能顺应差别环境

原题目:最牛抓取机械人:X射线“看透”物体堆,还能顺应差异环境

智器械(民众号:zhidxcom)

编 | 董温淑

智器械114日新闻,克日,谷歌和加州大学伯克利分校的研究人员在论文预印本网站arXiv上揭晓了两篇论文,形貌了两项新的人工智能(AI)手艺,使机械人能更好地顺应从未见过的新环境、完成行抓取、捡拾、抛弃等义务。

第一项研究先容了X射线机械搜索方案,能提高机械人识别目的物体的准确率。第二项研究先容了一个顺应训练算法,能提升机械人在差异环境中抓取目的物体的能力。

在实验环境中,机械人模子的抓取准确率到达82%!在模拟真实环境条件下,该机械人模子的抓取准确率也可以到达最高90%。

一、用X射线“透视”物体堆,抓取准确率比基线计谋高15%

在电子商务、货仓货物装卸、家庭服务等场景中部署机械人可以节约人力资源、提升人类生涯质量。然则,现有的机械人模子普遍不够智能,无法准确找到用户指定的物体,面临堆放的物体时尤其云云。

谷歌和加州大学伯克利分校的研究人员以为,集成X射线模块可以让机械人“透视”物体堆,提升机械人识别准确率。

这项研究名为《X射线:通过最小化学习占有率举行机械搜索(X-RayMechanical Search for an Occluded Object by Minimizing Support of Learned Occupancy Distributions)》

论文链接:https://arxiv.org/pdf/2004.09039.pdf

1、漫衍率学习 X射线,让机械人“看透”物体堆

在这项研究中,研究人员让机械人模子影象目的工具的外型,再让其用X射线照射堆放的物体,找出物体堆内部与目的工具外型最像的物体。

实验中,研究人员先训练机械人学习物体的漫衍情形,用3D物体模子模拟真实物体的堆放。

研究人员从开源数据网站Thingiverse(共有12963D CAD模子)中取样,选择出10个体积相等、尺寸差异的盒子作为目的物(长宽比从1:110:1不等)。为了使目的物更容易被遮挡,选取出的10个盒子厚度较小。

每一个目的物体都单独天生一个含有10000张图像的数据集,10个目的物体最后总共天生了100000张图像。为了对机械人学习情形举行验证,研究人员将每个10000张增强深度图像的数据集划分为训练集和测试集。其中,约8000张图片被用于训练,剩余约2000张则用于验证测试。

行使训练集,研究人员训练出一个基于ResNet-50模子的全卷积神经网络,训练时间约为2.5个小时。

接下来,用测试集验证模子对占有率漫衍的学习情形。

用平衡精度(Bal.Acc.Balanced accuracy)和并交比(IoUIntersection over Unio)来器量网络的学习情形。Bal.Acc.IoU数值越大,代表学习效果越好。

表格第一列为模子在测试集中的显示,模子对长宽比1:1的盒子的漫衍率展望最为准确,Bal.Acc.IoU值划分到达了98%0.91

除了长方体盒子,研究人员还选取了4个不规则物体作为目的工具举行示例展望。效果显示,模子能展望出前3个物体(盖子、多米诺骨牌、长笛)的漫衍情形。

基于对占有率漫衍展望的学习,研究人员为机械人集成X射线模块,让机械人“透视”物体堆、找出与目的物体外型最相似的物体。

实验过程中,先把物体堆的RGBD图像(通过X射线照射获得)和目的物体外型输入模子。模子凭据RGBD图像展望物体堆内部漫衍情形,找出外型“像”目的物体的物体,并部署一个最简朴的抓取动作。

,科技前沿,

2、被遮挡物体也能认出来

实验效果显示,岂论目的物体是被完全遮挡照样部门遮挡,机械人都能通过判断物体形状把它识别出来。

上行目的物体被完全遮挡,下行目的物体被部门遮挡

研究人员对照了X射线计谋与两个基线模子的抓取效果。X射线方案在82%的情形下乐成抓取出目的工具,比显示最佳的基线计谋还高15%

二、举行模子顺应训练,机械人抓取准确率最高达98%

通过第一项研究,机械人的抓取准确率有所提高,但现实应用场景与实验室模拟环境有很大差异。为了提升机械人在货仓、家庭等差异工作环境中的稳健性,研究人员对其举行了顺应性训练。

这项研究名为《基于视觉的端到端机械人控制的高效顺应训练(Efficient Adaptation for End-to-End Vision-Based Robotic Manipulation)》

论文链接:https://arxiv.org/pdf/2004.10190.pdf

1、预训练 改变实验条件,提升机械人环境顺应性

首先,研究人员对抓取机械人模子举行预训练,选用QT-Opt算法,训练分两步举行。

第一步,在离线状态下训练机械人模子举行580000次抓取(约破费6000个小时);

第二步,在线条件下,训练该模子对统一组工具举行28000次抓取。

经由两步训练,机械人模子在实验室模拟环境的抓取准确率能到达96%

然后,研究人员模拟出5种真实环境,纪录机械人在这5种环境中的抓取准确率。

5种环境划分为:棋盘靠山、强光照射、将夹钳伸出1cm、将夹钳偏移10cm、用透明瓶子做目的物

与基础计谋相比,机械人在研究人员新设置的5种环境中的抓取准确率均有所下降,将夹钳偏移10cm时准确率下降最多(下降了39%)。

接下来,研究人员行使5种仿真环境中的训练数据,连系基本训练集,对模子举行微调。

2、准确率回升,最高可达98%

最终,经由14个小时的学习,机械人模子的抓取准确率回升。在基础条件下,抓取准确率到达98%;在棋盘格靠山条件下,抓取准确率最高,到达90%

论文还指出,随着训练时间继续加长,机械人的显示会更好。

结语:下一步将实现自动化

谷歌和加州大学伯克利分校的研究人员行使X射线机械搜索计谋及一系列模子顺应性训练方法,研发出一款环境顺应性较高的抓取机械人。相比于已有的机械人模子,这款机械人更能顺应现实应用的要求。

只需要7nm芯片1.25%的能耗,就能运行这颗超导芯片,包含冷却开销在内

这种超导芯片在处理数据时,运行效率可达2.5GHz,与目前所需的计算技术相匹配。 而在ISCA 2019上,他们和美国东北大学的王言治研究组一起,共同提出了基于AQFP的超导量子计算技术 神经网络…