李飞飞点赞「ARM」:一种让模子快速顺应数据转变的元学习方法 | 开源

2020-11-06 网络
浏览
[科技新闻]李飞飞点赞「ARM」:一种让模子快速顺应数据转变的元学习方法 | 开源

原标题:李飞飞点赞「ARM」:一种让模子疾速顺应数据变化的元进修要领 | 开源

鱼羊 编译整顿

量子位 报导 | 民众号 QbitAI

练习好的模子,碰到新的一组数据就懵了,这是机械进修中常见的问题。

那末当它碰到来自另一个用户的字迹时,这终究是“a”照样“2”呢?

说实话,即使是人类,假如没看到该用户零丁写了一个写法差别的“2” (图中红框),也极可能识别失误。

为了让模子能够疾速顺应如许的数据变化,如今,来自伯克利和斯坦福的研讨人员,提出用元进修的要领来处置惩罚这个问题。

还获得了李飞飞的点赞转发。

无妨一起来看看,这一次元进修这类“进修如何进修的要领”又发挥了如何的作用。

自顺应风险最小化(ARM)

机械进修中的绝大多数事情都遵照履历风险最小化(ERM)框架。但在伯克利和斯坦福的这项研讨中,研讨人员引入了自顺应风险最小化(ARM)框架,这是一种用于进修模子的问题公式。

ARM问题设置和要领的示意图以下。

在练习过程当中,研讨人员采纳模仿散布偏移对模子举行元练习,如许,模子能直接进修如何最好地应用顺应程序,并在测试时以完全相同的体式格局实行该程序。

假如在测试偏移中,观察到与练习时模仿的偏移类似的状况,模子就能够有用地顺应这些测试散布,以完成更好的机能。

在具体要领的设想上,研讨人员重要基于 上下文元进修基于梯度的元进修,开发了3种处置惩罚ARM问题的要领,即ARM-CML,ARM-BN和ARM-LL。

如上图所示,在 上下文要领中,x1,x2,…,xK被归结为上下文c。模子能够应用上下文c来揣摸输入散布的分外信息。

归结的要领有两种:

  • 经由过程一个零丁的上下文收集
  • 在模子本身中采纳批量归一化激活

基于梯度的要领中,一个未标记的丧失函数L被用于模子参数的梯度更新,以发生特地针对测试输入的参数,并能发生更正确的展望结果。

,

科技是智慧的体验,人文科技、未来科技带您走进新时代的步伐,

秀羞科技频道为大家提供科技全方面的报道和资讯服务。

,

优于基线要领

所以,自顺应风险最小化(ARM)要领结果终究如何?

起首,来看ARM结果与各基线的对照。

在4个差别图象分类基准上的比较结果显现,无论是在最坏状况(WC)照样在均匀机能上,ARM要领都明显具更好的机能表现和鲁棒性。

别的,研讨人员还举行了定性分析。

以开头提到的“2”和“a”的状况举例,运用一个batch的50张无标注测试样本(包括来自统一用户的“2”和“a”的字迹),ARM要领练习的模子就能够胜利将二者区离开。

这就申明,练习自顺应模子确实是处置惩罚散布偏移的有用要领。

这项研讨已开源,假如你感兴趣,文末链接自取,能够亲身尝试起来了~

传送门

论文地点:

https://arxiv.org/abs/2007.02931

开源地点:

https://github.com/henrikmarklund/arm

博客地点:

https://ai.stanford.edu/blog/adaptive-risk-minimization/

本文系网易消息•网易号特征内容鼓励设计签约账号【量子位】原创内容,未经账号受权,制止随便转载。

榜单征集!7大奖项锁定AI TOP企业

「2020中国人工智能年度评比」报名中!评比将从公司、人物、产物、社区四大维度共7个奖项寻觅优异的AI企业,迎接人人扫码报名介入。

评比报名截止于11.20,并将于12月16日发表,也期待与百万从业者们,配合见证这些优异企业的声誉!

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI手艺和产物新动态

一键三连「分享」、「点赞」和「在看」

基于视觉的机器人抓取-从物体定位、位姿估计到抓取位姿估计 | 公开课预

11月6日晚8点,智东西公开课邀请到达闼科技3D研发负责人、北京师范大学博士杜国光参与到「CV前沿讲座」第22讲,带来主题为《基于视觉的机器人抓取-从物体定位、位姿估计到抓取位姿估计》的直播讲解。 本次课…