手机版
首页 >> 科学>> 正文

BiT只需要预训练一次,比此前的SOTA方法提高将近25%,网友评价,BiT是CV界的BERT

2020-05-22 20:35来源:互联网编辑:小狐

鱼羊 发自 凹非寺

BERT在NLP界无往不利,大大提高了自然语言模型的性能,那么,在计算机视觉领域,有没有可能一个CNN打天下?

现在,谷歌大脑给出了一个答案—开源CV预训练新范式 BiT

BiT(Big Transfer)简而言之,是一个可以作为任意视觉任务起点的预训练ResNet。

在这项研究中,谷歌大脑证明:用大量通用数据进行预训练的情况下,简单的迁移策略就能让CV模型在下游任务上获得良好的性能。

研究人员希望,BiT能取代现在常用的ImageNet预训练模型,推动计算机视觉研究的发展。

甚至有网友这样评价:BiT是CV界的BERT。

BiT只需要预训练一次,比此前的SOTA方法提高将近25%,网友评价,BiT是CV界的BERT(图1)

预训练的ResNet

所以BiT具体是怎么一回事呢?

首先,要说到研究人员的3个新发现。

其一,是数据集大小和模型容量之间的关系。

研究人员利用经典的ResNet架构,在ILSVRC-2012(1.28M)ImageNet-21K(14M)和JFT(300M)这三个数据集上,分别训练了从标准的50层 ,到4倍宽、152层深的 等几个变体。

观察结果显示,想要在更大的数据集上获得更好的预训练效果,就需要增加模型容量。

另外,在较大的数据集上进行预训练,不一定会提高性能。但是,通过增加计算预算和训练时间,性能能得到明显的改善。

BiT只需要预训练一次,比此前的SOTA方法提高将近25%,网友评价,BiT是CV界的BERT(图2)

第二个发现更加重要:训练时间的长短至关重要。

如果在不调整计算预算的情况下,在一个较大的数据集上进行预训练,训练时间越长,性能反而可能变差。

而针对新的数据集调整训练时间,改进效果会非常显著。

另外,研究人员还发现,用组归一化(GN)取代批归一化(BN)对大规模预训练而言是有益的。

首先,BN的状态,包括神经激活的均值和方差,需要在预训练和迁移之间进行调整,而GN是无状态的,从而绕开了这个问题。

其次,BN使用的是批处理级统计,当大模型不可避免地出现小每设备(per-device)批处理量时,BN就会变得不可靠。GN同样回避了这个问题。

由于 GN 不计算批处理级统计,因此它也从侧面回避了这个问题。

BiT只需要预训练一次,比此前的SOTA方法提高将近25%,网友评价,BiT是CV界的BERT(图3)

迁移学习

接下来,就是针对下游任务微调预训练BiT模型。

研究人员介绍,BiT只需要预训练一次,此后在针对下游任务进行微调时,成本很低。

微调涉及到很多超参数,比如学习率、权重衰减等。

对此,研究人员提出了 BiT-HyperRule方法。该方法仅基于高级数据集特征,如图像分辨率和标注样本数量等。也就是说,BiT并不会对每个下游任务都进行超参数调整。这能有效地降低任务适应成本。

并且,对BiT模型进行预训练后,即使下游任务只有少量标注样本,模型一样表现良好。

研究人员还观察到,在这种情况下,增加用于预训练的通用数据量和架构容量,所产生的模型适应新数据的能力也将大幅提高。

BiT只需要预训练一次,比此前的SOTA方法提高将近25%,网友评价,BiT是CV界的BERT(图4)

实验结果

为了验证BiT的表现是否具有普遍性,研究人员在VTAB-1k上进行了实验。

VTAB-1k是由19个不同任务组成的任务套件,每个任务只有1000个标注样本。

BiT-L模型 (在JFT-300M上进行预训练)迁移到这些任务上后,获得了76.3%的总得分,比此前的SOTA方法提高了5.8%。

BiT只需要预训练一次,比此前的SOTA方法提高将近25%,网友评价,BiT是CV界的BERT(图5)

另外,BiT-L在标准CV基准Oxford Pets、Flowers、CIFAR上的结果也表明,这种大规模预训练 + 简单迁移的策略在数据量适中的情况下也是有效的。

为了进一步评估BiT的鲁棒性,研究人员还在基于真实照片的ObjectNet数据集上对模型进行验证。

BiT-L模型的top-5精度刷新记录,达到80%,比此前的SOTA方法提高将近25%。

BiT只需要预训练一次,比此前的SOTA方法提高将近25%,网友评价,BiT是CV界的BERT(图6)

这篇论文有三位共同一作。

BiT只需要预训练一次,比此前的SOTA方法提高将近25%,网友评价,BiT是CV界的BERT(图7)

Alexander Kolesnikov,谷歌大脑研究软件工程师,于2018年在奥地利科技学院获机器学习与计算机视觉博士学位。

BiT只需要预训练一次,比此前的SOTA方法提高将近25%,网友评价,BiT是CV界的BERT(图8)

Lucas Beyer ,谷歌大脑研究工程师,2018年博士毕业于德国亚琛工业大学。

BiT只需要预训练一次,比此前的SOTA方法提高将近25%,网友评价,BiT是CV界的BERT(图9)

翟晓华,谷歌大脑高级研究工程师,博士毕业于北京大学。研究方向是表征学习、自学习、GAN等。

传送门

谷歌博客:

华为MindSpore布道师招募

助力小白成为大牛

告别技术造神,尊重每个者。

在开源社区中一起快速成长,共建开源生态!

վ“ᴗ” ի 追踪AI技术和产品新动态

本文相关词条概念解析:

模型

模型是所研究的系统、过程、事物或概念的一种表达形式,也可指根据实验、图样放大或缩小而制作的样品,模型一般用于展览或实验或铸造机器零件等用的模子。对于现实世界的事物、现象、过程或系统的简化描述,或其部分属性的模仿。在一般的意义下是指模仿实物或设计中的构造物的形状制成的雏型,其大小可以分为缩小型、实物型和放大型。

延伸 · 推荐

而像BERT,这款NLP预训练模型,也有大作用,它可以4天内在单个GPU上进行训练,代码开源

十三 发自 凹非寺这款NLP预训练模型,你值得拥有。它叫 ELECTRA,来自谷歌AI,不仅拥有BERT的优势,效率还比它高。ELECTRA是一种新预训练方法,它能够高效地学习如何将收集来的句子进行准...

CVPR,将浮点数量化到8bit数值上,且训练过程相比浮点训练加速了22%

商 汤论文观察到梯度的独特分布给量化训练带来了极大,为了解决梯度量化带来的精度损失和不稳定问题,该论文进行了量化训练收敛稳定性的理论分析并基于此提出了误差敏感的学习率调节和基于方向自适应的梯度截断方法...

随着计算机视觉技术,CV模型训练数据的核心构成与处理方法

随着计算机视觉技术(Computer Vision,CV)的不断发展,应用场景愈发的细分化、专业化,相应的CV模型也在逐渐专注于特定的场景,这就意味着以往的通用数据集越来越不满足多样化CV模型对数据的...

网友评论Translation

推荐文章

以后没有纯线下的公司,都会在网上
以后没有纯线下的公司,都会在网上
今日(29日)五一前夕在浙商总会会议中,马云表示疫情中数字化程度很高的企业冲击相对较小,小菜摊都在扩大线上经营,不但自己活了,还创造了就业。马云表示,未来(公司)都会在网上,这是活下去的关键,以后没有
查看详情>>
很多消费者也认为华为扛不住了,比如华为的华为mate30,5G作为一款极致的5G手机,5G搭载麒麟990处理器
很多消费者也认为华为扛不住了,比如华为的华为mate30,5G作为一款极致的5G手机,5G搭载麒麟990处理器
5G技术成了如今手机新的特征,4G和5G手机会有极为明显的待遇,但是市场上不少的手机虽然具备5G技术,常常却被看作是4G手机,比如华为的华为mate30 5G版,因为了解得不够全面,消费者仅仅将它当作
查看详情>>
随着计算机视觉技术,CV模型训练数据的核心构成与处理方法
随着计算机视觉技术,CV模型训练数据的核心构成与处理方法
随着计算机视觉技术(Computer Vision,CV)的不断发展,应用场景愈发的细分化、专业化,相应的CV模型也在逐渐专注于特定的场景,这就意味着以往的通用数据集越来越不满足多样化CV模型对数据的
查看详情>>
实现养老智慧化,或通过云闪付APP绑定支付
实现养老智慧化,或通过云闪付APP绑定支付
记者从银联处了解到,作为用户数突破2.7亿的云闪付在移动支付端正深入智慧养老信息服务体系建设。5月28日,中国银联上海分公司、上海市老年基金会杨浦区代表处、上海银联商务有限公司等三家单位共同签署了“云
查看详情>>
合工大智能研究院物联网车辆智能综合平台,这是滴滴自动驾驶公司成立后首次对外融资,清华成功研制陆空两栖自主驾驶飞车
合工大智能研究院物联网车辆智能综合平台,这是滴滴自动驾驶公司成立后首次对外融资,清华成功研制陆空两栖自主驾驶飞车
2020.5.29 周五今日要闻1、滴滴自动驾驶公司获首轮超5亿刀融资5月29日,滴滴出行宣布旗下自动驾驶公司完成首轮超5亿美元融资,以加大研发投入,加深产业合作,推进在国内外特定区域开展自动驾驶载人
查看详情>>
中兴这款折叠屏手机后置双摄模组,中兴采用了翻盖式外掀柔性屏的设计
中兴这款折叠屏手机后置双摄模组,中兴采用了翻盖式外掀柔性屏的设计
IT之家5月29日 今天,国外科技博客LetsGoDigital曝光了中兴的一项折叠屏手机专利,根据专利的内容,中兴采用了翻盖式外掀柔性屏的设计,也就是下半部分的屏幕可向机身背部外翻,这一点和三星Ga
查看详情>>
各省网公司,歌华有线关于延期复牌的公告,中国广电也获得了5G商用牌照
各省网公司,歌华有线关于延期复牌的公告,中国广电也获得了5G商用牌照
分析人士认为,对于新组建的股份公司,符合相关要求的第三方都可以参与进来,诸如BAT和京东这种有影响力的民营互联网企业,同样有机会投资时报研究员 卓玛同一天内,如果行业龙头率先宣布继续停牌,且其他同业上
查看详情>>
这种传统的掏耳工具,真的太过瘾了,爽,了
这种传统的掏耳工具,真的太过瘾了,爽,了
/可视采耳 安全舒适/采耳(掏耳)直观的感受,就是一个“爽”字。当耳勺或者手指缓缓进入耳道,那种酥酥麻麻的感觉特别舒服、特别过瘾!!每次挖耳朵的时候,总会让我想到挖冰淇淋,一勺一勺的根本停不下来,强迫
查看详情>>
后疫情时期的,红星美凯龙所在的家居行业亦不例外
后疫情时期的,红星美凯龙所在的家居行业亦不例外
“疫情的暴发,对整个家居行业的营收及运行都产生了非常大的影响。目前虽然外贸市场还未进一步恢复,但是内销市场已经明显回暖,并在四五月份得到了很好的爆发。毕竟家居装修属于刚需,与线下属性较强的餐饮、旅业相
查看详情>>
小米10的价格限期调整到了3799元,电池容量达到了4780mAh,小米公司下了重本
小米10的价格限期调整到了3799元,电池容量达到了4780mAh,小米公司下了重本
近些年来,关于小米6这款手机的段子非常多,因为这款手机本身确实非常优秀,不仅仅使用者多,用户黏性高,甚至这款手机直到下架价格都没下降太多,所以小米6也被称为一代神机,每当小米公司发布新旗舰的时候,都有
查看详情>>
广易科技网(www.gooyi.net)| 手机版