现在加入
AI新基建、产业新峰会、人工智能之旅
Hi,欢迎访问北京强云创新科技有限公司
北京强云创新科技有限公司
聚焦迁移学习反向传播缺陷,百度资深工程师带来全新 工作分享
来源: | 作者:communications-1069878 | 发布时间: 2020-07-28 | 216 次浏览 | 分享到:
CV 在前,NLP 在后,迁移学习技术的应用为这两个领域所带来的进展和突破,不可谓不瞩目。

其中,预训练模型作为当下迁移学习的一种主流方法,让“从零开始训练一个新模型”的时代一去不复返。这类在大型数据集上训练好的模型进行微调后,便能够较好地适配类似的新目标任务,可以极大地节约时间和成本。

不过,天下没有免费的午餐,这种方法看似“一劳永逸”,也需要付出一定的代价,其中的一大问题便是,由于反向传播带给深层卷积层的更新较小,微调得到的模型往往被“吸引”在预训练模型附近,无法得到充分更新。