迁移进修

迁移进修是一种板滞进修方法,便是把为义务 A 开辟的模子举措初始点,从头运用为义务 B 开辟模子的进程中。迁移进修是通过从已进修的相关义务中挪动常识来改良进修的新义务,虽然大大都板滞进修算法都是为理办理单个义务而计划的,可是增进迁移进修的算法的开辟是板滞进修社区继续体恤的话题。 迁移进修对人类来说很常睹,比如,我们可以会发明进修识别苹果可以有帮于识别梨,或者进修弹奏电子琴可以有帮于进修钢琴。

简介

迁移进修是通过从已进修的相关义务中挪动常识来改良进修的新义务,虽然大大都板滞进修算法都是为理办理单个义务而计划的,可是增进迁移进修的算法的开辟是板滞进修社区继续体恤的话题。迁移进修对人类来说很常睹,比如,我们可以会发明进修识别苹果可以有帮于识别梨,或者进修弹奏电子琴可以有帮于进修钢琴。

迁移进修准确的定义为:

给定由特征空间X和边沿概率分布P(X)构成的源域(source domain)$D_s$和进修义务$T_s$,和同样由特征空间和边沿概率分布构成的目标域(target domain)$D_t$和进修义务$T_t$,迁移进修的目标于应用$D_s$和$T_s$中的常识来帮帮进修目标域$D_t$的目标函数$f_T(·)$的进程,当心$D_s$与$D_t$不相等、$T_s$与$T_t$不相等。

由下图可以看出迁移进修和古板板滞进修的区别,古板板滞进修的进修进程中,我们试图独自进修每一个进修义务,即生成众个进修系统;而迁移进修中,我们试图将前几个义务上学到的常识挪动到目前的进修义务上,从而将其联合起来。

[图片根源:Pan, S. J., & Yang, Q. (2010). A survey on transfer learning. IEEE Transactions on Knowledge and Data Engineering, 22(10), 1345–1359.]

迁移进修深度进修上的运用有两种计谋,但目前这两种计谋的命名还没有同一。一种计谋是微调(finetuning)——此中包罗运用根底数据集上的预教练收集以及目标数据汇合斗嗽豉有层;另一种则是冻结与教练(freeze and train)——此中包罗冻结除着末一层的所有层(权重不更新)并教练着末一层。当然迁移进修并不光仅范围于深度进修,但目前深度进修上的运用确实许众。

[描画根源:Soria E.; Martin J.; Magdalena R.; Martinez M.; Serrano A.(2009). Handbook of Research on Machine Learning Applications. IGI Global. ]

[描画根源: Pan, S. J., & Yang, Q. (2010). A survey on transfer learning. IEEE Transactions on Knowledge and Data Engineering, 22(10), 1345–1359.]

开展历史

描画

最早板滞进修范畴援用迁移(transfer)这个词的是Lorien Pratt,他1993年订定了基于可区分性挪动(DBT)算法。但一段时间内,相关迁移进修的研讨的名字各不相同,有learning to learn, knowledge transfer, inductive transfer, multi-task learning等等。1997年,板滞进修(Machine Learning)杂志发外了一篇特别议论挪动进修的专题,到1998年,迁移进修曾经成为了比较完备的进修范畴,包罗众义务进修(multi-task learning),以及对其表面根底的矫正式剖析。

2005年,DoAndrew Ng议论了文天职类中运用迁移进修的方法,2007Mihalkova等学者开辟了用于马尔可夫逻辑收集(Markov Logic Networks)的挪动进修算法。同年,Niculescu-Mizil等学者议论了迁移进修贝叶斯收集中的运用。2012Lorien PrattSebastian Thrun出书了Learning to Learn,对迁移进修的开展举行了回忆。

深度进修大行其道的本日,因为神经收集的教练越来越费时,同时其需求的数据集大小也不是所有状况下都能满意的,于是运用曾经教练好的神经收集举行其他义务变得越来越风行,迁移进修也变得越来越主要。2016Andrew Ng NIPS 2016大会上提出迁移进修是板滞进修取得商业上的成功的下一个动力。

主要事情

1993

Lorien Pratt板滞进修范畴援用迁移这个词

Pratt L. Y. (1993).Discriminability-based transfer between neural networks.NIPS Conference: Advances in Neural Information Processing Systems 5.pp. 204–211.

1997

板滞进修(Machine Learning)杂志发外了一篇特别议论挪动进修的专题

Pratt L. Y.; Thrun S. (1997).Machine Learning - Special Issue on Inductive Transfer. Springer.

2005

Do和Andrew Y. Ng议论了文天职类中运用迁移进修的方法

Do, Chuong B.; Andrew Y. Ng.(2005). Transfer learning for text classification. NIPS*2005 Online Papers.

2007

Mihalkova等学者开辟了用于马尔可夫逻辑收集(Markov Logic Networks)的挪动进修算法

Mihalkova L.; Huynh T.; Mooney R. J. (2007),Mapping and Revising Markov Logic Networks for Transfer.Learning Proceedings of the 22nd AAAI Conference on Artificial Intelligence (AAAI-2007).pp. 608–614,

2007

Niculescu-Mizil等学者议论了迁移进修贝叶斯收集中的运用

Niculescu-Mizil, A.; Caruana R. (2007), Inductive Transfer for Bayesian Network Structure Learning. Proceedings of the Eleventh International Conference on Artificial Intelligence and Statistics (AISTATS 2007).

开展剖析

瓶颈

目前关于迁移进修的研讨蒸蒸日上,于是与其说是瓶颈,以下提到的几点更算是目前迁移进修运用中的难点。其一,怎样现有的教练好的模子中挑选适宜目今义务的模子;其二,怎样确定还需求众少数据来教练模子;其三,预教练应当什么时分中止;其四,当呈现新的数据或更好的算法,怎样更新预教练模子。

未来开展偏向

相关神经收集的迁移进修是一个热门,上文提到的几个难点,以及深化进修的迁移进修等都有许众相关研讨。

Contributor: Yuanyuan Li

相关人物
塞巴斯蒂安 · 史朗
塞巴斯蒂安 · 史朗
Sebastian Thrun 是德国的立异者,企业家蕉蔟家和盘算机科学家。他是 Kitty Hawk Corporation 的首席施行官,也是 Udacity 的董事长兼联合创始人。此之前,他曾承当谷歌副总裁兼研讨员,斯坦福大学盘算机科学传授,之前是卡内基梅隆大学。谷歌,他创立了谷歌 X 和谷歌的主动驾驶汽车团队。
Lorien Pratt
Lorien Pratt
杨强
杨强
杨强现任香港科技大学新明工程学讲席传授、盘算机科学和工程学系主任,大数据研讨所所长 。他是人工智能研讨的国际专家和领军人物,学术界和工业界做出了出色的效劳和奉献,特别近些年为中国人工智能(AI)和数据开掘(KDD)的开展起了主要指导和促进感化。
简介
相关人物