深度神经收集

深度神经收集(DNN)是深度进修的一种框架,它是一种具备起码一个隐层的神经收集。与浅层神经收集相似,深度神经收集也可认为繁杂非线性系统供应修模,但众出的目标为模子供应了更高的笼统目标,因此进步了模子的才能。

根源:中文字幕AVTechopedia
简介

深度神经收集(DNN)是深度进修的一种框架,它是一种具备起码一个隐层的神经收集。与浅层神经收集相似,深度神经收集也可认为繁杂非线性系统供应修模,但众出的目标为模子供应了更高的笼统目标,因此进步了模子的才能。

深度神经收集是一种判别模子,可以运用反向传达算法举行教练。权重更新可以运用下式举行随机梯度下降法求解:

此中,为进修率,C为价钱函数。这一函数的挑选与进修的类型(比如监视进修、无监视进修、增强进修)以及激活函数相关。

DNN目前是许众人工智能运用的根底。因为DNN语音识别和图像识别上的打破性运用,运用DNN的运用量有了爆炸性的增加。这些DNN被安排到了从主动驾驶汽车、癌症检测到繁杂游戏等种种运用中。这许众范畴中,DNN可以超越人类的准确率。而DNN的轶群外现源于它能运用统计进修方法从原始感官数据中提取高层特征,大宗的数据中取得输入空间的有用外征。这与之前运用手动提取特征或专家计划规矩的方法差别。

然而DNN取得轶群准确率的价钱是高盘算繁杂性资本。虽然通用盘算引擎(特别是GPU),曾经成为DNN处理的砥柱,但供应对DNN盘算专属的加速方法也越来越热门。

依据运用状况差别,深度神经收集的样式和大小也各异。风行的样式和大小正疾速演化以晋升模子准确性和服从。所有深度神经收集的输入是一套外征收集将加以剖析处理的新闻值。这些值可以是一张图片的像素,或者一段音频的样本振幅或者某系统或者游戏形态的数字化外示。

处理输入的收集有两种主要方式:前馈以及轮回。前馈收集中,所有盘算都是前一层输出根底上举行的一系列运作。最终一组运转便是收集的输出。这类深度神经收集中,收集并无记忆,输出也老是与之前收集输入序次无关。相反,轮回收集(LSTM是一个很受接待的变种)是有内在记忆的,容许恒久依存联系影响输出。这些收集中,少许中心运算的形态值会被存储于收集中,也被用作与处理后一输入相关的其他运算的输入。

深度神经收集一般都是前馈神经收集,但也有言语修模等方面的研讨将其拓展到递归神经收集。卷积深度神经收集(Convolutional Neural Networks, CNN)盘算机视觉范畴取得了成功的运用。此后,卷积神经收集也举措听觉模子被运用主动语音识别范畴,较以往的方法取得了更优的结果。

[描画根源:维基百科;URL:https://zh.wikipedia.org/wiki/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0]

[描画根源:中文字幕AV;URL:/articles/2017-03-30-4]

2. 开展历史

描画

开辟历史:

  • 1940 年代 - 神经收集被提出
  • 1960 年代 - 深度神经收集被提出
  • 1989 年 - 识别数字的神经网(LeNet)呈现
  • 1990 年代 - 浅层神经网硬件呈现(Intel ETANN)
  • 2011 年 - DNN 语音识别取得打破性希望(Microsoft)
  • 2012 年 - 用于视觉的 DNN 开端交换人工方法(AlexNet)
  • 2013年 - 提出NIN,构造上比AlexNet运用更少参数,其计划思道为早期的GoogLeNet Inception所鉴戒
  • 2014年 - VGGNet是AlexNet深度上延迟所提出的收集构造
  • 2016年 - Resnet的提出使得VGG式的收集构造不再受到推许
  • 2017年 - GoogLeNet Inception演进到v4,联合了residual connection后极大地晋升了功用

主要事情

年份事情相关论文/Reference
1989用于手写数字识另外LeNet收集被提出,而且被广泛运用ATM识别支票手写数字上。Le Cun, Y., Jackel, L. D., Boser, B., Denker, J. S., Graf, H. P., Guyon, I., ... & Hubbard, W. (1989). Handwritten digit recognition: Applications of neural network chips and automatic learning. IEEE Communications Magazine, 27(11), 41-46.
2011Microsoft将DNN用于语音识别Deng, L., & Yu, D. (2011). Deep convex net: A scalable architecture for speech pattern classification. In Twelfth Annual Conference of the International Speech Communication Association.
2012提出用于图像识另外AlexNetKrizhevsky, A., Sutskever, I., & Hinton, G. E. (2012). Imagenet classification with deep convolutional neural networks. In Advances in neural information processing systems (pp. 1097-1105).
2013提出了NIN,可以大大减小收集的参数Lin, M., Chen, Q., & Yan, S. (2013). Network in network. arXiv preprint arXiv:1312.4400.
2014Diannao加速器用于深度神经收集Chen, T., Du, Z., Sun, N., Wang, J., Wu, C., Chen, Y., & Temam, O. (2014). Diannao: A small-footprint high-throughput accelerator for ubiquitous machine-learning. ACM Sigplan Notices, 49(4), 269-284.
2014提出了深度延迟的VGG收集构造Simonyan, K., & Zisserman, A. (2014). Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556.
2016提出了Resnet,办理DNN躲藏层过众时的退化题目He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 770-778).
2017联合resnet,取得了更深的优化inception-v4模子Szegedy, C., Ioffe, S., Vanhoucke, V., & Alemi, A. A. (2017, February). Inception-v4, inception-resnet and the impact of residual connections on learning. In AAAI (Vol. 4, p. 12).

3. 开展剖析

瓶颈

与其他神经收集模子相似,假如仅仅是简单地教练,深度神经收集可以会保管许众题目。常睹的两类题目是过拟合和过长的运算时间。

深度神经收集很容易发生过拟合现象,因为添加的笼统层使得模子可以对教练数据中较为稀有的依赖联系举行修模。对此,权重递减(l2正轨化)或者希罕(l1-正轨化)等方法可以用教练进程中以减小过拟合现象。另一种较晚用于深度神经收集教练的正轨化方法是丢弃法("dropout" regularization),即教练中随机丢弃一部分隐层单位来避免对较为稀有的依赖举行修模。

反向传达算法和梯度下降法因为完成简单,与其他方法比较可以收敛到更好的部分最优值而成为神经收集教练的通行方法。可是,这些方法的盘算价钱很高,特别是教练深度神经收集时,因为深度神经收集的范围(即层数和每层的节点数)、进修率、初始权重等浩繁参数都需求思索。扫描所有参数因为时间价钱的启事并不可行,因此小批量教练(mini-batching),即将众个教练样本组合举行教练而不是每次只运用一个样本举行教练,被用于加速模子教练。而最分明的速率晋升来自GPU,因为矩阵和向量盘算十分适合运用GPU完成。但运用大范围集群举行深度神经收集教练仍然保管艰难,因此深度神经收集教练并行化方面仍有晋升的空间。

未来开展偏向

从众媒体到医疗,DNN 对许众运用大有裨益。DNN 正发挥影响的范畴,并期望未来发恍△用的新兴范畴主要有以下:

  • 图像和视频
  • 语音和言语
  • 医疗
  • 游戏
  • 板滞人

Contributor: Yueqin Li

相关人物
简介
相关人物