关于机器学习:深度学习机器能不能自动学习

人工智能，就像长生不老和星际漫游一样，是人类最美妙的幻想之一。尽管计算机技术曾经获得了长足的提高，然而到目前为止，还没有一台电脑能产生“自我”的意识。然而自 2006 始终以来，机器学习畛域，获得了突破性的停顿。图灵试验，至多不是那么可望而不可及了。至于技术手段，不仅仅依赖于云计算对大数据的并行处理能力，而且依赖于算法。这个算法就是深度学习 Deep Learning。借助于 Deep Learning 算法，人类终于找到了如何解决“抽象概念”这个亘古难题的办法。机器学习 (Machine Learning) 是一门专门钻研计算机怎么模仿或实现人类的学习行为，以获取新的常识或技能，从新组织已有的知识结构市值一直改善本身的性能的学科，简略地说，机器学习就是通过算法，使得机器能从大量的历史数据中学习法则，从而对新的样本做智能辨认或预测将来。机器学习在图像识别、语音辨认、自然语言了解、天气预测、基因表白、内容举荐等很多方面的倒退还存在着没有良好解决的问题。传统的模式识别办法：通过传感器获取数据，而后通过预处理、特征提取、特征选择、再到推理、预测或辨认。

开始的通过传感器 (例如 CMOS) 来取得数据。而后通过预处理、特征提取、特征选择，再到推理、预测或者辨认。最初一个局部，也就是机器学习的局部，绝大部分的工作是在这方面做的，也存在很多的 paper 和钻研。而两头的三局部，概括起来就是特色表白。良好的特色表白，对最终算法的准确性起了十分要害的作用，而且零碎次要的计算和测试工作都耗在这一大部分。但，这块理论中个别都是人工实现的，靠人工提取特色。而手工选取特色费时费力，须要专业知识，很大水平上靠教训和运气，那么机器能不能主动地学习特色呢? 深度学习的呈现就这个问题提出了一种解决方案。人脑的视觉机理 1981 年的诺贝尔医学奖，颁发给了 David Hubel(出生于加拿大的美国神经生物学家)和 TorstenWiesel，以及 Roger Sperry。前两位的次要奉献，是“发现了视觉零碎的信息处理”可视皮层是分级的。

1958 年，DavidHubel 和 Torsten Wiesel 在 JohnHopkins University，钻研瞳孔区域与大脑皮层神经元的对应关系。他们在猫的后脑头骨上，开了一个 3 毫米的小洞，向洞里插入电极，测量神经元的沉闷水平。而后，他们在小猫的眼前，展示各种形态、各种亮度的物体。并且，在展示每一件物体时，还扭转物体搁置的地位和角度。他们冀望通过这个方法，让小猫瞳孔感触不同类型、不同强弱的刺激。之所以做这个试验，目标是去证实一个猜想。位于后脑皮层的不同视觉神经元，与瞳孔所受刺激之间，存在某种对应关系。一旦瞳孔受到某一种刺激，后脑皮层的某一部分神经元就会沉闷。经验了很多天重复的干燥的试验，David Hubel 和 Torsten Wiesel 发现了一种被称为“方向选择性细胞(Orientation Selective Cell)”的神经元细胞。当瞳孔发现了眼前的物体的边缘，而且这个边缘指向某个方向时，这种神经元细胞就会沉闷。这个发现激发了人们对于神经系统的进一步思考。神经 - 中枢 - 大脑的工作过程，或者是一个一直迭代、一直形象的过程。例如，从原始信号摄入开始(瞳孔摄入像素 Pixels)，接着做初步解决(大脑皮层某些细胞发现边缘和方向)，而后形象(大脑断定，眼前的物体的形态，是圆形的)，而后进一步形象(大脑进一步断定该物体是只气球)。

这个生理学的发现，促成了计算机人工智能，在四十年后的突破性倒退。总的来说，人的视觉零碎的信息处理是分级的。从低级的 V1 区提取边缘特色，再到 V2 区的形态或者指标的局部等，再到更高层，整个指标、指标的行为等。也就是说高层的特色是低层特色的组合，从低层到高层的特色示意越来越形象，越来越能体现语义或者用意。而形象层面越高，存在的可能猜想就越少，就越利于分类。例如，单词汇合和句子的对应是多对一的，句子和语义的对应又是多对一的，语义和用意的对应还是多对一的，这是个层级体系。机器学习的特色特色是机器学习零碎的原材料，对最终模型的影响是毋庸置疑的。如果数据被很好地表达成了特色，通常线性模型就能达到称心的精度。特色示意的粒度学习算法在一个什么粒度上的特色示意，才有能发挥作用? 就一个图片来说，像素级的特色基本没有价值。例如上面的摩托车，从像素级别，基本得不到任何信息，其无奈进行摩托车和非摩托车的辨别。而如果特色是一个具备结构性 (或者说有含意) 的时候，比方是否具备车把手(handle)，是否具备车轮(wheel)，就很容易把摩托车和非摩托车辨别，学习算法能力发挥作用。

高级 (浅层) 特色示意既然像素级的特色示意办法没有作用，那怎么的示意才有用呢?1995 年前后，Bruno Olshausen 和 David Field 两位学者任职 Cornell University，他们试图同时用生理学和计算机的伎俩，并行不悖，钻研视觉问题。他们收集了很多黑白风光照片，从这些照片中，提取出 400 个小碎片，每个照片碎片的尺寸均为 16×16 像素，无妨把这 400 个碎片标记为 S[i], i = 0,.. 399。接下来，再从这些黑白风光照片中，随机提取另一个碎片，尺寸也是 16×16 像素，无妨把这个碎片标记为 T。他们提出的问题是，如何从这 400 个碎片中，选取一组碎片，S[k], 通过叠加的方法，合成出一个新的碎片，而这个新的碎片，该当与随机抉择的指标碎片 T，尽可能类似，同时，S[k] 的数量尽可能少。用数学的语言来形容，就是：Sum_k (a[k] S[k]) –> T, 其中 a[k] 是在叠加碎片 S[k] 时的权重系数。为解决这个问题，Bruno Olshausen 和 David Field 创造了一个算法，稠密编码 (Sparse Coding)。稠密编码是一个反复迭代的过程，每次迭代分两步：1) 抉择一组 S[k]，而后调整 a[k]，使得 Sum_k (a[k] S[k]) 最靠近 T。2)固定住 a[k]，在 400 个碎片中，抉择其它更适合的碎片 S’[k]，代替原先的 S[k]，使得 Sum_k (a[k] * S’[k]) 最靠近 T。通过几次迭代后，最佳的 S[k] 组合，被遴选出来了。令人惊奇的是，被选中的 S[k]，基本上都是照片上不同物体的边缘线，这些线段形态类似，区别在于方向。Bruno Olshausen 和 David Field 的算法后果，与 David Hubel 和 Torsten Wiesel 的生理发现，不约而同! 也就是说，简单图形，往往由一些根本构造组成。比方下图：一个图能够通过用 64 种正交的 edges(能够了解成正交的根本构造)来线性示意。比方样例的 x 能够用 1 -64 个 edges 中的三个依照 0.8,0.3,0.5 的权重和谐而成。而其余根本 edge 没有奉献，因而均为 0。

另外，不仅图像存在这个法则，声音也存在。人们从未标注的声音中发现了 20 种根本的声音构造，其余的声音能够由这 20 种根本构造合成。

结构性特色示意小块的图形能够由根本 edge 形成，更结构化，更简单的，具备概念性的图形如何示意呢? 这就须要更高层次的特色示意，比方 V2，V4。因而 V1 看像素级是像素级。V2 看 V1 是像素级，这个是档次递进的，高层表白由底层表白的组合而成。业余点说就是基 basis。V1 取提出的 basis 是边缘，而后 V2 层是 V1 层这些 basis 的组合，这时候 V2 区失去的又是高一层的 basis。即上一层的 basis 组合的后果，上下层又是上一层的组合 basis……(所以有大牛说 Deep learning 就是“搞基”，因为好听，所以美其名曰 Deep learning 或者 Unsupervised Feature Learning)

直观上说，就是找到 make sense 的小 patch 再将其进行 combine，就失去了上一层的 feature，递归地向上 learning feature。在不同 object 上做 training 是，所得的 edge basis 是十分类似的，但 object parts 和 models 就会 completely different 了(那咱们分辨 car 或者 face 是不是容易多了)。

咱们晓得须要档次的特色构建，由浅入深，但每一层该有多少个特色呢? 任何一种办法，特色越多，给出的参考信息就越多，准确性会失去晋升。但特色多意味着计算简单，摸索的空间大，能够用来训练的数据在每个特色上就会稠密，都会带来各种问题，并不一定特色越多越好。深度学习的根本思维假如咱们有一个零碎 S，它有 n 层 (S1,…Sn)，它的输出是 I，输入是 O，形象地示意为：I =>S1=>S2=>…..=>Sn => O，如果输入 O 等于输出 I，即输出 I 通过这个零碎变动之后没有任何的信息损失(呵呵，大牛说，这是不可能的。信息论中有个“信息逐层失落”的说法(信息处理不等式)，设解决 a 信息失去 b，再对 b 解决失去 c，那么能够证实：a 和 c 的互信息不会超过 a 和 b 的互信息。这表明信息处理不会减少信息，大部分解决会失落信息。当然了，如果丢掉的是没用的信息那多好啊)，放弃了不变，这意味着输出 I 通过每一层 Si 都没有任何的信息损失，即在任何一层 Si，它都是原有信息(即输出 I) 的另外一种示意。当初回到咱们的主题 Deep Learning，咱们须要主动地学习特色，假如咱们有一堆输出 I(如一堆图像或者文本)，假如咱们设计了一个零碎 S(有 n 层)，咱们通过调整零碎中参数，使得它的输入依然是输出 I，那么咱们就能够主动地获取失去输出 I 的一系列档次特色，即 S1，…, Sn。对于深度学习来说，其思维就是对重叠多个层，也就是说这一层的输入作为下一层的输出。通过这种形式，就能够实现对输出信息进行分级表白了。另外，后面是假如输入严格地等于输出，这个限度太严格，咱们能够稍微地放松这个限度，例如咱们只有使得输出与输入的差异尽可能地小即可，这个放松会导致另外一类不同的 Deep Learning 办法。上述就是 Deep Learning 的根本思维。浅层学习和深度学习 20 世纪 80 年代末期，用于人工神经网络的反向流传算法 (也叫 Back Propagation 算法或者 BP 算法) 的创造，给机器学习带来了心愿，掀起了基于统计模型的机器学习热潮。这个热潮始终继续到明天。人们发现，利用 BP 算法能够让一个人工神经网络模型从大量训练样本中学习统计法则，从而对未知事件做预测。这种基于统计的机器学习办法比起过来基于人工规定的零碎，在很多方面显出优越性。这个时候的人工神经网络，虽也被称作多层感知机 (Multi-layer Perceptron)，但理论是种只含有一层隐层节点的浅层模型。20 世纪 90 年代，各种各样的浅层机器学习模型相继被提出，例如撑持向量机(SVM，Support Vector Machines)、Boosting、最大熵办法(如 LR，Logistic Regression) 等。这些模型的构造基本上能够看成带有一层隐层节点 (如 SVM、Boosting)，或没有隐层节点(如 LR)。这些模型无论是在实践剖析还是利用中都取得了微小的胜利。相比之下，因为实践剖析的难度大，训练方法又须要很多教训和技巧，这个期间浅层人工神经网络反而绝对寂静。2006 年，加拿大多伦多大学传授、机器学习畛域的泰斗 Geoffrey Hinton 和他的学生 RuslanSalakhutdinov 在《迷信》上发表了一篇文章，开启了深度学习在学术界和工业界的浪潮。这篇文章有两个次要观点：1) 多隐层的人工神经网络具备优异的特色学习能力，学习失去的特色对数据有更实质的刻画，从而有利于可视化或分类;2)深度神经网络在训练上的难度，能够通过“逐层初始化”(layer-wise pre-training)来无效克服，在这篇文章中，逐层初始化是通过无监督学习实现的。以后少数分类、回归等学习办法为浅层构造算法，其局限性在于无限样本和计算单元状况下对简单函数的示意能力无限，针对简单分类问题其泛化能力受到肯定制约。深度学习可通过学习一种深层非线性网络结构，实现简单函数迫近，表征输出数据分布式示意，并展示了弱小的从多数样本集中学习数据集本质特征的能力。(多层的益处是能够用较少的参数示意简单的函数)

深度学习的本质，是通过构建具备很多隐层的机器学习模型和海量的训练数据，来学习更有用的特色，从而最终晋升分类或预测的准确性。因而，“深度模型”是伎俩，“特色学习”是目标。区别于传统的浅层学习，深度学习的不同在于：1)强调了模型构造的深度，通常有 5 层、6 层，甚至 10 多层的隐层节点;2)明确突出了特色学习的重要性，也就是说，通过逐层特色变换，将样本在原空间的特色示意变换到一个新特色空间，从而使分类或预测更加容易。与人工规定结构特色的办法相比，利用大数据来学习特色，更可能刻画出数据的丰盛外在信息。深度学习与神经网络深度学习是机器学习钻研中的一个新的畛域，其动机在于建设、模仿人脑进行剖析学习的神经网络，它模拟人脑的机制来解释数据，例如图像，声音和文本。深度学习是无监督学习的一种。深度学习的概念源于人工神经网络的钻研。含多隐层的多层感知器就是一种深度学习构造。深度学习通过组合低层特色造成更加形象的高层示意属性类别或特色，以发现数据的分布式特色示意。Deep learning 自身算是 machine learning 的一个分支，简略能够了解为 neural network 的倒退。大概二三十年前，neural network 已经是 ML 畛域特地炽热的一个方向，然而起初确缓缓淡出了，起因包含以下几个方面：1)比拟容易过拟合，参数比拟难 tune，而且须要不少 trick;2)训练速度比较慢，在档次比拟少 (小于等于 3) 的状况下成果并不比其它办法更优; 所以两头有大概 20 多年的工夫，神经网络被关注很少，这段时间基本上是 SVM 和 boosting 算法的天下。然而，一个痴心的老先生 Hinton，他保持了下来，并最终 (和其它人一起 Bengio、Yann.lecun 等) 提成了一个理论可行的 deep learning 框架。Deep learning 与传统的神经网络之间有雷同的中央也有很多不同：二者的雷同在于 deep learning 采纳了神经网络类似的分层构造，零碎由包含输出层、隐层(多层)、输入层组成的多层网络，只有相邻层节点之间有连贯，同一层以及跨层节点之间互相无连贯，每一层能够看作是一个 logistic regression 模型; 这种分层构造，是比拟靠近人类大脑的构造的。

而为了克服神经网络训练中的问题，DL 采纳了与神经网络很不同的训练机制。传统神经网络中，采纳的是 back propagation 的形式进行，简略来讲就是采纳迭代的算法来训练整个网络，随机设定初值，计算以后网络的输入，而后依据以后输入和 label 之间的差去扭转后面各层的参数，直到收敛 (整体是一个梯度降落法)。而 deep learning 整体上是一个 layer-wise 的训练机制。深度学习的训练过程应用自下回升非监督学习(就是从底层开始，一层一层的往顶层训练) 采纳无标定数据 (有标定数据也可) 分层训练各层参数，这一步能够看作是一个无监督训练过程，是和传统神经网络区别最大的局部 (这个过程能够看作是 feature learning 过程)：具体的，先用无标定数据训练第一层，训练时先学习第一层的参数(这一层能够看作是失去一个使得输入和输出差异最小的三层神经网络的隐层)，因为模型 capacity 的限度以及稠密性束缚，使得失去的模型可能学习到数据自身的构造，从而失去比输出更具备示意能力的特色; 在学习失去第 n - 1 层后，将 n - 1 层的输入作为第 n 层的输出，训练第 n 层，由此别离失去各层的参数; 自顶向下的监督学习(就是通过带标签的数据去训练，误差自顶向下传输，对网络进行微调) 基于第一步失去的各层参数进一步 fine-tune 整个多层模型的参数，这一步是一个有监督训练过程; 第一步相似神经网络的随机初始化初值过程，因为 DL 的第一步不是随机初始化，而是通过学习输出数据的构造失去的，因此这个初值更靠近全局最优，从而可能获得更好的成果; 所以 deep learning 成果好很大水平上归功于第一步的 feature learning 过程。CNNs 卷积神经网络卷积神经网络是人工神经网络的一种，已成为以后语音剖析和图像识别畛域的钻研热点。它的权值共享网络结构使之更相似于生物神经网络，升高了网络模型的复杂度，缩小了权值的数量。该长处在网络的输出是多维图像时体现得更为显著，使图像能够间接作为网络的输出，防止了传统辨认算法中简单的特征提取和数据重建过程。卷积网络是为辨认二维形态而非凡设计的一个多层感知器，这种网络结构对平移、比例缩放、歪斜或者其余模式的变形具备高度不变性。CNNs 是受晚期的延时神经网络 (TDNN) 的影响。延时神经网络通过在工夫维度上共享权值升高学习复杂度，实用于语音和工夫序列信号的解决。CNNs 是第一个真正胜利训练多层网络结构的学习算法。它利用空间关系缩小须要学习的参数数目以进步个别前向 BP 算法的训练性能。CNNs 作为一个深度学习架构提出是为了最小化数据的预处理要求。在 CNN 中，图像的一小部分 (部分感触区域) 作为层级构造的最低层的输出，信息再顺次传输到不同的层，每层通过一个数字滤波器去取得观测数据的最显著的特色。这个办法可能获取对平移、缩放和旋转不变的观测数据的显著特色，因为图像的部分感触区域容许神经元或者处理单元能够拜访到最根底的特色，例如定向边缘或者角点。卷积神经网络的历史 1962 年 Hubel 和 Wiesel 通过对猫视觉皮层细胞的钻研，提出了感触野 (receptive field) 的概念，1984 年日本学者 Fukushima 基于感触野概念提出的神经认知机 (neocognitron) 能够看作是卷积神经网络的第一个实现网络，也是感触野概念在人工神经网络畛域的首次利用。神经认知机将一个视觉模式分解成许多子模式(特色)，而后进入分层递阶式相连的特色立体进行解决，它试图将视觉零碎模型化，使其可能在即便物体有位移或轻微变形的时候，也能实现辨认。通常神经认知机蕴含两类神经元，即承当特色抽取的 S - 元和抗变形的 C - 元。S- 元中波及两个重要参数，即感触野与阈值参数，前者确定输出连贯的数目，后者则管制对特色子模式的反馈水平。许多学者始终致力于进步神经认知机的性能的钻研：在传统的神经认知机中，每个 S - 元的感光区中由 C - 元带来的视觉含糊量呈正态分布。如果感光区的边缘所产生的含糊成果要比地方来得大，S- 元将会承受这种非正态含糊所导致的更大的变形容忍性。咱们心愿失去的是，训练模式与变形刺激模式在感触野的边缘与其核心所产生的成果之间的差别变得越来越大。为了无效地造成这种非正态含糊，Fukushima 提出了带双 C - 元层的改进型神经认知机。Van Ooyen 和 Niehuis 为进步神经认知机的区别能力引入了一个新的参数。事实上，该参数作为一种克制信号，克制了神经元对反复激励特色的激励。少数神经网络在权值中记忆训练信息。依据 Hebb 学习规定，某种特色训练的次数越多，在当前的辨认过程中就越容易被检测。也有学者将进化计算实践与神经认知机联合，通过削弱对重复性激励特色的训练学习，而使得网络留神那些不同的特色以助于进步辨别能力。上述都是神经认知机的倒退过程，而卷积神经网络可看作是神经认知机的推广模式，神经认知机是卷积神经网络的一种特例。卷积神经网络的网络结构卷积神经网络是一个多层的神经网络，每层由多个二维立体组成，而每个立体由多个独立神经元组成。

卷积神经网络的概念示范：输出图像通过三个可训练的滤波器和可加偏置进行卷积，滤波过程如图一，卷积后在 C1 层产生三个特色映射图，而后特色映射图中每组的四个像素再进行求和，加权值，加偏置，通过一个 Sigmoid 函数失去三个 S2 层的特色映射图。这些映射图再进过滤波失去 C3 层。这个层级构造再和 S2 一样产生 S4。最终，这些像素值被光栅化，并连接成一个向量输出到传统的神经网络，失去输入。个别地，C 层为特征提取层，每个神经元的输出与前一层的部分感触野相连，并提取该部分的特色，一旦该部分特色被提取后，它与其余特色间的地位关系也随之确定下来;S 层是特色映射层，网络的每个计算层由多个特色映射组成，每个特色映射为一个立体，立体上所有神经元的权值相等。特色映射构造采纳影响函数核小的 sigmoid 函数作为卷积网络的激活函数，使得特色映射具备位移不变性。此外，因为一个映射面上的神经元共享权值，因此缩小了网络自在参数的个数，升高了网络参数抉择的复杂度。卷积神经网络中的每一个特征提取层 (C- 层) 都紧跟着一个用来求部分均匀与二次提取的计算层 (S- 层)，这种特有的两次特征提取构造使网络在辨认时对输出样本有较高的畸变容忍能力。卷积神经网络训练过程神经网络用于模式识别的支流是有领导学习网络，无领导学习网络更多的是用于聚类分析。对于有领导的模式识别，因为任一样本的类别是已知的，样本在空间的散布不再是根据其天然散布偏向来划分，而是要依据同类样本在空间的散布及不同类样本之间的拆散水平找一种适当的空间划分办法，或者找到一个分类边界，使得不同类样本别离位于不同的区域内。这就须要一个长时间且简单的学习过程，一直调整用以划分样本空间的分类边界的地位，使尽可能少的样本被划分到非同类区域中。卷积网络在实质上是一种输出到输入的映射，它可能学习大量的输出与输入之间的映射关系，而不须要任何输出和输入之间的准确的数学表达式，只有用已知的模式对卷积网络加以训练，网络就具备输入输出对之间的映射能力。卷积网络执行的是有导师训练，所以其样本集是由形如：(输出向量，现实输入向量) 的向量对形成的。所有这些向量对，都应该是来源于网络行将模仿的零碎的理论“运行”后果。它们能够是从理论运行零碎中采集来的。在开始训练前，所有的势力都应该用一些不同的小随机数进行初始化。“小随机数”用来保障网络不会因权值过大而进入饱和状态，从而导致训练失败;“不同”用来保障网络能够失常地学习。实际上，如果用雷同的数去初始化权矩阵，则网络无能力学习。训练算法与传统的 BP 算法差不多。次要包含 4 步，这 4 步被分为两个阶段：第一阶段，向前流传阶段：a)从样本集中取一个样本 (X,Yp)，将 X 输出网络;b) 计算相应的理论输入 Op。在此阶段，信息从输出层通过逐级的变换，传送到输入层。这个过程也是网络在实现训练后失常运行时执行的过程。在此过程中，网络执行的是计算 (实际上就是输出与每层的权值矩阵相点乘，失去最初的输入后果)：Op=Fn(…(F2(F1(XpW(1))W(2))…)W(n)) 第二阶段，向后流传阶段 a)算理论输入 Op 与相应的现实输入 Yp 的差;b)按极小化误差的办法反向流传调整权矩阵。卷积神经网络的长处卷积神经网络 CNN 次要用来辨认位移、缩放及其他模式扭曲不变性的二维图形。因为 CNN 的特色检测层通过训练数据进行学习，所以在应用 CNN 时，防止了显式的特色抽取，而隐式地从训练数据中进行学习; 再者因为同一特色映射面上的神经元权值雷同，所以网络能够并行学习，这也是卷积网络绝对于神经元彼此相连网络的一大劣势。卷积神经网络以其部分权值共享的非凡构造在语音辨认和图像处理方面有着独特的优越性，其布局更靠近于理论的生物神经网络，权值共享升高了网络的复杂性，特地是多维输出向量的图像能够间接输出网络这一特点防止了特征提取和分类过程中数据重建的复杂度。流的分类形式简直都是基于统计特色的，这就意味着在进行分辨前必须提取某些特色。然而，显式的特征提取并不容易，在一些利用问题中也并非总是牢靠的。卷积神经网络，它防止了显式的特色取样，隐式地从训练数据中进行学习。这使得卷积神经网络显著有别于其余基于神经网络的分类器，通过构造重组和缩小权值将特征提取性能交融进多层感知器。它能够间接解决灰度图片，也可能间接用于解决基于图像的分类。卷积网络较个别神经网络在图像处理方面有如下长处：a)输出图像和网络的拓扑构造能很好的吻合;b)特征提取和模式分类同时进行，并同时在训练中产生;c)权重共享能够缩小网络的训练参数，使神经网络构造变得更简略，适应性更强。