深度学习模型及应用详解 - (EPUB全文下载)

文件大小：0.52 mb。
文件格式：epub 格式。
书籍内容：

深度学习模型及应用详解
第1章 神经网络发展史
第2章 深度学习开源框架
第3章 多层感知机在自然语言处理方面的应用
第4章 卷积神经网络在图像分类中的应用
第5章 递归神经网络
第6章 DeepIntent模型在信息检索领域的应用
第7章 图像识别及在广告搜索方面的应用
第8章 Seq2Seq模型在聊天机器人中的应用
第9章 word2vec的改进：fastText模型
第10章 生成对抗网络
第11章 深度强化学习
第12章 工程实践和线上优化
第13章 深度学习的下一个浪潮
第1章 神经网络发展史
1.1 神经网络的早期雏形
1.2 现代神经网络
1.3 深度学习发展历史中的重要神经网络
1.4 本章小结
在最近几年，深度神经网络已经在模式识别和机器学习领域的多个大型算法竞赛中取得冠军。例如，在2009年的ICDAR（文档分析与识别国际会议）中，LSTM在没有利用任何先验的语言学知识的前提下夺得了手写文字识别（法语、阿拉伯语、波斯语）的冠军。LSTM 在2013年还打破了著名的 TIMIT 语音识别竞赛的纪录。此外，从2012年至今，每一年ImageNet 图像识别竞赛的冠军均是CNN（卷积神经网络）的某种变种。
除这些著名的机器学习算法竞赛外，在很多实际应用中，深度神经网络所达到的准确率相比传统机器学习算法也有了本质的飞跃。特别是，Google 提出的基于深度学习和强化学习算法的AlphaGo在2017年击败了世界围棋冠军，引起了广泛关注。深度学习的巨大成功引发了人工智能的又一次热潮。现在，基于深度学习的各种智能应用正在渗透到各行各业中。从基础的数据分析到业务的应用（如自动驾驶、机器人），越来越多的基于深度学习的应用场景正在呈爆炸式增长。本书主要结合搜索广告这个在机器学习领域中最成功、最典型的大型应用案例，对深度学习技术进行详细介绍。
最常见的神经网络是前馈神经网络。一个前馈神经网络包含3种节点，即输入节点、输出节点以及隐藏节点。其中，外部输入的特征向量通过输入节点被传递给神经网络，经过一层或多层隐藏节点的计算后，最终得到输出结果，并通过输出节点输出，其结构示意图如图1.1所示。具体来说，输入层以外部输入特征向量作为其输入；隐藏层及输出层中的每个节点，以与其相连的前层节点的输出，按照对应连接边的权重进行加权求和作为其输入，再经过一个非线性激活函数（activation function）得到其输出。
所谓神经网络的学习，就是要找到一组连接边的权重，使得神经网络的输出与我们的目标越来越接近。需要说明的是，神经网络的结构，包括网络层数、各层神经元个数、各层的神经元之间如何连接、非线性映射函数的挑选等，可以有极大的不同。神经网络的训练算法也有很多变种。我们需要根据实际问题的特点，设计和挑选合适的网络结构及训练算法。
图1.1 前馈神经网络结构示意图
理解一种技术的发展史，对于我们深入理解其精华与本质大有裨益。通过对技术发展史的总结与回顾，我们可以更加清晰地看到人类认知水平是如何不断提高的，前人曾经做过哪些尝试，哪些技术改进起到了决定性的推动作用，哪些想法是可以进一步借鉴的等。因此，本章我们会对神经网络的技术发展进行回顾和总结[1][2]。
1.1 神经网络的早期雏形
在最初研究神经网络时，人们最自然的想法就是，首先了解人脑的工作机制，然后用自动化手段进行模拟，从而实现人工智能。因此，神经网络的各种早期雏形在不同程度上体现了对人脑工作机制的猜想和模拟。需要指出的是，现在很多学者已经完全从计算的角度出发，而不再依赖于仿生学的研究结论了。因为很多人认为，就像飞机不是完全模拟鸟儿飞翔的原理一样，人工智能并不需要完全模拟人脑的结构和工作机制。
1.1.1 联结主义和Hebb学习规则
联结主义是著名的对人脑工作原理和结构的猜想。它是人工智能三大学派（符号主义、联结主义、行为主义）之一，又被称为仿生学派。具体来说，联结主义认为人脑是由大量的神经元组成的，这些神经元或神经元组对应着不同的事物或概念，这些神经元之间有着复杂的连接使其产生联系。但这些联系不是杂乱无章的，而是遵循一定规律的。例如，人脑会倾向于把那些在空间或时间上相邻的事务或事件连接在一起；两个事物如果经常一起发生，那么它们对应的神经元之间的连接强度就会比较大。
真正具体实现联结主义的早期算法之一是 Hebb学习规则，它由 Donald O.Hebb发明。Hebb在他的著作中这样描述Hebb学习规则：“当细胞A的轴突足够接近以激发细胞B，并重复或持续地参与激发细胞B时，一些生长过程或代谢变化发生在一个或两个细胞中，使得A（作为激发细胞B的众多细胞中的一个）激发细胞B的效率得以增强。”也就是说，临近细胞之间的连接强度会随着它们被同时激活的次数的增加而得到增强。Hebb 学习规则可以用下述公式进行精确表达。
其中，xi表示神经元i的输入信号，wi表示神经元i的突触连接强度，∆wi表示wi的变化。
1.1.2 Oja学习规则及主分量分析
从Hebb学习规则的公式中不难看出，在Hebb学习规则下，神经元连接的权重会随着神经元之间被共同激活次数的增加而不断增加，并且那些频繁发生的事件对应的权重将呈指数增长。可以想象，由于公式（1）中的增量并不保证会趋于0，因此，Hebb学习规则在学习过程中可能会不收敛，这被称为Hebb学习规则的不稳定性。
Erkki Oja针对Hebb学习规则的不稳定性进行了改进，提出了 Oja学习规则。Oja学习规则可以用下面的公式表示。
公式中的符号意义同公式（1）,t表示迭代次数的索引值。这种形式可以被理解为一种归一化处理，使得权重wi不会随着迭代次数的增加而无限增大，从而克服了Hebb学习规则的权重不稳定性问题。从另一个角度看，它也可以被理解为用负反馈机制来抑制权重的无限增大。此外，Oja进一步表明，他的学习规则相当于用在线更新的方式实现了主分量分析。
1.1.3 早期的神经元模型
MCP是于19世纪40年代被提出的神经元模型。其发明者对神经元的 ............

以上为书籍内容预览，如需阅读全文内容请下载EPUB源文件，祝您阅读愉快。