第3章　深度学习的理论基础

深度学习是目前以及可以预见的将来最为重要、最有发展前景的一个学科，基础是神经网络。神经网络在本质上是一种无须事先确定输入输出之间映射关系的数学方程，仅通过自身的训练学习某种规则，在给定输入值时得到最接近期望输出值的结果。

作为一种智能信息处理系统，人工神经网络（Artificial Neural Network，ANN）实现其功能的核心是反向传播（Back Propagation，BP）神经网络（见图3.1）。BP神经网络是一种按误差反向传播（简称误差反传）训练的多层前馈网络，基本思想是梯度下降法，利用梯度搜索技术使网络的实际输出值和期望输出值的误差均方差为最小。

图3.1　BP神经网络

本章将从BP神经网络的开始讲起，全面介绍其概念、原理以及背后的数学原理。