预训练。从2011年起，这一方法的实现多次赢得了各类模式识别竞赛的胜利，包括2011交通标志识别竞赛和其他比赛。

这些深度学习算法也是最先在某些识别任务上达到和人类表现具备同等竞争力的算法。

深度神经网络是一种具备至少一个隐层的神经网络。与浅层神经网络类似，深度神经网络也能够为复杂非线性系统提供建模，但多出的层次为模型提供了更高的抽象层次，因而提高了模型的能力。深度神经网络通常都是前馈神经网络，但也有语言建模等方面的研究将其拓展到循环神经网络。卷积深度神经网络nluinaleuralerks，在计算机视觉领域得到了成功的应用。此后，卷积神经网络也作为听觉模型被使用在自动语音识别领域，较以往的方法获得了更优的结果。

其他神经网络模型类似，如果仅仅是简单地训练，深度神经网络可能会存在很多问题。常见的两类问题是过拟合和过长的运算时间。

深度神经网络很容易产生过拟合现象，因为增加的抽象层使得模型能够对训练数据中较为罕见的依赖关系进行建模。对此，权重递减或者稀疏等方法可以利用在训练过程中以减小过拟合现象。

另一种较晚用于深度神经网络训练的正规化方法是丢弃法“rpu“regularizain，即在训练中随机丢弃一部分隐层单元来避免对较为罕见的依赖进行建模。

读书成神豪