神经网络超参调节与优化算法

1fy07h

构建完一个神经网络模型后，怎样有效运作神经网络？其重点内容触及超参数调优，数据集构建，以及怎样保证优化算法快速运行，从而使学习算法在恰当时间内完成自主学习。

1   数据集

在配置训练、验证和测试数据集的过程中怎样正确的分配数据集，则在很大程度上能够帮忙咱们创建有效的神经网络。训练神经网络时，需要做出很多决策，如：神经网络分多少层；每层含有多少个隐匿单元；学习速率是多少；各层采用那些激活函数。

在创建新应用的过程中，不可能从一起始就准确预测出这些信息和其他超级参数。而应用深度学习是一个典型的迭代过程，需要多次循环往复，才可为应用程序找到一个叫作心的神经网络，因此呢循环该过程的效率是决定项目发展速度的一个关键原因，而创建高质量的训练数据集，验证集和测试集亦有助于加强循环效率。

在设备学习发展的小数据量时代，平常做法是将所有数据三七分，即人们常说的70%验证集，30%测试集，倘若无知道设置验证集，亦能够根据60%训练，20%验证和20%测试集来划分。

若数据仅有100条，1000条或1万条数据，那样上述比例划分是非常恰当的。

然则在大数据时代，此刻的数据量可能是百万级别，那样验证集和测试集占数据总量的比例会趋向于变得更小。由于验证集的目的便是验证区别的算法，检验哪种算法更有效，因此呢，验证集要足够大才可评定，例如2个乃至10个区别算法，并快速判断出哪种算法更有效。咱们可能不需要拿出20%的数据做为验证集。因此呢，针对数据集规模很强的，验证集和测试集要少于数据总量的20%或10%。

在设备学习中，倘若仅有一个训练集和一个验证集，而无独立的测试集，遇到这种状况，训练集还被人们叫作为训练集，而验证集则被叫作为测试集，不外在实质应用中，人们只是把测试集当成简单交叉验证集运用，并无完全实现该术语的功能，由于她们把验证集数据过度拟合到了测试集中。

而搭建训练验证集和测试集能够加速神经网络的集成，亦能够更有效地衡量算法地偏差和方差，从而帮忙咱们更有效地选取合适办法来优化算法。

2   偏差与方差

3、正则化

深度学习可能存在过拟合问题——高方差，有两个处理办法，一个是正则化，另一个是准备更加多的数据，这是非常靠谱的办法，但可能没法时时刻刻准备足够多的训练数据或获取更加多数据的成本很高，但正则化一般有助于避免过拟合或减少网络误差。

dropout: 随机的取掉下一神经元。

Batch Normalization:对每一种数据的min-batch set 标准化。

Batch Normalization 是对每一种数据的min-batch set 标准化。

4  归一化（输入）

5  梯度消失/梯度爆炸

深度学习网络重点的缺点是深度网络难以训练，详细原由是易梯度消失和梯度爆炸。

若以三层隐匿神经网络为例，则下图暗示为其易出现梯度消失的推导。

6  优化算法

设备学习的应用是一个高度依赖经验的过程，伴同着海量迭代的过程，需要训练许多模型，才可找到合适的那一个，故此，优化算法的目的是快速训练模型，加快学习算法。

6.1   Mini-batch 梯度下降法

把训练集分割为小一点的子集训练，这些子集被取名为mini-batch。假设每一个子集中仅有1000个样本，那样把其中的 x1到x1000取出来，将其叫作为第1个子训练集，亦叫做mini-batch，而后你再取出接下来的1000个样本，从x1001到x2000，而后再取1000个样本，以此类推。

6.2  指数加权平均数

6.3  动量梯度下降法

动量（Momentum）: 一阶导数，梯度指数加权平均数。运行速度几乎总是快于标准的梯度下降算法，它能够加快梯度下降。

6.4  RMSprop

RMSprop全叫作是root mean square prop算法，它是一阶导数，微分平均加权值的平方根，亦能够加速梯度下降。

6.5   Adam 优化算法

6.6   反向传播法

反向传播法是神经网络中更新权重参数的办法。

7 超参数调节

8  Batch正则化

8.1  归一化网络的激活函数

8.2  Batch Norm 拟合进神经网络

8.3  Softmax 回归

9  深度学习框架

10  参考资料

[1].https://github.com/fengdu78/deeplearning_ai_books

4zhvml8

认真阅读了楼主的帖子，非常有益。

m5k1umn

你的努力一定会被看见，相信自己，加油。