如果你训练的模型代价函数J随着迭代次数的增加，绘制出来的图如下，那么[img=719x448]18033254a437b9a.jpg[/img]
A: 如果你正在使用mini-batch梯度下降，那可能有问题；而如果你在使用批量梯度下降，那是合理的
B: 如果你正在使用mini-batch梯度下降，那看上去是合理的；而如果你在使用批量梯度下降，那可能有问题
C: 无论你在使用mini-batch还是批量梯度下降，看上去都是合理的
D: 无论你在使用mini-batch还是批量梯度下降，都可能有问题
A: 如果你正在使用mini-batch梯度下降，那可能有问题；而如果你在使用批量梯度下降，那是合理的
B: 如果你正在使用mini-batch梯度下降，那看上去是合理的；而如果你在使用批量梯度下降，那可能有问题
C: 无论你在使用mini-batch还是批量梯度下降，看上去都是合理的
D: 无论你在使用mini-batch还是批量梯度下降，都可能有问题
B
举一反三
- 为什么最好的mini-batch的大小通常不是1也不是训练集总样本数m，而是介于两者之间 ？ A: 如果mini-batch的大小是1，那么你需要遍历整个训练集后才能更新一次参数 B: 如果mini-batch的大小是m，就是批量梯度下降。你需要遍历整个训练集来更新参数 C: 如果mini-batch的大小是1，那么你将失去mini-batch将数据矢量化带来的的好处 D: 如果mini-batch的大小是m，就是随机梯度下降，而这样做经常会比mini-batch慢
- 下面关于梯度下降法描述正确的是 A: 梯度下降法作为机器学习中较常使用的优化算法，其有着三种不同的形式：批量梯度下降（Batch Gradient Descent）、随机梯度下降（Stochastic Gradient Descent）以及小批量梯度下降（Mini-Batch Gradient Descent）。 B: 批量梯度下降法是最原始的形式，它是指在每一次迭代时使用所有样本来进行梯度的更新。 C: 随机梯度下降法不同于批量梯度下降，是每次迭代使用一个样本来对参数进行更新。 D: 小批量梯度下降法是对批量梯度下降以及随机梯度下降的一个折中办法。更新参数时使用一部分训练样本。一般将训练样本集分成若干个batch，每个batch包含m个样本。每次更新都利用一个batch的数据，而非整个训练集。
- 关于梯度下降算法，以下说法正确的是 A: 随机梯度下降算法是每次考虑单个样本进行权重更新 B: Mini-Batch梯度下降算法是批量梯度下降和随机梯度下降的折中 C: 批量梯度下降算法是每次考虑整个训练集进行权重更新 D: 以上都对
- 假设你有一个非常大的训练集合，如下机器学习算法中，你觉着有哪些是能够使用map-reduce框架并能将训练集划分到多台机器上进行并行训练的（） A: 逻辑斯特回归（LR)，以及随机梯度下降(SGD) B: 线性回归及批量梯度下降(BGD) C: 神经网络及批量梯度下降(BGD) D: 针对单条样本进行训练的在线学习
- 在卷积神经网络中，我们通常使用的带动量的梯度下降算法主要属于下列的哪一种？ A: 批量梯度下降，每次迭代所有样本 B: 真随机梯度下降，每次仅迭代一个样本 C: 小批量梯度下降，每次迭代batch-size个样本 D: 以上均属于常用梯度下降算法
内容
- 0
全局梯度下降算法、随机梯度下降算法和批量梯度下降算法均属于梯度下降算法，以下关于其有优缺点说法错误的是（） A: 全局梯度算法可以找到损失函数的最小值 B: 批量梯度算法可以解决局部最小值问题 C: 随机梯度算法可以找到损失函数的最小值 D: 全局梯度算法收敛过程比较耗时
- 1
下列哪些方法是梯度下降法的改进？（） A: 批量梯度下降（Batchgradientdescent） B: 随机梯度下降（Stochasticgradientdescent） C: 小批量梯度下降（Mini-batchgradientdescent）
- 2
梯度下降策略中，应该尽可能选择更小的batch
- 3
下面梯度下降说法错误的是（） A: 随机梯度下降是梯度下降中最常用的一种。 B: 梯度下降包括随机梯度下降和批量梯度下降 C: 梯度下降算法速度快且可靠 D: 随机梯度下降是深度学习算法当中常用的优化算法之一
- 4
以下关于深度神经网络的说法中错误的是 A: 使用梯度裁剪(gradient clipping)有助于减缓梯度爆炸问题 B: 若batch size过小，batch normalization的效果会出现退化 C: 在使用SGD训练时，若训练loss的变化逐渐平缓不再明显下降时，通常可以通过减小learning rate的方式使其再进一步下降 D: 增大L2正则项的系数有助于减缓梯度消失问题