二、AI学习笔记|优化算法_ai算法优化-CSDN博客

网站介绍:文章浏览阅读155次。1、mini-batch在实际项目中,训练集很庞大,一次性加载不仅硬件无法满足,而且大数据量使得神经网络进行一次梯度下降就需要很长时间。batch梯度下降:使用整个训练集训练模型mini-batch梯度下降:将庞大的训练集拆分成一个个小的训练集,依次使用小的训练集进行训练。随机梯度下降:将一个样本当做一个子训练集mini-batch的合理大小设置:大小需要考虑硬件的承受能力、CPU、GPU、内存等可以承受多少样本,一般来说子集的大小设置成 2 的..._ai算法优化