Step-size

Definition / 定义

step-size（也常写作 step size）：（尤指数学、数值计算、优化与机器学习中）步长，指每一步更新、移动或采样时所使用的增量大小（例如学习率或迭代更新幅度）。在更一般语境中，也可指“步伐/台阶的步距”等“每一步的长度”。

Pronunciation / 发音

/ˈstɛp ˌsaɪz/

Examples / 例句

Use a smaller step-size if the algorithm becomes unstable.
如果算法变得不稳定，就使用更小的步长。

Choosing an appropriate step-size can greatly affect how fast gradient descent converges and whether it overshoots the minimum.
选择合适的步长会极大影响梯度下降的收敛速度，并决定它是否会越过最小值。

Etymology / 词源

由 step（一步）+ size（大小）组合而成的复合词，字面意思是“每一步的大小”。在科学计算与优化领域中，这个“步的大小”被专门化为迭代更新的增量（例如时间步长、空间步长或参数更新幅度）。

Related Words / 相关词

• Step
• Size
• Increment
• Iteration
• Learning Rate
• Gradient Descent
• Convergence
• Parameter

Literary Works / 文学作品

• Convex Optimization（Boyd & Vandenberghe）——讨论梯度法等算法时常涉及步长选择
• Numerical Recipes（Press 等）——在数值方法与迭代算法中频繁出现“step size/步长”
• Pattern Recognition and Machine Learning（Bishop）——优化与学习算法部分会提到步长/学习率
• Deep Learning（Goodfellow, Bengio & Courville）——在训练与优化章节中涉及学习率（可视作步长的一种）