OpenAI 研究：AI 训练如何随规模扩展

OpenAI 发现梯度噪声尺度这一统计指标可预测神经网络训练在多种任务上的可并行性。复杂任务的梯度噪声更大，因此未来更大的 batch size 可能变得有用，从而消除 AI 系统继续扩展的一项潜在限制。该结果还表明，神经网络训练并非神秘技艺，而是可以被严谨化和系统化。