Sam Altman思想档案馆
Sam Altman 肖像

文献 声明 alt-004 机器译文 · 未审校

神经网络语言模型的缩放定律(Scaling Laws for Neural Language Models)

Scaling Laws for Neural Language Models (research post)

来源 OpenAI · 英文原文出处

STATE2 中文可读 · 机器译文,未经人工审校 证据等级 A
中文为默认阅读视图

机器译文 本页中文为机器逐句翻译(hy4-flash),未经人工审校,仅供阅读参考;引用与考据请以英文原文为准。 逐句机译与英文原文 1:1 存档(1 段);未经人工审校。

# 神经语言模型的缩放定律(Scaling laws for neural language models) ## 摘要(Abstract) 我们研究了语言模型性能在交叉熵损失上的经验性缩放定律。损失随模型规模、数据集规模以及用于训练的算力投入量呈幂律变化,其中一些趋势跨越了七个数量级以上。其他架构细节,如网络宽度或深度,在很大范围内影响极小。简单的方程支配着过拟合对模型/数据集规模的依赖关系,以及训练速度对模型规模的依赖关系。这些关系使我们能够确定为固定算力预算分配的最优方案。更大的模型具有显著更高的样本效率,因此算力效率最优的训练方式是:在相对适中的数据量上训练非常大的模型,并在远未收敛之前就停止训练。 ## 算力缩放(Compute Scaling) 【译注:原文在此后仅有「Compute Scaling」「Authors」「Related articles」等章节标题,以及发布日期(2019-12-05 发布、2018-12-14 里程碑、2024-03-21)与网页导航壳层(Research Index、GPT 型号列表、ChatGPT 各版本、API 登录等),无对应正文段落。上述标题与导航非正文,不译;日期按原文保留如下。】 - 发布(Publication):2019 年 12 月 5 日 - 里程碑(Milestone):2018 年 12 月 14 日 - (相关日期)2024 年 3 月 21 日 We study empirical scaling laws for language model performance on the cross-entropy loss. The loss scales as a power-law with model size, dataset size, and the amount of compute used for training, with some trends spanning more than seven orders of magnitude. Other architectural details such as network width or depth have minimal effects within a wide range. Simple equations govern the dependence of overfitting on model/dataset size and the dependence of training speed on model size. These relationships allow us to determine the optimal allocation of a fixed compute budget. Larger models are significantly more sample-efficient, such that optimally compute-efficient training involves training very large models on a relatively modest amount of data and stopping significantly before convergence.

出处与译稿

来源平台
OpenAI
发表时间
2020 年 1 月 23 日
译稿来源
机器逐句翻译 · hy4-flash
审校状态
未经人工审校(reviewed = 0)
译文存档
正式档案库 · translation 表
原文存档
正式档案库 · segment 表
收录状态
STATE2 · 中文暂不可用

中文译文为阅读默认视图;引用与考据请以英文原文为准。外部链接仅作为来源引用保留。

回到正文开头