论文摘要 · 2026-09-10
分析人工智能训练数据重复时混合专家模型的过拟合现象
Data Scarcity and Model Sparsity: Mixtures-of-Experts Overfit More to Repeated Data
- 做了什么
- 研究表明，当人工智能训练数据重复时，近年来广泛使用的“混合专家”架构比传统模型的性能下降更快。
- 核心结果
- 在数据重复时，混合专家模型极易发生过拟合，虽然可以通过传统的正则化技术得到一定程度的缓解，但仍无法达到使用独占数据训练时的性能。
- 意义
- 这表明在因数据稀缺而需要重复学习的情况下，有必要根据人工智能模型的架构特点来制定训练策略。
研究背景
随着人类编写文本的耗尽，重复使用语言模型训练数据已变得普遍。然而，数据重复对高效的“混合专家”架构产生的影响尚未得到充分研究。
方法
研究团队通过改变各种数据重复率、单领域及多领域数据混合、专家数量等设置进行了实验。同时，为解决过拟合问题，测试了 dropout 等传统正则化方法的适用性。
主要结果
对拥有 80M 至 1B 激活参数的模型实验结果表明，在数据重复时，混合专家模型的性能下降速度比密集模型更快。使用强大的基于掩码的正则化可以部分缓解过拟合，但无法达到使用全部独占数据的性能。
局限与待确认之处
摘要中无法确认关于实际产业现场中大规模模型广泛影响或成本效益的具体数值。
术语解释
- Mixture-of-Experts (MoE) — 根据输入数据仅激活最合适的部分专家（子网络）以提高效率的人工智能模型架构。
- Transformer — 作为当前广泛使用的大型语言模型基础的人工智能神经网络架构。
- 过拟合(Overfitting) — 模型过度适应训练数据，导致对新数据的预测性能下降的现象。
本摘要由 AI 根据论文摘要撰写，并经编辑审核。 本页摘要由 AI 根据编辑审核过的韩文版本翻译。 具体数据与背景请查阅原文。
本页面整理已发表的论文、官方公告和媒体报道，仅供参考。论文摘要由 AI 根据论文摘要撰写并经编辑审核，可能与原文存在差异，重要内容请查阅原文。本页面不构成任何证券的买卖建议或投资咨询。 人事变动以官方公告或主要媒体报道为来源，部分履历参考维基数据（CC0）。 本页摘要由 AI 根据编辑审核过的韩文版本翻译。
