摘要
提出 PC Layer，通过多项式预条件器稳定 LLM 训练中的权重条件，并可在训练后合并权重而不增加推理开销。
计算机科学 > 机器学习
[提交于 2026 年 6 月 4 日]
标题：PC Layer：用于改进 LLM 预训练的多项式权重预条件化
View PDF HTML (experimental)摘要：我们提出一种预条件化（PC）层，即一种通过多项式预条件器进行的权重参数化方法，可在整个 LLM 训练过程中确保稳定的权重条件。PC 模块通过低阶多项式预条件化重塑权重矩阵的奇异值谱。训练完成后，经过预条件化的权重可以合并回原始架构，不产生额外推理开销。我们在 Llama-1B 预训练中展示了所提出 PC 层相较于标准 transformer 的优势，AdamW 和 Muon 优化器均如此。在理论上，我们通过证明在某些深度线性网络中，对每一层的奇异值进行一致有界约束可确保梯度下降以几何速度收敛到全局最小值，从而论证了这一谱控制原则。我们的代码可在此 https URL 获取。
Subjects:
机器学习（cs.LG）; Artificial Intelligence (cs.AI)
Cite as:
arXiv:2606.06470 [cs.LG]
(or
arXiv:2606.06470v1 [cs.LG] for this version)
https://doi.org/10.48550/arXiv.2606.06470
聚焦以了解更多
arXiv-issued DOI via DataCite (pending registration)
参考文献与引用
- 正文：NASA ADS
- 正文：Google Scholar
- 正文：Semantic Scholar
export BibTeX citation
加载中...
书签
Bibliographic Tools
Code, Data, Media
Demos
Related Papers
About arXivLabs
文献与引用工具
Bibliographic Explorer 切换
正文：Bibliographic Explorer (What is the Explorer?)
Connected Papers 切换
正文：Connected Papers (What is Connected Papers?)
Litmaps 切换
正文：Litmaps (What is Litmaps?)
scite.ai 切换
正文：scite Smart Citations (What are Smart Citations?)
与本文相关的代码、数据和媒体
alphaXiv 切换
正文：alphaXiv (What is alphaXiv?)
代码链接切换
CatalyzeX 论文代码查找器 (What is CatalyzeX?)
DagsHub 切换
正文：DagsHub (What is DagsHub?)
GotitPub 切换
正文：Gotit.pub (What is GotitPub?)
Huggingface 切换
正文：Hugging Face (What is Huggingface?)
ScienceCast 切换
正文：ScienceCast (What is ScienceCast?)
演示
Replicate 切换
正文：Replicate (What is Replicate?)
Spaces 切换
正文：Hugging Face Spaces (What is Spaces?)
Spaces 切换
正文：TXYZ.AI (What is TXYZ.AI?)
推荐与搜索工具
链接到 Influence Flower
正文：Influence Flower (What are Influence Flowers?)
正文：CORE Recommender (What is CORE?)
IArxiv recommender 切换
正文：IArxiv Recommender
(What is IArxiv?)
- 作者
- 会场
- 机构
- 主题
arXivLabs：与社区合作者开展的实验性项目
arXivLabs 是一个框架，允许合作者直接在我们的网站上开发和分享新的 arXiv 功能。
与 arXivLabs 合作的个人和组织都已认同并接受我们关于开放、社区、卓越和用户数据隐私的价值观。arXiv 致力于这些价值观，并且只与遵循这些价值观的伙伴合作。
有一个能为 arXiv 社区增加价值的项目想法？了解更多关于 arXivLabs 的信息。