arXiv

LLMs 作为噪声信道：模型容量与缩放定律的香农视角

现有大语言模型（LLM）缩放定律多为单调幂律，难以解释灾难性过训练及量化退化等非单调现象。我们提出香农缩放定律，基于香农 - 哈特利定理，将 LLM 训练建模为噪声信道信息传输，通过映射模型参数至信道带宽构建统一理论框架。