摘要

RoPE 广泛用于 Transformer，但高维扩展缺乏统一理论。nD-RoPE 将位置与频率作为耦合 n 维向量，实现各向同性建模。

计算机科学 > 机器学习

[提交于 2026 年 6 月 10 日]

标题：nD-RoPE：用于 n 维位置嵌入的广义 RoPE

作者：Boyang Li, Yulin Wu, Sizhe Xu, Nuoxian Huang, Zhonghang Yuan, Shangyi Guo, Shu Yang, Takahiro Yabe

摘要：旋转位置嵌入（RoPE）被广泛用于 Transformer 模型，但其向高维领域的扩展缺乏统一的理论表述。现有大多数方法要么沿各个轴独立应用旋转，要么凭经验混合频率，这限制了跨维度交互，并产生依赖方向的表示。为解决这些局限，我们提出 nD-RoPE，这是一种无需分解、可推广到任意维度的 RoPE 广义形式。基于连续 Hilbert 空间中的平移不变表述，我们推导出各向同性的谱条件，该条件要求将位置和频率视为耦合的 \(n\) 维向量。我们以多尺度正单纯形波向量设计实例化这一表述，该设计提供非退化的空间覆盖，以及对称、方向均衡的二阶响应。实验

Comments: Subjects: 机器学习（cs.LG）; Artificial Intelligence (cs.AI) Cite as: arXiv:2606.12146 [cs.LG] (or arXiv:2606.12146v1 [cs.LG] for this version) https://doi.org/10.48550/arXiv.2606.12146

聚焦以了解更多

arXiv-issued DOI via DataCite (pending registration)

提交历史

From: Boyang Li [view email]
[v1] Wed, 10 Jun 2026 14:38:00 UTC (3,169 KB)

全文链接：

访问论文：

view license

当前浏览上下文：

正文：cs.LG

< prev | next >

new | recent | 2026-06

Change to browse by:

cs
cs.AI

参考文献与引用

正文：NASA ADS
正文：Google Scholar
正文：Semantic Scholar

export BibTeX citation 正在加载...

BibTeX 格式引用

正在加载...

数据提供方：

书签

Bibliographic Tools

书目与引用工具

书目浏览器开关

书目浏览器 (What is the Explorer?)

Connected Papers 开关

正文：Connected Papers (What is Connected Papers?)

Litmaps 开关

正文：Litmaps (What is Litmaps?)

scite.ai 开关

正文：scite Smart Citations (What are Smart Citations?)

Code, Data, Media

与本文相关的代码、数据和媒体

alphaXiv 开关

正文：alphaXiv (What is alphaXiv?)

代码链接开关

CatalyzeX 论文代码查找器 (What is CatalyzeX?)

DagsHub 开关

正文：DagsHub (What is DagsHub?)

GotitPub 开关

正文：Gotit.pub (What is GotitPub?)

Huggingface 开关

正文：Hugging Face (What is Huggingface?)

ScienceCast 开关

正文：ScienceCast (What is ScienceCast?)

Demos

演示

Replicate 开关

正文：Replicate (What is Replicate?)

Spaces 开关

正文：Hugging Face Spaces (What is Spaces?)

Spaces 开关

正文：TXYZ.AI (What is TXYZ.AI?)

arXivLabs：与社区合作者开展的实验性项目

arXivLabs 是一个框架，允许合作者直接在我们的网站上开发和分享新的 arXiv 功能。

与 arXivLabs 合作的个人和组织都已认同并接受我们关于开放、社区、卓越和用户数据隐私的价值观。arXiv 致力于这些价值观，并且只与遵循这些价值观的合作伙伴合作。

有一个能为 arXiv 社区增加价值的项目想法吗？了解更多关于 arXivLabs 的信息。