中文内容
OlmoEarth v1.1：更高效的地球观测模型家族
- 正文：+16
通过缩短序列长度提升效率 设计 token 面向开发者 面向研究者 开始使用 🧠 模型：https://huggingface.co/collections/allenai/olmoearth | 📄 技术报告：https://allenai.org/papers/olmoearth_v1_1 | 💻 代码：https://github.com/allenai/olmoearth_pretrain
我们于 2025 年 11 月发布了 OlmoEarth（v1）。此后，合作伙伴已将其应用于广泛任务，从追踪红树林变化、分类森林损失驱动因素，到在数天内生成国家尺度的作物类型地图，并将部署扩展到国家、大洲和全球范围。每一次发布都让我们更接近使命：把最先进的 AI 带给致力于保护人类和地球的组织与社区。
当 OlmoEarth 处理卫星影像，在数万至数十万平方公里范围内进行预测时，效率决定了可能实现的边界。在运行 OlmoEarth 的完整生命周期中——数据导出、预处理、推理和后处理——计算远远是最高成本。更高效的模型意味着我们可以在 OlmoEarth Platform 上支持更多合作伙伴，也意味着任何自行运行 OlmoEarth 的用户都能更快、以更低成本利用这项技术。
这就是我们构建 OlmoEarth v1.1 的原因：这是一个新的模型家族，在我们与合作伙伴构建的一组研究基准和任务上保持 OlmoEarth v1 性能的同时，将计算成本最高降低 3 倍。
通过缩短序列长度提升效率
OlmoEarth 模型是基于 transformer 的模型，这是当今机器学习中的主流架构之一。为了处理遥感数据，我们首先将其转换为模型可摄取的 token 序列。
在基于 transformer 的模型中，有两个重要杠杆控制效率：模型规模（这也是我们发布一个模型家族的原因，使用户可以选择符合其计算预算的规模）和 token 序列长度。计算成本随 token 序列长度呈二次方增长，因此即使小幅缩短，也能显著降低运行模型的成本。
MACs，即乘加运算，用于估算一次模型前向传播所需的计算量；较低的 MACs 通常意味着更便宜、更快速的推理。y 轴被反转，因为较低的平均排名更好。标签显示模型家族和规模。所有绘制点都使用粘贴的 MAC/rank 数值。
设计 token
这引出了基于 transformer 的遥感模型中的一个重要问题：token 应该代表什么？
以 Sentinel-2 影像为例，这是我们处理的一种常见模态。一个 Sentinel-2 输入会是某个具有高度和宽度的张量（H、W 表示纬向和经向像素）、一个时间维度 T，以及 12 个 Sentinel-2 通道（[H, W, T, D=12]）。
目前，我们按分辨率将数据拆分为 patch。具体而言，这意味着我们会选择某个空间 patch 大小 p，并将整体 Sentinel-2 图像拆分为 p x p 大小的 patch：
对于每个 patch，我们按每个时间步、每种分辨率创建一个 token。因此，带有 2 个时间步的 Sentinel-2 输入，每个 patch 会产生 6 个 token（2 个时间步 x 3 种分辨率：10m、20m 和 60m）。
总计，一个 [H, W, T, D=12] 的 Sentinel-2 输入会产生 H/p x W/p x T x 3 个 token。
在处理 Sentinel-2 数据时，为每种分辨率使用唯一 token 是一种常见技术——Galileo 和 SatMAE 都采用这种方法，而 SatMAE 显示这样做会取得显著更好的结果。不过，这并非通用做法：CROMA 是一种无论分辨率如何都只为所有波段使用单一 token 的模型。由于 token 数量以乘法方式叠加，将多种分辨率合并为单一 token 会使 token 数量减少三倍，并在预训练、微调和推理过程中带来显著节省。
以这种方式简单合并 token 会导致性能显著下降，包括在 m-eurosat kNN（遥感模型的常见基准任务）上下降 10 个百分点。我们推测，将 Sentinel-2 波段分离到不同 token 中，使 OlmoEarth 更容易建模重要的跨波段关系。
在不影响性能的情况下合并 token，需要我们修改预训练流程。我们在论文中详细描述了这些变化。
面向开发者
结果是一个以更少资源完成更多工作的模型家族。在每一种规模上，OlmoEarth v1.1 的运行成本都比 OlmoEarth v1 最高低三倍，使每个运行 OlmoEarth 的团队都能更负担得起频繁的行星尺度地图刷新。如果你正在使用原始 OlmoEarth 家族中的模型，可以尝试 OlmoEarth v1.1。它在只需三分之一计算量的情况下提供与 OlmoEarth v1 相近的性能，不过我们也观察到了一些回退（更多详情见技术报告）。如果它适用于你的任务，你应该会在微调和推理过程中看到显著加速。
面向研究者
预训练遥感模型有许多自由度，因此很难研究。当性能发生变化时，原因是架构、数据集，还是预训练算法？
我们使用与 OlmoEarth v1 相同的数据集训练 OlmoEarth v1.1，因此两者之间的任何差异都能隔离出方法变化的影响。我们希望这能推进对遥感模型预训练科学原则的理解。
开始使用
查看 OlmoEarth v1.1 权重和训练代码，包括我们的 Base、Tiny 和 Nano 模型权重。
社区
这真的非常非常酷！
· 注册或登录以评论
