呼和浩特万能胶厂家 21M小模型碾压百倍大模型, 卫星影像理解迎来新时代
这项由剑桥大学、英伟达和dClimate Labs联完成的研究，以预印本形式发布于2026年7月4日呼和浩特万能胶厂家，论文编号为arXiv:2607.03949v1，有兴趣入了解的读者可以通过该编号查询完整论文。
地球正面临着个数据悖论：我们从未像今天这样拥有如此海量的卫星观测数据，但真正能用好这些数据的人，却依然是少数掌握业技能和昂贵力的研究机构。每张来自欧洲局哨兵卫星的图像，在能被科学使用之前，都需要经过辐射校正、云层剔除、多传感器对齐等系列繁琐处理，这就像你买了袋新鲜食材，却发现它们全部混在起、没有清洗、没有分类，而且食谱还是用你看不懂的语言写的。大多数人，只能望而却步。
正是为了破这个困局，剑桥大学的研究团队发起了项名为TESSERA v2的研究计划。他们的核心思路，是把卫星数据预先"消化"成种通用的"营养素"——也就是所谓的嵌入向量（embedding），让任何研究者、开发者甚至农业从业者，都能直接取用这些"营养素"，而需从头处理原始的卫星影像。重要的是，这项研究通过史上大规模的地球观测模型缩放实验，揭示了个令人意外的规律：在训练这类模型时，用来监控训练进度的"损失值"（个衡量模型表现的技术指标），根本不能预测模型在真实任务中的好坏——这意味着过去大量的计资源，其实都被浪费在了错误的向上。
这项研究在1024块英伟达GH200芯片上运行了395次训练实验，终产出了个仅有2100万参数的小模型，却在涵盖29项任务的综测试中，击败了所有已知的开放和商业模型，其中些被它越的模型，参数量比它大了数百倍。这不是次普通的模型发布，而是套从根基重塑地球观测AI开发逻辑的完整法论。
、卫星数据的"原材料困境"：为什么普通人用不上海量卫星影像
地球每天都在被几十颗卫星不间断地扫描和记录。哨兵-2是颗光学卫星，门拍摄地面的颜和反射信息，可以"看到"植被的绿度、水体的分布、城市的扩张；哨兵-1则是颗雷达卫星，能穿透云层探测地表的物理结构，不受天气影响。听起来，这两颗卫星的组简直是地球监测的搭档。
然而现实远比想象复杂。光学卫星大的敌人是云。在热带雨林地区，整年里有过80的时间被云层覆盖，这意味着你想观测的那片土地，大部分时候都被白茫茫的云遮住了，就像你想拍张朋友的照片，却发现他大半年都戴着口罩。雷达卫星虽然能穿云，但它的观测节奏和光学卫星并不同步，两者的数据往往对不上时间。麻烦的是，不同轨道、不同时间拍摄的图像，在亮度、角度、信号强度上都有细微差异，直接拼在起会产生明显的"拼接痕迹"，就像把不同光线下拍的照片硬拼成全景图，总会看出接缝。
为了解决这些问题，研究者通常会制作所谓的"云云成图"——把同地区段时间内所有云的卫星影像叠加平均，得到张"干净"的图像。但这个操作有个致命的代价：它抹掉了时间信息。农作物的生长节律、植被的季节变化、洪水的消退过程，这些随时间变化的动态信息，在成图中全部消失了。这就像你把年365天的日记全部散重排，然后取平均值，终得到段毫意义的"平均日记"。而许多重要的下游任务，比如识别农作物类型、监测森林伐时间点、预测植被生长态势，恰恰依赖这些被抹掉的动态信息。
TESSERA团队的解决案，是引入"d像素"的概念。所谓d像素，就是把地球表面某个10米×10米小格子里，整年内所有有的卫星观测记录（包括光学和雷达），包成个完整的时间序列，并用个二进制掩码标注哪些时间点是有的（晴天云），哪些是缺失的（被云遮挡）。这个d像素，就像是地球某个角落整年的"完整日记"，包含了所有的光时刻和阴暗日子，而不是被人工抹平的平均值。这种处理式保留了完整的物候动态，同时也让模型学会了在信息残缺时依然做出理判断——就像个经验丰富的医生，即便病历不完整，也能根据现有线索做出诊断。
二、"营养素"工厂：什么是嵌入向量，为什么它能改变切
理解TESSERA v2的核心，需要先理解"嵌入向量"这个概念。简单说，嵌入向量就是用串数字来表示某个地点在某个时间段内的"综特征"。以个128维的嵌入向量为例，这128个数字共同描述了该像素的植被状况、水分含量、季节节律、地表覆盖类型等综信息——虽然这些数字本身没有直观意义，但它们的组式，却精确编码了这个地点的"身份特征"，就像个人的DNA序列，每段碱基对单看毫意义，组起来却唯标识了个人。
TESSERA v2的核心商业逻辑可以用预制菜工厂来理解。工厂（大型教师模型）负责处理原始的食材（原始卫星时间序列），经过复杂的加工流程，生产出标准化的半成品（嵌入向量）。这些半成品随后被存储在数据库中，向所有人开放。使用者需自己购置厨房设备和食材，只需取用对应地点和时间的半成品，加上自己的"调料"（轻量任务头），就能快速做出各自需要的"成品菜"（各类地球观测应用）。
这套"嵌入即数据"的模式，改变了地球观测AI的使用门槛。以往，个农业机构想利用卫星数据预测作物产量，需要招募遥感工程师、购买GPU服务器、处理海量原始数据、自己训练模型——整个流程可能耗费数月、数百万元。在TESSERA v2的模式下，他们只需下载对应地区的预计嵌入向量呼和浩特万能胶厂家，再用几千个标注样本训练个简单的经网络头，整个过程可能只需要几天和几百元的力成本。
研究团队为这套产品制定了五个核心标准。是"开箱即用"，用户拿到数据就能直接分析，不需要任何预处理步骤。二是"跨任务通用"，同套嵌入向量应该能适用于分类、分割、变化检测、回归等各种不同类型的任务，而不是只针对某个特定问题优化。三是"可复现"，所有的训练代码、模型权重、评估流程都应该公开，让任何人都能验证和扩展。四是"经济实惠"，不论是标注成本、训练力、理力还是存储开销，都应该尽可能低廉。五是"灵活可调"，用户应该能根据自己的预，在精度和成本之间自由选择，而不是被强制绑定在某个固定的模型规格上。
三、史上大规模地球观测缩放实验：395次训练揭开的惊天秘密
现在来到这篇论文核心、也具颠覆的部分。在人工智能域，"缩放定律"（scaling laws）是近年来重要的发现之。它的基本逻辑是：模型越大、数据越多、力越强，训练损失就越低，而训练损失越低，模型在各种任务上的表现就越好。正是基于这个逻辑，整个AI行业都把"降低损失"作为衡量模型优劣的核心指标，并依据损失的变化规律来决定如何分配计预。
但TESSERA团队在地球观测域发现了个令人不安的异常。他们在1024块GH200芯片（每块芯片由个Grace CPU和个96GB显存的H100 GPU组成）上，系统地训练了395个不同规模的模型，并且每个模型都在15项真实下游任务上进行了评估。这15项任务涵盖了土地覆盖分类、农作物分割、变化检测、生物量回归等多个域，来自10个不同的数据集，可以说是相当和真实的测试。
测试结果让人大跌眼镜。当研究者把395个模型的训练损失和下游任务综得分画在张散点图上时，他们发现这两个数值之间几乎没有任何关系——皮尔逊相关系数仅为-0.18，斯皮尔曼相关系数为-0.16，都非常接近于（随机的关系）。换句话说，个损失值很低的模型，在真实任务上的表现可能比个损失值的模型差。
为什么会这样？研究团队给出了清晰的解释。在卫星数据中，样本之间的差异很大部分来自于云层覆盖和卫星轨道的随机——这些差异和地面的真实物理状态毫关系。模型在降低损失的过程中，很可能学会了"对云层和轨道变化保持不变"，而不是"识别对人类有用的地表特征"。前者能有降低损失，但对任何实际任务毫帮助，就像个学生学会了在考试中猜测老师的出题偏好，而不是真正理解了知识——他的"训练损失"（做题错误率）可能很低，但在真实生活中运用知识的能力（下游任务表现）并没有提升。
这个发现有着非常具体的经济代价。研究团队计发现，如果按照传统的"以损失为向"式来选择佳模型，你需要多花费大约254的计资源，才能达到和"以真实任务表现为向"选择式同等的果。也就是说，过去依赖损失值来做模型选择，大约有三分之二的计预是在做用功。
四、找到正确的"烹饪"：编码器、数据和投影器，谁才是真正的关键
发现损失值不可信之后，研究团队面临的下个问题是：那么计预到底应该怎么分配？个地球观测模型的训练，主要涉及三个可以调节的维度：编码器的大小（负责把卫星时间序列转化为嵌入向量的核心经网络，参数越多越大）、投影器的大小（训练过程中辅助编码器学习的附属网络，在理时不使用）、以及训练数据的量。
为了找到优的分案，研究团队把395次训练实验按照计量分成了九个等区间，在每个区间内分别测试了16种不同编码器规模（从700万到2.78亿参数）和四种不同投影器规模，同时训练数据量从3000万d像素到99.84亿d像素不等。对于每个计量别，他们找到了使下游任务得分的优组，然后观察这些优组随计量增加如何变化。
结果呈现出幅非常清晰的图景。当计预增加时，优的编码器大小确实随之增长，符幂律关系：计量每增加10倍，优编码器参数量增长约2.29倍，对应的幂指数约为0.36。与此同时，训练数据量也需要随之扩大：计量每增加10倍，优数据量增长约4.27倍，对应幂指数约为0.63。两个指数相加恰好约等于1.0（精确值为0.99），这与自然语言处理域的"Chinchilla定律"（即训练个计优模型，数据量和参数量应该等比例增长）度吻，这是个来自不同数据域的立印证，增加了研究结论的可信度。
然而关键的发现是关于投影器的。研究者发现，投影器的优大小对应的幂指数约为0.00——这意味着论计预怎么增长，优的投影器大小几乎保持不变。投影器在训练过程中虽然有用，但它的"贡献上限"早就饱和了，再给它增加参数，对终的下游任务表现没有任何提升。它就像烹饪时用来搅拌的锅铲——论你要做多大锅菜，锅铲的大小都不需要按比例增大，把标准尺寸的锅铲就够用了。
这三个幂指数的稳健经过了严格的统计验证，包括1000次自举（bootstrap）重采样和"排除个计量桶"的交叉验证，结果都非常致，说明这不是偶然现象，而是该模型族真实的统计规律。这套规律给出了个非常具体的生产：把钱花在大的编码器和多的数据上，投影器保持小有规格即可呼和浩特万能胶厂家，保温护角专用胶多出的那部分力全部是浪费。
五、1B参数教师模型的内部构造：如何"阅读"地球整年的日记
基于上述缩放定律的指引，研究团队构建了TESSERA v2的核心——个拥有约10亿参数的大型教师模型。这个模型的设计颇具匠心，每个细节都针对卫星数据的特殊量身定制。
这个教师模型采用双分支架构：哨兵-2光学数据和哨兵-1雷达数据分别由立的处理通道处理。每个通道先用个线层把各自的观测值转化为向量，然后加入"年内几天"的位置编码——这就像给每条日记加上日期标签，让模型知道这条观测记录发生在年中的什么时候（比如冬天、开春还是秋收季节）。加上日期标签后，每个通道的序列分别进入个4层的Transformer网络（种门处理序列数据的经网络结构）进行处理，然后通过"注意力池化"（种自动给重要时刻加权、给不重要时刻降权的汇总式）把整个时间序列压缩成个向量。后，两个通道的向量被送入个双层融Transformer，将光学和雷达的信息融成个768维的统嵌入向量。
在训练式上，研究团队使用了种叫做BARLOW TWINS的自监督学习法。自监督学习的核心思路是：不需要人工标注，而是通过让模型学会"同个地点的不同观测结果应该产生相似的嵌入"来训练自己。具体来说，对同个d像素，从整年的观测记录中随机抽取两个子集作为两个"视角"，让模型把这两个视角的嵌入向量对齐，同时止所有向量都坍缩成同个值（这就是BARLOW TWINS中"冗余减少"机制的作用）。
TESSERA v2相比v1的个重要改进，是在训练时随机使用不同长度的观测子集（每个视角随机抽取8个或16个观测时刻），而在理（即实际使用）时则提供全部有观测。这种设计的逻辑是：训练时用残缺信息，逼迫模型从少量观测中断完整的年度物候规律；理时给足所有信息，模型能利用丰富的证据做出准确的判断。这就像培养名厨师，平时有意只给他半的食材练手，上战场时才给他全套设备，结果他反而擅长利用有限资源。
此外，为了解决不同地点观测数量差异巨大的问题（有些热带地区全年有观测可能只有几次，而干旱地区可能有上百次），v2采用了"自适应桶采样"策略：根据每个像素的有观测数量k，选取能容纳所有k个观测的小固定长度（从16、32、48……的阶梯中选取），剩余的空位用全年的等间隔重采样填充。这样既不丢弃任何有观测，又保持了批量计所需的固定输入长度，就像包行李时根据物品多少选择适尺寸的箱子，而不是固执地塞进同个箱子或者空着大半的空间浪费资源。
整个教师模型在512块GPU上，用全球约42亿个d像素进行了完整训练，全局批次大小为131072。这是次规模宏大的全球"阅读"——模型通过学习地球上42亿个地点的整年卫星日记，建立起对全球地表状态的度理解。
六、"知识传承"的艺术：如何把巨人的智慧装进袖珍版容器
10亿参数的教师模型虽然强大，但它有个致命的弱点：太贵了。研究团队计，用这个教师模型对全球所有陆地表面进行次完整的年度嵌入计，大约需要50个H100-GPU运行整年的力（约50 H100-年）。这种规模的计，普通研究机构和企业根本法承受，别说每年重复运行。
解决案是知识蒸馏（distillation）。这个概念的直觉是：个大（教师模型）已经把世界看得很透彻了，我们不需要让每个人都成为同等规模的，而是让大把自己的"世界观"传授给个紧凑的学生，让学生在小的体积内尽可能大的视角。
研究团队从教师模型蒸馏出四个不同规模的学生模型，分别命名为N、S、M、L（对应参数量约为100万、700万、2100万和4400万）。蒸馏的式是：固定冻结教师模型（让它停止学习、只提供输出），然后让学生模型学习"产生与教师模型尽可能相似的嵌入向量"。为了节省蒸馏成本，研究团队先对约2亿个d像素运行次教师模型，把结果缓存下来作为固定的"目标答案"，学生模型的训练只需要和这些缓存结果对比即可，不需要每次都重新运行巨大的教师模型。这个蒸馏过程只需要64块H100 GPU完成，相比教师模型的训练轻量得多。
终，四个学生模型的理成本在0.04到2个H100-年之间，比教师模型低了整整两个数量。按大的L号学生（4400万参数）计，它比教师模型便宜约25倍；小的N号学生（100万参数）则比教师模型便宜过1000倍。这套成本结构意味着，全球年度嵌入新变成了件可负担的常规任务，而不是次的壮举。
七、俄罗斯套娃式嵌入：为什么128维能"缩水"到16维还保留九成功力呼和浩特万能胶厂家
TESSERA v2还解决了另个实际问题：存储和传输成本。个128维的全球嵌入产品，对于拥有强大基础设施的大型机构来说可能没问题，但对于网络带宽有限的发展研究者、或者需要在手机端运行的应用开发者来说，每个像素存储128个浮点数的开销依然是个负担。
TESSERA v2的解决案是"俄罗斯套娃式表示"（MATRYOSHKA representations）——这个名字来自于俄罗斯的套娃玩具，大娃套着小娃，每个小娃都是大娃的完整缩小版。具体来说，研究团队训练学生模型，使其128维嵌入向量的前16位就能立代表重要的信息，前32位包含多细节，前64位再进步，完整的128位则提供的表示。用户可以根据自己的存储和带宽预，直接截取嵌入向量的前k位来使用，而不需要重新训练或转换任何模型。
实验结果显示，仅使用前16维的嵌入，在29项综测试任务上能保留约92的完整128维能，使用前32维达到约97，使用前64维达到约99。换句话说，如果用户只愿意付出八分之的存储成本，他们依然能获得九成以上的能——这是个非常实用的权衡曲线。
然而，实现这种"可截断"的嵌入并不简单。研究团队发现，个看似自然的法——在自监督预训练时直接对不同前缀长度施加损失约束——根本行不通。根本原因在于BARLOW TWINS等自监督法的数学质：这类法训练出的嵌入只能保证整体子空间的结构，法保证哪个坐标轴比哪个重要。对不同前缀施加立的损失，反而会通过梯度不平衡破坏已经学到的坐标结构，就像你试图同时用两把锁锁住同扇门，结果反而让门失去了正常的铰链。
正确的法，是通过蒸馏来实现。蒸馏提供了个固定的外部参考点（教师模型的嵌入），让学生模型的每个前缀都去学习"尽可能完整的教师嵌入"，而不是自己给自己评分。这种有外部参照的监督学习，地迫使学生把重要的信息压缩进短的前缀，把次要信息依次填入后续维度。这发现揭示了嵌入维度排序的本质：它不是自监督学习能自发产生的属，而是种需要通过有监督压缩来显式习得的结构。
八、29项任务的"大比武"：小学生败大先生
所有的设计和训练终都需要接受现实检验。研究团队构建了套两阶段评估体系：阶段是15项来自"AlphaEarth基准套件"的标准任务，涵盖了土地覆盖分类、作物分割、变化检测和生物量回归等常见地球观测应用；二阶段则是14项立的"保留数据集"，在整个研究开发过程中从未被用于任何决策，分为植被组（树种识别、作物地块分割、生物量）和城市组（土地利用、道路密度、人口、GDP、夜间灯光、污染、地表温度、人口统计）。
评估时，所有模型都使用相同的轻量任务头：像素任务用个两层MLP，图像块任务用个不过200万参数的简单卷积网络。这种统的评估头确保了比较的公平——模型之间的差异来自嵌入向量的质量，而不是任务头的能力差异。
在15项AlphaEarth套件任务上，TESSERA v2-1B-L（4400万参数的L号学生）以综得分0.584排名，M号、S号、N号学生分别为0.581、0.570和0.558，全部过AlphaEarth（谷歌发布的全球嵌入产品，得分0.560）和TESSERA v1（得分0.541）。
在完整29项任务的综测试中，结果加突出：TESSERA v2-1B-M（2100万参数的M号学生）以0.611的总分先所有系统，而TESSERA v1得分0.576，AlphaEarth为0.574，OlmoEarth-L（来自微软的另个系统）为0.562。值得注意的是，这个2100万参数的M号学生，比它越的所有对手都小得多——有些被它越的模型参数量是它的数十倍乃至数百倍。
在标签率测试中（模拟只有1、30或训练标注数据的场景），TESSERA v2在大多数保留数据集上都过了强的非v2基准，而且差距在标注数据少的时候为显著。这意味着TESSERA v2的嵌入包含了丰富的、可以用少量标注"激活"的潜在信息，对于标注数据稀缺的发展和小型研究机构尤其有价值。
除了能数字，v2在嵌入的视觉质量上也有明显改进。v1的嵌入图像中经常出现沿卫星轨道向的条纹状伪影和图块拼接边界，这些伪影与哨兵卫星的观测几何直接相关，会干扰下游的地理空间分析。v2的嵌入基本消除了这些伪影，地理结构加平滑自然。在时间稳定面，对于土地覆盖未发生变化的像素，v2在相邻年份之间的余弦距离（嵌入相似度的度量）显著低于v1，说明v2能稳定代表地点的"长期身份"；而当发生临时扰动（如临时伐）后，v2的嵌入能在扰动消失后恢复到之前的基线水平，而v1则会持续漂移，法自动恢复。
说到底，TESSERA v2这项研究做了几件在地球观测域看似平凡但实则意义远的事情。它用395次精心控制的实验，次系统地证明了训练损失这个大习以为常的"指路明灯"，在地球观测域其实是个"假向"——跟着它走，你可能费了三倍的力气，结果却发现自己走偏了。它还发现了套清晰的资源分配法则：钱要花在大的编码器和多的数据上，辅助用的投影器不需要跟着增长。这两个发现在起，给整个域的研究者提供了张准确的地图。
重要的是，这项研究把个"供精英使用"的大型教师模型，通过蒸馏变成了套"供所有人使用"的轻量产品族，并且通过俄罗斯套娃式的嵌入设计，让存储成本也变成了用户可以自由调节的旋钮。个只有2100万参数的小模型，在29项任务上击败了所有已知的开放和商业模型——这说明，在理的设计框架下，规模不是决定的，架构的正确和知识的精炼程度才是。
对于普通人来说，这项研究意味着：未来那些依赖卫星数据的应用——农业保险定损、森林碳汇核查、城市热岛监测、灾害应急响应——将变得快、便宜、准确，而且多地可以在小型机构甚至个人设备上运行，而不再是只有财力雄厚的大机构才能玩得起的游戏。个民主化的地球观测时代，正在这些数字背后悄然开启。
研究团队表示将在训练完成后发布覆盖2017至2025年的全球嵌入数据，同时开放所有训练代码、缩放实验结果、蒸馏学生模型权重和评估框架，感兴趣的读者可通过arXiv:2607.03949v1查阅完整论文，或访问https://github.com/ucam-eo/tessera获取代码。
Q&A
Q1：TESSERA v2的嵌入向量和普通卫星图像有什么区别？
A：普通卫星图像是原始的像素颜或反射率数值，需要业人员进行大量预处理才能使用。TESSERA v2的嵌入向量是串经过度学习模型"消化"后的数字（128维或少），它已经把某个地点整年的卫星时间序列压缩成了携带语义信息的紧凑表示，用户可以直接拿来训练分类或回归模型，需任何遥感预处理知识和GPU理环境。
Q2：为什么TESSERA v2用21M参数的小模型能过大的模型？
A：这得益于两个关键设计。先，21M的学生模型通过知识蒸馏从10亿参数的教师模型那里继承了质量的"世界观"，等于站在巨人的肩膀上；其次，训练过程遵循了从395次实验中提炼出的优资源分配规律，把力集中在真正有的地。大模型如果训练向有误，参数多了也是浪费，而小模型若有质量的知识传承，反而能以低的理成本实现好的任务表现。
Q3：TESSERA v2的俄罗斯套娃嵌入（MATRYOSHKA）实际使用时怎么操作？
A：用户在下载某地区的TESSERA v2嵌入数据后，会得到每个像素128维的浮点数向量。如果存储或带宽有限，直接截取每个向量的前16位使用即可，这16位已经能保留约92的完整能，存储成本只有完整版的八分之。不需要重新下载特殊版本的嵌入，也不需要重新训练任何模型，截取操作本身就足够，因为这种维度间的信息层次是在训练时通过蒸馏显式学到的。相关词条:管道保温施工 塑料挤出设备 预应力钢绞线 玻璃棉厂家 保温护角专用胶
奥力斯 pvc管道管件胶批发 联系人：王经理 手机：15226765735（微信同号） 地址：河北省任丘市北辛庄乡南代河工业区
1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》呼和浩特万能胶厂家，以此来变相勒索商家索要赔偿的违法恶意行为。