阜阳家具封边胶厂 大晓机器人开源3D双手形状重建模型ACE-Ego-Hand

盖世具身智能获悉 近日，大晓机器人联香港中文大学多媒体实验室、南洋理工大学、上海交通大学等机构，开源了面向视角的 3D 双手形状重建模型 ACE-Ego-Hand，并已产出约5000小时训练数据。

ACE-Ego-Hand次将生成模型作为ACE-Ego-Hand编码器，实现端到端训练，只需对整段进行次分析，就能直接输出双手的姿态、形状和 3D 位置。

不仅如此，与此前依赖逐帧检测、窗口式时序回归或多步骤扩散采样的手部模型相比，ACE-Ego-Hand 将扩散模型改造成几何编码器，单次前馈恢复连续的双手 3D 轨迹：降低了理延迟和误差累积，使模型能够利用完整片段中的上下文信息恢复被遮挡或暂时离开视野的手形轨迹。

图片来源：大晓机器人

传统扩散模型通常需要经过多步去噪采样，逐步生成中间或像素结果，再从生成结果中估计手部姿态。这种流程不仅计成本，也会增加生成误差向后续姿态估计传播的风险。

ACE-Ego-Hand 去掉了这多步骤去噪过程，不再将扩散模型作为像素空间的生成器使用，而是将其改造成确定的几何编码器。输入经过 VAE 压缩后，模型直接在干净潜变量上进行次前向传播，并从扩散 Transformer 的中间层读取时空特征。随后，这些特征被直接送入双向时空解码器，由模型端到端地输出双手姿态、形状、可见和 3D 空间位置。

据悉，在单张 A100 GPU 上，ACE-Ego-Hand 达到约 63.1 fps，约为 ViDiHand 精度配置下的 33 倍率，为大规模处理产线视角操作提供了率基础。

ACE-Ego-Hand 另核心创新是在手部被遮挡或离开视野后，理恢复其运动轨迹。

这能力来自模型的双向时空理机制。传统因果模型主要根据过去帧预测当前结果，手部离开画面后只能进行单向外，保温护角专用胶容易产生漂移。ACE-Ego-Hand 则对整段进行联分析，不使用因果掩码，因此处理某个时刻时，可以同时利用手部消失前和重新出现后的信息。

手部消失前的画面能够提供运动起点、速度和向，手部重新出现后的画面则提供运动终点和姿态约束。模型通过前后两侧的信息共同断中间的不可见区间，从而保持手部身份和轨迹连续。

ACE-Ego-Hand 的另项关键能力，是在测试阶段需显式输入相机内参，仅通过头戴式视角，即可恢复手部在相机坐标系下的度量 3D 位置。此外，ACE-Ego-Hand支持原生鱼眼广角输入，面对鱼眼图像显著的径向畸变，模型需提前标定相机、做图像去畸变，直接从畸变画面预测像素到三维空间的观测射线，完成手部度量 3D 位置恢复。模型不仅判断“手在画面中的哪里”，还进步估计“手距离相机多远”，实现从二维定位到度量 3D 运动恢复的扩展。

对于产业而言，ACE-Ego-Hand 的价值不只是提升单帧手部姿态识别精度，而是将视角转化为连续、稳定且具有度量尺度的双手 3D 轨迹。它可以服务于产线操作数据采集、机器人示教、人工装配过程分析、灵巧手动作重定向和模仿学习数据构建等场景。尤其是在手部经常被工件遮挡、暂时离开画面以及相机快速运动的真实环境中，模型能够减少轨迹中断和手部丢失，为机器人从人类操作中学习完整动作过程提供数据基础。 相关词条:铁皮保温施工     隔热条设备     锚索    离心玻璃棉    万能胶生产厂家

奥力斯    pvc管道管件胶批发    联系人：王经理    手机：15226765735（微信同号）    地址：河北省任丘市北辛庄乡南代河工业区

1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定阜阳家具封边胶厂，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》，以此来变相勒索商家索要赔偿的违法恶意行为。