arXiv 2610.31623 · cs.CV · 2026-10-22

F2G-Pose: Geometry-Aware Foundation Feature Lifting for Direct RGB-D Category-Level Object Pose Estimation

Jinyu Zhang, Haitao Lin, Jiashu Hou, Xiangyang Xue, Yanwei Fu

Shanghai Innovation Institute

一句话要点

F2G-Pose提出一种实时直接的单次传递框架，通过几何感知特征提升和混合专家Transformer实现从单帧RGB-D数据中准确估计类别级物体位姿与形状。

F2G-Pose achieves real-time, accurate category-level RGB-D pose estimation via geometry-aware feature lifting and a MoE Transformer.

要点

类别级RGB-D位姿估计面临内在变异性、对称性和部分观测导致的高模糊性，现有方法在精度与效率间难以平衡。
F2G-Pose通过将密集视觉基础特征提升至点云并结合DGCNN分块编码和Mixture-of-Experts Transformer建模局部几何结构，实现单次前向传递预测位姿、尺寸及相机帧完整形状。
在SOPE和ROPE数据集上达到当前最优精度，仅需合成的Pose-annotated SOPE数据训练，推理速度达28 FPS，且在HouseCat6D和HANDAL真实物体迁移任务中表现稳健。
方法依赖外部预训练的RADIO骨干网络，具备良好的泛化能力，实验验证了其在实际操作场景下的部署潜力。

English overview

F2G-PPose introduces a real-time, direct framework for category-level RGB-D pose estimation by lifting visual features to point clouds and using geometry-aware tokenization with a Mixture-of-Experts Transformer. It achieves state-of-the-art accuracy on synthetic benchmarks while maintaining high inference speed and robustness through dense geometric supervision and metric consistency.

只根据 arXiv 官方摘要，由开源模型整理，经数字/专名自动核对（必须在摘要中出现），以论文原文为准。

17HF 点赞

–GitHub stars

–引用（Semantic Scholar）

–热度分

阅读 arXiv 原文 PDF Hugging Face 讨论代码仓库项目页