-
题名基于2D特征蒸馏的3D高斯泼溅语义分割与编辑
被引量：1
- 1
-
-
作者
刘高屹
胡瑞珍
刘利刚
-
机构
中国科学技术大学数学科学学院
深圳大学计算机与软件学院
-
出处
《图学学报》
北大核心
2025年第2期312-321,共10页
-
基金
国家自然科学基金(62025207)。
-
文摘
三维场景的语义理解是人类感知世界的基本方式之一。一些语义任务,如开放词汇分割和语义编辑,是计算机视觉和计算机图形学的重要研究领域。由于缺乏大型、多样化的三维开放词汇分割数据集,直接训练一个稳健、可泛化的模型并非易事。为此,提出了基于2D特征蒸馏的3D高斯泼溅,这是一种将SAM和CLIP大模型的语义嵌入蒸馏到3D高斯的方法。对于每个场景,通过SAM和CLIP获取逐像素语义特征,然后使用3D高斯可微分渲染进行训练,以获得特定场景的语义特征场。在语义分割任务中,为获得场景中每个对象的精确分割边界,设计了一种多步骤的分割掩码选择策略,无需繁琐的分层特征提取和训练过程,即可得到新视角图像精确的开放词汇语义分割。利用显式的3D高斯场景表示,有效实现了文本与三维对象间的对应,从而进行语义编辑。实验表明,该方法与所比较方法相比,在语义分割任务中获得相当或更好的定性和定量结果,同时通过三维高斯语义特征场实现了开放词汇语义编辑。
-
关键词
三维场景
3D高斯泼溅
语义分割
特征场
开放词汇的语义编辑
-
Keywords
3D scene
3D Gaussian splatting
semantic segmentation
feature field
open vocabulary semantic editing
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
