基于层次特征增强的细粒度点云分类 被引量：1

1

作者 白静 刘路 +1 位作者 郑虎 蒋金哲 《浙江大学学报(理学版)》 北大核心 2025年第1期70-80,共11页

针对粗粒度点云分类方法在细粒度数据集中局部特征提取不足的问题,提出了一种基于层次特征增强的三维细粒度点云分类网络(HFE-Net)。基于Veronese映射的点特征增强模块(V-PE)对点云数据进行数据增强,辅助网络学习法线和姿态高阶信息;基... 针对粗粒度点云分类方法在细粒度数据集中局部特征提取不足的问题,提出了一种基于层次特征增强的三维细粒度点云分类网络(HFE-Net)。基于Veronese映射的点特征增强模块(V-PE)对点云数据进行数据增强,辅助网络学习法线和姿态高阶信息;基于多尺度上下文感知的簇内特征增强模块(CA-IntraCE),利用不同尺度的K近邻(K-nearest neighbors,KNN)算法以及交叉注意力实现不同尺度特征的增强,以消除最大池化带来的信息丢失;基于分组稀疏采样的簇间特征增强模块(GSS-InterCE),利用最远点采样(FPS)算法获得稀疏点,并采用交叉注意力实验不同簇间的特征增强,从而提高网络的细粒度判别能力。在FG3D数据集Airplane、Car和Chair 3个类别上的实验结果显示,HFE-Net的总体准确率分别达97.40%,80.53%和83.83%,已超过现有最优方法DC-Net、FGPNet的分类框架,说明HFE-Net的分类性能具有一定的优越性。 展开更多

关键词 三维点云 细粒度分类 交叉注意力 特征增强

在线阅读 下载PDF 职称材料

面向三维点云的平衡泛化和特化的细粒度分类网络

2

作者 刘鸿硕 白静 +1 位作者 晏浩 林淦 《图学学报》 北大核心 2025年第3期602-613,共12页

随着三维理解和计算机视觉技术的快速发展,点云数据因其精确的几何描述和丰富的空间信息在研究中备受关注。特别是在智能交通等实际应用中,利用点云数据识别不同型号的车辆需要准确分类细微差异和特征,因此开展点云细粒度分类尤为重要... 随着三维理解和计算机视觉技术的快速发展,点云数据因其精确的几何描述和丰富的空间信息在研究中备受关注。特别是在智能交通等实际应用中,利用点云数据识别不同型号的车辆需要准确分类细微差异和特征,因此开展点云细粒度分类尤为重要。现有方法多侧重设计任务特化的网络,通过提取点云的局部判别性特征提升分类性能,但往往忽视模型的泛化能力,导致在不同场景或未见类别中的表现下降。此外,复杂环境下的噪声、遮挡或数据分布变化亦会削弱模型的特化能力。为解决上述问题,提出了一种两阶段点云细粒度分类网络BGS-Net,旨在平衡模型的泛化性与特化性。在第一阶段,采用掩码蒸馏自监督学习结合耦合掩码方法,为2个学生模型分配互补掩码,引导其从教师模型中学习独立的特征表示,从而增强泛化能力。第二阶段设计了平衡泛化与特化的训练策略,通过冻结一个编码器以保留通用特征,同时调优另一个编码器以提取点云的局部判别性特征,实现任务特化。实验结果表明,BGS-Net在细粒度分类、元类别分类、少样本分类及真实场景分类任务中均表现优异,显著优于现有方法,验证了在保持高泛化能力的同时实现任务特化的有效性。该方法为点云细粒度分类提供了新的研究思路,提升了模型在实际应用中的适用性和鲁棒性。 展开更多

关键词 点云理解 自监督学习 耦合掩码 特征学习 模型泛化

在线阅读 下载PDF 职称材料

融合边缘增强注意力机制和U-Net网络的医学图像分割 被引量：7

3

作者 李翠云 白静 郑凉 《图学学报》 CSCD 北大核心 2022年第2期273-278,共6页

医学图像分割是医学图像处理领域中的关键步骤,随着深度学习技术的逐步深入,图像分割技术有了突飞猛进的发展。然而,在分割过程中,病灶特征的边缘像素点划分仍存在模糊、不准确的问题。为此,提出一种边缘增强的注意力模块(CEA),分别进... 医学图像分割是医学图像处理领域中的关键步骤,随着深度学习技术的逐步深入,图像分割技术有了突飞猛进的发展。然而,在分割过程中,病灶特征的边缘像素点划分仍存在模糊、不准确的问题。为此,提出一种边缘增强的注意力模块(CEA),分别进行水平和垂直2个不同方向的特征编码捕获位置信息,并通过计算位置特征和输入特征之间的偏移量加强边缘信息。将该模块应用基于U-Net的医学图像分割网络中,可突破卷积核的空间限制,捕获具有位置感知的跨通道信息及更加明确的边缘轮廓信息,从而提高分割的准确性。在公开数据集Kvasir-SEG上的定量对比实验表明,加入注意力模块的网络在Dice、精确度、召回率等指标上均取得了更好的结果,可有效改善医学图像分割效果。 展开更多

关键词 医学图像分割 位置信息 注意力机制 边缘轮廓 边界差异

在线阅读 下载PDF 职称材料

二维图像虚拟试衣技术综述 被引量：6

4

作者 谭泽霖 白静 《计算机工程与应用》 CSCD 北大核心 2023年第15期17-26,共10页

虚拟试衣技术作为近年来深度学习研究中的热点课题,旨在使用户能直观方便查看自己试穿心仪服装的效果,为网购提供更多便利,且在服装设计、游戏、动画等领域也有着重要的应用。其中基于二维图像的虚拟试衣技术可以摒弃三维虚拟试衣所需... 虚拟试衣技术作为近年来深度学习研究中的热点课题,旨在使用户能直观方便查看自己试穿心仪服装的效果,为网购提供更多便利,且在服装设计、游戏、动画等领域也有着重要的应用。其中基于二维图像的虚拟试衣技术可以摒弃三维虚拟试衣所需昂贵的如三维扫描仪等设备的成本和时间代价,以其简单经济的特点受到研究者们更多关注。该文聚焦于二维虚拟试衣技术,从以下几方面进行总结:第一,阐述二维虚拟试衣技术的基本原理与流程;第二,在技术改进方面,以时间顺序和改进方向两者统一对二维虚拟试衣技术进行总结;第三,对二维虚拟试衣技术常用数据集、评价指标和损失函数进行总结,并提出二维虚拟试衣技术的不足和未来在高质量、多样化、多模态、集成化等方向的发展趋势。 展开更多

关键词 虚拟试衣 网络结构 人体特征 服装变形 U-Net

在线阅读 下载PDF 职称材料

判别性特征引导的零样本三维模型分类算法 被引量：2

5

作者 范有福 白静 +1 位作者 邵会会 彭斌 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2024年第2期223-235,共13页

基于零样本学习的三维模型分类是三维视觉领域的一个新兴话题,旨在对未经训练的三维模型进行正确分类.针对零样本三维模型分类中存在重视全局而忽视局部,强制约束而无视语义-视觉跨域差异性,导致整体性能低下的问题,提出一种判别性特征... 基于零样本学习的三维模型分类是三维视觉领域的一个新兴话题,旨在对未经训练的三维模型进行正确分类.针对零样本三维模型分类中存在重视全局而忽视局部,强制约束而无视语义-视觉跨域差异性,导致整体性能低下的问题,提出一种判别性特征引导的零样本三维模型分类算法.首先,以三维模型的多视图表征为输入,自适应地捕获三维模型的局部判别性特征,获得具有良好语义对应性的视觉特征表示;其次,以词向量的形式引入类的语义表示,结合条件生成对抗网络生成类的伪视觉特征;最后,提出语义判别损失和内容感知损失联合监督,从语义到内容共同约束真实视觉特征和伪视觉特征的对齐,鼓励模型学习具有高局部判别性的特征,实现语义-视觉的跨域细粒度对齐.在ZS3D数据集上达到了60.9%的Top-1准确率,超越当前最好方法2.3个百分点,同时在Ali数据集的3个子数据集上也分别取得31.9%,9.9%和16.6%的准确率,均达到了较好的实验效果,验证了该算法的有效性和普适性. 展开更多

关键词 三维模型分类 零样本学习 判别性特征 联合损失 细粒度对齐

在线阅读 下载PDF 职称材料

面向三维模型草图检索的三元层次度量网络 被引量：1

6

作者 杨瞻源 白静 +2 位作者 李文静 彭斌 拖继文 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2024年第11期1791-1804,共14页

针对基于草图的三维模型检索仍然存在将草图视作普通图像忽略其特有的稀疏性,以及对草图和三维模型的类内差异性重视不足,从而影响检索性能的问题,提出一种面向三维模型草图检索的三元层次度量网络.首先引入笔画点序列分支构建三元组网... 针对基于草图的三维模型检索仍然存在将草图视作普通图像忽略其特有的稀疏性,以及对草图和三维模型的类内差异性重视不足,从而影响检索性能的问题,提出一种面向三维模型草图检索的三元层次度量网络.首先引入笔画点序列分支构建三元组网络结构,实现对草图数据的信息增强;然后通过多层次联合损失对网络进行域内域间跨域的全面约束,使得网络学习到同时体现数据的单域类内差异和域间关系的表示特征,有效地提升网络的检索性能.实验结果表明,在2个公开数据集SHREC2013和SHREC2014上,所提网络的平均检索精度均值分别为87.7%和83.3%,比先进工作(相同基础网络)分别提升0.5个百分点和1.5个百分点以上. 展开更多

关键词 基于草图的三维模型检索 三元网络结构 多层次联合损失 语义嵌入 跨模态检索

在线阅读 下载PDF 职称材料

基于深度集成及细节感知的细粒度三维模型分类 被引量：2

7

作者 白静 姬卉 +2 位作者 邵会会 武如嵩 秦飞巍 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2022年第10期1580-1589,共10页

针对基于深度学习的三维模型分类方法应用于细粒度三维模型分类时效果较差的问题,提出一种端到端的细粒度三维模型分类框架,并构建基于深度集成及细节感知的细粒度三维模型分类网络.通过由深度集成学习构成的主干网络提取三维模型多视... 针对基于深度学习的三维模型分类方法应用于细粒度三维模型分类时效果较差的问题,提出一种端到端的细粒度三维模型分类框架,并构建基于深度集成及细节感知的细粒度三维模型分类网络.通过由深度集成学习构成的主干网络提取三维模型多视图下的整体形状特征;采用基于上下文细节感知模块的辅助网络捕捉各个视图下的局部细节特征;两者相互融合,实现端到端的弱监督细粒度三维模型分类.选用公开数据集FG3D中不同难度的子数据集Airplane,Chair和Car进行实验,获得了当前最好的细分类精度,分别达到了96.31%,85.44%和79.62%的分类准确率,表明该网络具有良好的细分类性能和普适性. 展开更多

关键词 三维模型分类 细粒度分类 上下文细节感知 深度集成学习 弱监督

在线阅读 下载PDF 职称材料

面向三维点云的端到端细粒度分类网络 被引量：6

8

作者 白静 邵会会 +1 位作者 姬卉 武如嵩 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2023年第1期128-134,共7页

针对基于深度学习的三维点云分类方法在元类识别中对子类解译不足的问题,提出一种面向点云的三维模型细分类框架,构建具备层间语义相关和层内上下文感知的端到端细粒度点云网络——FGP-Net.首先以相互连接的卷积算子构建密集连接块,层... 针对基于深度学习的三维点云分类方法在元类识别中对子类解译不足的问题,提出一种面向点云的三维模型细分类框架,构建具备层间语义相关和层内上下文感知的端到端细粒度点云网络——FGP-Net.首先以相互连接的卷积算子构建密集连接块,层内利用球邻域查询构造局部区域以完成局部到整体的特征映射,并通过偏置注意力机制关注上下文差异,从而更好地捕捉细粒度属性;然后在层间利用多层特征融合策略探索各层特征间的相关性,通过反向传播学习相关语义信息以提升模型分类性能.在FG3D的3个子数据集Airplane,Chair和Car上的实验结果表明,FGP-Net的总体准确率分别达到95.77%,80.88%和77.94%;与先进的三维点云分类模型PointNet++,PointCNN,Point2Sequence,DGCNN等相比,FGP-Net的分类性能均具有一定的优越性. 展开更多

关键词 三维点云 细粒度分类 偏置注意力 密集连接 多层特征融合

在线阅读 下载PDF 职称材料

三维卷积神经网络及其在视频理解领域中的应用研究 被引量：6

9

作者 白静 杨瞻源 +1 位作者 彭斌 李文静 《电子与信息学报》 EI CSCD 北大核心 2023年第6期2273-2283,共11页

3维卷积神经网络(3D CNN)是近几年来深度学习研究中的热点,在计算机视觉领域取得了诸多成就。虽然研究多年且成果丰富,但目前仍缺少关于此内容全面、细致的综述。基于此,该文从以下几个方面对其进行综述:首先阐述3维卷积神经网络的基本... 3维卷积神经网络(3D CNN)是近几年来深度学习研究中的热点,在计算机视觉领域取得了诸多成就。虽然研究多年且成果丰富,但目前仍缺少关于此内容全面、细致的综述。基于此,该文从以下几个方面对其进行综述:首先阐述3维卷积神经网络的基本原理和模型结构,接着从网络结构、网络内部和优化方法总结3维卷积神经网络的相关改进工作,然后对3维卷积神经网络在视频理解领域中的应用进行总结,最后总结全文内容并对未来发展方向进行展望。该文针对3维卷积神经网络的最新研究进展以及在视频理解领域中的应用进行了系统的综述,对3维卷积神经网络的研究发展具有一定的积极意义。 展开更多

关键词 视频理解 深度学习 3维卷积神经网络 网络结构

在线阅读 下载PDF 职称材料

基于自适应多类中心和半异构网络的三维模型草图检索 被引量：5

10

作者 白静 拖继文 +1 位作者 白少进 杨瞻源 《图学学报》 CSCD 北大核心 2022年第1期36-43,共8页

草图具有易于构建且不受语言、专业、年龄限制等优势,基于手绘草图的三维模型检索受到越来越多的关注。然而在三维模型草图检索任务中,三维模型具有复杂性,草图具有类内多样性,同时三维模型与草图之间又具有巨大的域间差异性,这些特点... 草图具有易于构建且不受语言、专业、年龄限制等优势,基于手绘草图的三维模型检索受到越来越多的关注。然而在三维模型草图检索任务中,三维模型具有复杂性,草图具有类内多样性,同时三维模型与草图之间又具有巨大的域间差异性,这些特点的相互作用严重影响检索的准确性。针对以上问题,提出了一种基于自适应多类中心和半异构网络的三维模型草图检索方法。首先,通过异构网络分别提取草图和三维模型的初始特征:设计了基于自适应多类中心的草图特征嵌入子网络以捕捉草图数据的类内多样性,采用了基于多视图特征融合的三维模型特征嵌入子网络适应三维模型的复杂性。然后,以包含丰富语义信息的语义标签为指引,构建同构网络实现草图-三维模型的跨域共享特征嵌入,缩小域间的差异性。在大型公开数据集SHREC2013和SHREC2014上的对比实验表明,该算法获得了和当前最好算法一致的检索性能。 展开更多

关键词 基于草图的检索 三维模型检索 自适应多类中心 半异构 语义嵌入

在线阅读 下载PDF 职称材料

ST-Rec3D:基于结构和目标感知的三维重建 被引量：2

11

作者 白静 孟庆亮 +2 位作者 徐昊 范有福 杨瞻源 《图学学报》 CSCD 北大核心 2022年第3期469-477,共9页

基于视图的三维重建旨在从二维图像恢复出其对应的三维形状。现有方法主要通过编码器-解码器结构,结合二元交叉熵函数及其变形,完成三维重建,取得较好的重建结果。然而,编码器在编码过程中缺乏对输入视图的结构感知能力,造成重建的三维... 基于视图的三维重建旨在从二维图像恢复出其对应的三维形状。现有方法主要通过编码器-解码器结构,结合二元交叉熵函数及其变形,完成三维重建,取得较好的重建结果。然而,编码器在编码过程中缺乏对输入视图的结构感知能力,造成重建的三维模型几何细节不准确;以二元交叉熵函数为主的损失函数在体素分布不均衡的情况下,目标感知能力较差,导致其重建结果存在断裂、缺失等不完整性问题。针对此类问题,提出了一种具有结构和目标感知能力的三维重建网络(ST-Rec3D),以单视图或多视图为输入,由粗到细地重建出三维模型;结合注意力机制提出了一种具有空间结构感知能力的编码器,即结构编码器,以充分捕捉输入视图中的空间结构信息,有效感知重建物体的几何细节;将IoU损失引入到三维体素模型重建中,在体素分布不均衡的情况下,精准感知目标物体,确保重建物体的完整性和准确性。在ShapeNet和Pix3D数据集上的对比结果表明,ST-Rec3D在单视图和多视图上重建的三维模型的完整性和准确性均优于当前方法。 展开更多

关键词 三维重建 结构感知 目标感知 注意力机制 IoU损失

在线阅读 下载PDF 职称材料

FP-VTON:基于注意力机制的特征保持虚拟试衣网络 被引量：3

12

作者 谭泽霖 白静 +2 位作者 陈冉 张少敏 秦飞巍 《计算机工程与应用》 CSCD 北大核心 2022年第23期186-196,共11页

随着互联网经济和人工智能技术的飞速发展,越来越多的消费者选择在网上购买衣服,虚拟试衣技术可以为消费者提供方便、快捷的试衣服务,为消费者提供更好的网上购物体验。当前,基于二维图像的虚拟试衣方法可以摒弃三维虚拟试衣所需昂贵的... 随着互联网经济和人工智能技术的飞速发展,越来越多的消费者选择在网上购买衣服,虚拟试衣技术可以为消费者提供方便、快捷的试衣服务,为消费者提供更好的网上购物体验。当前,基于二维图像的虚拟试衣方法可以摒弃三维虚拟试衣所需昂贵的硬件成本和时间代价,但是仍然存在无法有效适应模特的不同体型及大姿态动作的问题,无法充分保留目标服装复杂纹理特征和局部细节特征的问题。为此,提出一种基于注意力机制的特征保持虚拟试衣网络FP-VTON,通过服装变形和服装融合两阶段网络生成虚拟试穿结果。针对传统卷积难以适应非刚性物体大尺寸变形的问题在两阶段网络中引入了捕捉全局特征的特征注意力机制,针对TPS变换翘曲严重的问题提出了服装保真损失函数对网格上点间的距离和斜率进行约束。通过与相关工作的定量和可视化定性实验对比,充分验证了FP-VTON在大姿态形变、复杂纹理服装和特殊体型的情况下可以生成更加逼真的图像,更加有效地保留服装的复杂纹理细节和用户的身份信息。 展开更多

关键词 深度学习 虚拟试衣 非刚性变换 注意力机制 薄板样条变换

在线阅读 下载PDF 职称材料