为解决深度学习预测模型在数据不足时准确性受限的问题,提出一种结合Transformer的交叉注意力(cross-attention in Transformer,CATrans)机制和域分离网络(domain separation networks,DSN)的深度迁移学习方法——CATrans-DSN,用于短期...为解决深度学习预测模型在数据不足时准确性受限的问题,提出一种结合Transformer的交叉注意力(cross-attention in Transformer,CATrans)机制和域分离网络(domain separation networks,DSN)的深度迁移学习方法——CATrans-DSN,用于短期跨建筑负荷预测。CATrans特征提取器利用注意力机制来学习源域和目标域负荷数据的域共有和私有时间特征,并利用共有特征进行知识迁移;特征重构器作为辅助模块,对源域和目标域数据进行数据重构;由回归预测器将学习到的特征转化为预测值。最后,利用在源域和目标域上训练得到的建筑负荷预测模型,直接用于目标建筑的负荷预测。实验结果表明,所提出的方法有效地提高了数据稀缺情况下的预测准确性和模型泛化能力。展开更多
从单张RGB图像中实现双手的3D交互式网格重建是一项极具挑战性的任务。由于双手之间的相互遮挡以及局部外观相似性较高,导致部分特征提取不够准确,从而丢失了双手之间的交互信息并使重建的手部网格与输入图像出现不对齐等问题。为了解...从单张RGB图像中实现双手的3D交互式网格重建是一项极具挑战性的任务。由于双手之间的相互遮挡以及局部外观相似性较高,导致部分特征提取不够准确,从而丢失了双手之间的交互信息并使重建的手部网格与输入图像出现不对齐等问题。为了解决上述问题,本文首先提出一种包含两个部分的特征交互适应模块,第一部分特征交互在保留左右手分离特征的同时生成两种新的特征表示,并通过交互注意力模块捕获双手的交互特征;第二部分特征适应则是将此交互特征利用交互注意力模块适应到每只手,为左右手特征注入全局上下文信息。其次,引入三层图卷积细化网络结构用于精确回归双手网格顶点,并通过基于注意力机制的特征对齐模块增强顶点特征和图像特征的对齐,从而增强重建的手部网格和输入图像的对齐。同时提出一种新的多层感知机结构,通过下采样和上采样操作学习多尺度特征信息。最后,设计相对偏移损失函数约束双手的空间关系。在InterHand2.6M数据集上的定量和定性实验表明,与现有的优秀方法相比,所提出的方法显著提升了模型性能,其中平均每关节位置误差(Mean Per Joint Position Error,MPJPE)和平均每顶点位置误差(Mean Per Vertex Position Error,MPVPE)分别降低至7.19 mm和7.33 mm。此外,在RGB2Hands和EgoHands数据集上进行泛化性实验,定性实验结果表明所提出的方法具有良好的泛化能力,能够适应不同环境背景下的手部网格重建。展开更多
开放世界目标检测(open world object detection,OWOD)的主要任务是检测已知类别和识别未知目标。此外,模型在下一个训练阶段中逐步学习已知新类。针对OW-DETR(open-world detection transformer)中未知类召回率偏低、密集目标与小目标...开放世界目标检测(open world object detection,OWOD)的主要任务是检测已知类别和识别未知目标。此外,模型在下一个训练阶段中逐步学习已知新类。针对OW-DETR(open-world detection transformer)中未知类召回率偏低、密集目标与小目标漏检等问题,提出了一种UBA-OWDT(UCSO,BiStrip and AFDF of open-world detection transformer)开放世界目标检测网络。针对未知类召回率偏低的问题,对未知类评分优化(unknown class scoring optimization,UCSO),将生成的浅层类激活图与聚合类激活图融合,获取细粒度特征信息,提高未知类的目标评分,进而提升未知类的召回率;针对小目标漏检问题,将双条状注意力(spatial attention based on strip pooling and strip convolution,BiStrip)应用于输入特征图,捕获长程依赖,保留目标精确的位置信息,增强感兴趣目标的表征,以检测小目标;针对密集目标漏检问题,采用自适应特征动态融合(adaptive feature dynamic fusion,AFDF),根据目标大小和形状,获得不同的感受野,动态分配注意力权重,关注目标的重要部分,融合不同层级的特征,以检测密集目标。在OWOD数据集的实验结果表明,未知类召回率增值范围在0.7~1.5个百分点,mAP增值范围在0.6~1.2个百分点,与现有的开放世界目标检测方法相比,在召回率偏低、密集目标与小目标漏检问题上具有一定的优势。展开更多
文摘为解决深度学习预测模型在数据不足时准确性受限的问题,提出一种结合Transformer的交叉注意力(cross-attention in Transformer,CATrans)机制和域分离网络(domain separation networks,DSN)的深度迁移学习方法——CATrans-DSN,用于短期跨建筑负荷预测。CATrans特征提取器利用注意力机制来学习源域和目标域负荷数据的域共有和私有时间特征,并利用共有特征进行知识迁移;特征重构器作为辅助模块,对源域和目标域数据进行数据重构;由回归预测器将学习到的特征转化为预测值。最后,利用在源域和目标域上训练得到的建筑负荷预测模型,直接用于目标建筑的负荷预测。实验结果表明,所提出的方法有效地提高了数据稀缺情况下的预测准确性和模型泛化能力。
文摘从单张RGB图像中实现双手的3D交互式网格重建是一项极具挑战性的任务。由于双手之间的相互遮挡以及局部外观相似性较高,导致部分特征提取不够准确,从而丢失了双手之间的交互信息并使重建的手部网格与输入图像出现不对齐等问题。为了解决上述问题,本文首先提出一种包含两个部分的特征交互适应模块,第一部分特征交互在保留左右手分离特征的同时生成两种新的特征表示,并通过交互注意力模块捕获双手的交互特征;第二部分特征适应则是将此交互特征利用交互注意力模块适应到每只手,为左右手特征注入全局上下文信息。其次,引入三层图卷积细化网络结构用于精确回归双手网格顶点,并通过基于注意力机制的特征对齐模块增强顶点特征和图像特征的对齐,从而增强重建的手部网格和输入图像的对齐。同时提出一种新的多层感知机结构,通过下采样和上采样操作学习多尺度特征信息。最后,设计相对偏移损失函数约束双手的空间关系。在InterHand2.6M数据集上的定量和定性实验表明,与现有的优秀方法相比,所提出的方法显著提升了模型性能,其中平均每关节位置误差(Mean Per Joint Position Error,MPJPE)和平均每顶点位置误差(Mean Per Vertex Position Error,MPVPE)分别降低至7.19 mm和7.33 mm。此外,在RGB2Hands和EgoHands数据集上进行泛化性实验,定性实验结果表明所提出的方法具有良好的泛化能力,能够适应不同环境背景下的手部网格重建。
文摘开放世界目标检测(open world object detection,OWOD)的主要任务是检测已知类别和识别未知目标。此外,模型在下一个训练阶段中逐步学习已知新类。针对OW-DETR(open-world detection transformer)中未知类召回率偏低、密集目标与小目标漏检等问题,提出了一种UBA-OWDT(UCSO,BiStrip and AFDF of open-world detection transformer)开放世界目标检测网络。针对未知类召回率偏低的问题,对未知类评分优化(unknown class scoring optimization,UCSO),将生成的浅层类激活图与聚合类激活图融合,获取细粒度特征信息,提高未知类的目标评分,进而提升未知类的召回率;针对小目标漏检问题,将双条状注意力(spatial attention based on strip pooling and strip convolution,BiStrip)应用于输入特征图,捕获长程依赖,保留目标精确的位置信息,增强感兴趣目标的表征,以检测小目标;针对密集目标漏检问题,采用自适应特征动态融合(adaptive feature dynamic fusion,AFDF),根据目标大小和形状,获得不同的感受野,动态分配注意力权重,关注目标的重要部分,融合不同层级的特征,以检测密集目标。在OWOD数据集的实验结果表明,未知类召回率增值范围在0.7~1.5个百分点,mAP增值范围在0.6~1.2个百分点,与现有的开放世界目标检测方法相比,在召回率偏低、密集目标与小目标漏检问题上具有一定的优势。
