基于多尺度对比度增强和跨维度交互注意力机制的红外与可见光图像融合 被引量：1

1

作者 邸敬 梁婵 +2 位作者 任莉 郭文庆 廉敬 《红外技术》 CSCD 北大核心 2024年第7期754-764,共11页

针对目前红外与可见光图像融合存在特征提取不足、融合图像目标区域不显著、细节信息缺失等问题,提出了一种多尺度对比度增强和跨维度交互注意力机制的红外与可见光图像融合方法。首先,设计了多尺度对比度增强模块,以增强目标区域强度... 针对目前红外与可见光图像融合存在特征提取不足、融合图像目标区域不显著、细节信息缺失等问题,提出了一种多尺度对比度增强和跨维度交互注意力机制的红外与可见光图像融合方法。首先,设计了多尺度对比度增强模块,以增强目标区域强度信息利于互补信息的融合;其次,采用密集连接块进行特征提取,减少信息损失最大限度利用信息;接着,设计了一种跨维度交互注意力机制,有助于捕捉关键信息,从而提升网络性能;最后,设计了从融合图像到源图像的分解网络使融合图像包含更多的场景细节和更丰富的纹理细节。在TNO数据集上对提出的融合框架进行了评估实验,实验结果表明本文方法所得融合图像目标区域显著,细节纹理丰富,具有更优的融合性能和更强的泛化能力,主观性能和客观评价优于其他对比方法。 展开更多

关键词 红外与可见光图像融合 多尺度对比度增强 跨模态交互注意力机制 分解网络

在线阅读 下载PDF 职称材料

基于双重注意力机制的多尺度指代目标分割方法

2

作者 胡梦楠 王蓉 +1 位作者 张文靖 张琪 《计算机辅助设计与图形学学报》 北大核心 2025年第1期148-156,共9页

针对指代分割任务中视觉和语言间缺乏充分的跨模态交互、不同尺寸的目标空间和语义信息存在差异的问题,提出了基于双重注意力机制的多尺度指代目标分割方法.首先,利用语言表达中不同类型的信息关键词来增强视觉和语言特征的跨模态对齐,... 针对指代分割任务中视觉和语言间缺乏充分的跨模态交互、不同尺寸的目标空间和语义信息存在差异的问题,提出了基于双重注意力机制的多尺度指代目标分割方法.首先,利用语言表达中不同类型的信息关键词来增强视觉和语言特征的跨模态对齐,并使用双重注意力机制捕捉多模态特征间的依赖性,实现模态间和模态内的交互;其次,利用语言特征作为引导,从其他层次的特征中聚合与目标相关的视觉信息,进一步增强特征表示;然后利用双向ConvLSTM以自下而上和自上而下的方式逐步整合低层次的空间细节和高层次的语义信息;最后,利用不同膨胀因子的空洞卷积融合多尺度信息,增加模型对不同尺度分割目标的感知能力.此外,在UNC,UNC+,GRef和ReferIt基准数据集上进行实验,实验结果表明,文中方法在UNC,UNC+,GRef和ReferIt上的oIoU指标分别提高了1.81个百分点、1.26个百分点、0.84个百分点和0.32个百分点,广泛的消融研究也验证了所提方法中各组成部分的有效性. 展开更多

关键词 指代目标分割 跨模态交互 特征增强 注意力机制 多尺度融合

在线阅读 下载PDF 职称材料

基于多尺度注意力机制的无人机小目标检测算法 被引量：2

3

作者 冯迎宾 郭枭尊 晏佳华 《兵工学报》 北大核心 2025年第1期12-21,共10页

针对无人机航拍图像密集度大、目标尺寸小、背景复杂等难点,提出一种基于多尺度注意力机制的小目标检测(Small target detection of BPAN-EF_C2f YOLOv8s,SBE_YOLOv8s)算法,通过设计一种基于多尺度注意力机制的特征提取模块(EMA-Faster ... 针对无人机航拍图像密集度大、目标尺寸小、背景复杂等难点,提出一种基于多尺度注意力机制的小目标检测(Small target detection of BPAN-EF_C2f YOLOv8s,SBE_YOLOv8s)算法,通过设计一种基于多尺度注意力机制的特征提取模块(EMA-Faster Block_C2f,EF_C2f),替换YOLOv8网络中的C2f模块,提高网络对小目标特征的提取能力;在特征融合网络中增加P1检测层,并设计一种跨尺度特征融合结构(Bi-Path Aggregation Network,BPAN),融合小目标特征信息;增加一个微小目标检测头,使用SIoU Loss作为边界框损失函数,提升小目标检测精度和网络收敛速度。在公开数据集VisDrone2019上进行实验验证。验证结果表明:与YOLOv8s算法相比,新算法在检测精度上提升了6.9%、mAP50提升了9.1%,模型参数量减少了44.6%,检测速度为28帧/s,新算法在小目标检测领域具有一定的实用性。 展开更多

关键词 多尺度注意力机制 YOLOv8s算法 特征提取 跨尺度特征融合 小目标检测

在线阅读 下载PDF 职称材料

基于跨尺度特征融合与注意力机制的遥感船舶检测 被引量：1

4

作者 汤永恒 郭璇 +2 位作者 孙水发 李昌振 张晶 《遥感信息》 CSCD 北大核心 2024年第5期29-37,共9页

针对常规目标检测算法对遥感船舶目标检测精度低且预测框不能将船舶目标紧密封装,为后续匹配计算带来极大误差等问题,提出一种跨尺度特征融合与注意力机制的遥感船舶检测算法。该算法通过HRNetV2_w40骨干网络提取高分辨率图像特征,并采... 针对常规目标检测算法对遥感船舶目标检测精度低且预测框不能将船舶目标紧密封装,为后续匹配计算带来极大误差等问题,提出一种跨尺度特征融合与注意力机制的遥感船舶检测算法。该算法通过HRNetV2_w40骨干网络提取高分辨率图像特征,并采用跨尺度融合特征金字塔模块对backbone提取的多级特征信息进行跨级融合,设计卷积注意力网络模块让网络模型在空间和通道两个维度产生注意力特征图信息以生成更加精细化特征图。同时,全新设计融合旋转角度信息的旋转目标损失函数使算法可有效检测任意方向船舶目标。实验结果表明,该算法能有效检测与识别遥感船舶目标,平均准确率达到74.8%,高于现有其他方法。此外,该算法很容易扩展到其他工业领域旋转目标检测任务中。 展开更多

关键词 深度学习 船舶检测 旋转检测 跨尺度特征融合 卷积注意力

在线阅读 下载PDF 职称材料

基于跨层注意力特征交互和多尺度通道注意力的单幅图像去雾网络

5

作者 孙航 付秋月 +3 位作者 李勃辉 但志平 余梅 万俊 《电子学报》 EI CAS CSCD 北大核心 2024年第11期3711-3726,共16页

近年来,基于U型结构的卷积神经网络在去雾领域取得了显著的成果.然而,大多数基于U型结构的去雾网络将编码层特征直接传递到对应尺度的解码层,忽略了不同层次特征信息的有效利用.此外,去雾网络中广泛使用的通道注意力受感受野的限制,没... 近年来,基于U型结构的卷积神经网络在去雾领域取得了显著的成果.然而,大多数基于U型结构的去雾网络将编码层特征直接传递到对应尺度的解码层,忽略了不同层次特征信息的有效利用.此外,去雾网络中广泛使用的通道注意力受感受野的限制,没有充分地利用上下文信息,从而对通道权重的学习起负面作用,使得重构的清晰图像不够理想.为了解决上述问题,本文提出了一种跨层注意力特征交互和多尺度通道注意力的去雾算法.具体来说,跨层注意力特征交互模块利用编码层的多尺度跨层特征学习层级权重,然后将这些跨层特征聚合传递到对应解码层,从而减少了去雾网络重构清晰图像过程中的特征稀释.此外,为了挖掘对于去雾网络非常重要的特征通道信息,本文设计了多尺度通道注意力机制,利用不同空洞率的空洞卷积提取多尺度特征信息,形成一个多尺度上下文并行学习的通道注意力机制,可以更有效地为去雾网络的特征分配权重.实验结果表明,本文提出的去雾算法在4个公开的数据集上相比现有的12种去雾方法取得了较好的客观评价指标和视觉效果.本文的代码已上传至https://github.com/bohuisir/AAFMAN. 展开更多

关键词 图像去雾 跨层注意力特征交互 特征稀释 多尺度通道注意力 空洞卷积

在线阅读 下载PDF 职称材料

基于跨尺度特征融合CNN-Transformer神经网络的高压电缆表面缺陷检测

6

作者 魏占朋 许然然 +3 位作者 张华 熊钊 李申童 宋鹏先 《电力系统及其自动化学报》 北大核心 2025年第10期103-110,128,共9页

高压电缆接头剥削质量直接影响电力系统安全运行,准确检测电缆表面微小缺陷是实现电缆接头制备工艺优化与保障电网安全运行的关键技术挑战。为此,结合YOLOv7算法提出基于全局注意力机制与跨尺度特征融合的缺陷检测算法。在主干网络中引... 高压电缆接头剥削质量直接影响电力系统安全运行,准确检测电缆表面微小缺陷是实现电缆接头制备工艺优化与保障电网安全运行的关键技术挑战。为此,结合YOLOv7算法提出基于全局注意力机制与跨尺度特征融合的缺陷检测算法。在主干网络中引入SwinTransformer模块,有效增强模型全局特征提取能力和对微小缺陷的感知能力。通过跨尺度特征融合机制,直接融合不同尺度的特征表示,避免传统特征融合网络存在的信息丢失问题。针对电缆表面缺陷尺寸差异大的特点,采用K-means++算法重新聚类先验框,增强模型的多尺度适应性。实验结果表明,在高压电缆表面缺陷数据集上,所提算法mAP50达到91.6%,较原始YOLOv7算法提升4.5%,其中条纹划痕AP50为88.4%,较原始YOLOv7算法提升4.2%。与FasterR-CNN、YOLOv8、DETR等常用检测方法相比,所提算法mAP50分别提升了8.1%、2.0%、4.8%,实现了电缆表面缺陷的精确检测。 展开更多

关键词 缺陷检测 注意力机制 跨尺度特征融合 电缆剥削

在线阅读 下载PDF 职称材料

基于频率通道注意力机制和MSCNet的锂电池剩余使用寿命预测

7

作者 卢世宇 王海瑞 +1 位作者 朱贵富 李亚龙 《计算机科学》 北大核心 2025年第S2期582-589,共8页

为解决锂离子电池容量估计中特征提取不准确、数据噪声大及容量衰减趋势跟踪精度低等问题,提出了一种基于频率通道注意力机制(Frequency Channel Attention Mechanism,FCA)和MSCNet(Multi-Scale Inter-Series Correlations Net)的新型... 为解决锂离子电池容量估计中特征提取不准确、数据噪声大及容量衰减趋势跟踪精度低等问题,提出了一种基于频率通道注意力机制(Frequency Channel Attention Mechanism,FCA)和MSCNet(Multi-Scale Inter-Series Correlations Net)的新型模型。模型首先对原始传感器数据进行去噪处理,以降低噪声对模型性能的干扰;其次,引入频率通道注意力机制,通过频域分析将输入序列映射到频域,识别主导时间尺度以捕捉显著的周期性模式,并对时间序列进行多尺度分解;最后,利用MSCNet对多尺度输出进行动态聚合,捕获不同时间尺度内的跨序列相关性,提升模型对时间依赖性的理解,同时减少模型参数量。在CALCE和NASA公开数据集上的实验表明,该模型在电池使用寿命预测中的相对误差(RE)较现有算法降低了10%~20%,能够更精准地跟踪电池衰退趋势。 展开更多

关键词 锂离子电池 剩余使用寿命预测 注意力机制 多尺度 跨序列相关性

在线阅读 下载PDF 职称材料

基于融合注意力和特征增强的跨模态行人重识别 被引量：3

8

作者 黄驰涵 沈肖波 《南京信息工程大学学报》 CAS 北大核心 2024年第4期451-460,共10页

跨模态行人重识别是一项具有挑战性的任务,目的是在可见光和红外模式之间匹配行人图像,以便在犯罪调查和智能视频监控应用中发挥重要作用.为了解决跨模态行人重识别任务中对细粒度特征提取能力不强的问题,本文提出一种基于融合注意力和... 跨模态行人重识别是一项具有挑战性的任务,目的是在可见光和红外模式之间匹配行人图像,以便在犯罪调查和智能视频监控应用中发挥重要作用.为了解决跨模态行人重识别任务中对细粒度特征提取能力不强的问题,本文提出一种基于融合注意力和特征增强的行人重识别模型.首先,利用自动数据增强技术缓解不同摄像机的视角、尺度差异,并基于交叉注意力多尺度Vision Transformer,通过处理多尺度特征生成具有更强区分性的特征表示;接着,提出通道注意力和空间注意力机制,在融合可见光和红外图像特征时学习对区分特征重要的信息;最后,设计损失函数,采用基于自适应权重的难三元组损失,增强了每个样本之间的相关性,提高了可见光和红外图像对不同行人的识别能力.在SYSU-MM01和RegDB数据集上进行大量实验,结果表明,本文提出方法的mAP分别达到了68.05%和85.19%,相较之前的工作性能有所提升,且通过消融实验和对比分析验证了本文模型的先进性和有效性. 展开更多

关键词 行人重识别 跨模态 交叉注意力 特征提取 多尺度

在线阅读 下载PDF 职称材料

基于混合注意力的全天候机场跑道异物检测

9

作者 张敬博 任杰 王美琪 《北京航空航天大学学报》 北大核心 2025年第9期3222-3232,共11页

机场跑道的异物检测对于飞机安全起降起着至关重要的作用,然而不同光照、天气跑道环境下现有的检测算法存在漏检、误检等现象,为此提出了一种适用于全天候机场跑道环境的YOLOv5异物检测算法。针对原有网络中池化过程存在一定程度的特征... 机场跑道的异物检测对于飞机安全起降起着至关重要的作用,然而不同光照、天气跑道环境下现有的检测算法存在漏检、误检等现象,为此提出了一种适用于全天候机场跑道环境的YOLOv5异物检测算法。针对原有网络中池化过程存在一定程度的特征损失问题,设计了跨阶段局部空间金字塔池化模块,可以自适应提取深层特征语义信息,增强网络多尺度表征能力;在特征融合部分引入混合注意力模块,利用通道和空间特征权值再分配,强化异物和无关背景要素的特征差异;针对小目标异物难以识别和定位从而导致漏检现象,设计了多尺度定位损失函数,通过加入相似性度量提高小目标的检测能力;使用优化后的训练策略训练MS-FOD数据集。实验结果表明:改进的算法达到了95.83%的均值平均精度和94.31%的召回率,相比原始的YOLOv5分别提高了3.68%和15.69%,同时检测速度为68帧/s,满足实时性异物检测的需求,有效验证了所提算法对机场跑道异物检测的有效性。 展开更多

关键词 机场跑道异物 YOLOv5 跨阶段局部结构 混合注意力机制 多尺度损失函数

在线阅读 下载PDF 职称材料

面向无人机航拍图像的跨尺度特征融合CSEM-YOLOv9c算法

10

作者 蒋崇君 张荣芬 +1 位作者 刘宇红 宫燕铭 《电光与控制》 北大核心 2025年第11期54-61,共8页

无人机航拍图像目标尺寸变化明显,小目标物体居多。针对现有目标检测算法在识别无人机航拍图像时中小目标检测精度低的问题,提出一种改进YOLOv9c的无人机航拍图像目标检测算法。首先,改进Neck网络的检测层,新增一个大小为160×160... 无人机航拍图像目标尺寸变化明显,小目标物体居多。针对现有目标检测算法在识别无人机航拍图像时中小目标检测精度低的问题,提出一种改进YOLOv9c的无人机航拍图像目标检测算法。首先,改进Neck网络的检测层,新增一个大小为160×160的用于检测极小目标的检测层,降低小目标的漏检率;其次,提出新的注意力机制iREMA,并设计RepNCSPELAN4iREMA模块,使模型提取到更丰富的特征信息;另外,利用轻量级跨尺度理念对Neck网络结构进行创新优化,设计出一种更高效的无人机航拍图像目标检测Neck结构,减少模型参数量;最后,引入ShapeIoU损失函数改进传统的IoU计算边界回归损失,使边界回归更准确。在VisDrone2019数据集上的实验表明:改进后的算法模型较基准模型mAP50提高6.8个百分点,达到52.5%,mAP50∶95提高4.8个百分点,达到33%,同时模型参数量下降34%,在保证轻量化的同时提升了精度。 展开更多

关键词 YOLOv9c 无人机航拍图像目标检测 iREMA注意力机制 轻量级跨尺度 ShapeIoU

在线阅读 下载PDF 职称材料

基于跨尺度特征融合自注意力的图像描述方法 被引量：2

11

作者 王鸣展 冀俊忠 +1 位作者 贾奥哲 张晓丹 《计算机科学》 CSCD 北大核心 2022年第10期191-197,共7页

近年来,基于自注意力机制的编码器-解码器框架已经成为主流的图像描述模型。然而,编码器中的自注意力只建模低尺度特征的视觉关系,忽略了高尺度视觉特征中的一些有效信息,从而影响了生成描述的质量。针对该问题,文中提出了一种基于跨尺... 近年来,基于自注意力机制的编码器-解码器框架已经成为主流的图像描述模型。然而,编码器中的自注意力只建模低尺度特征的视觉关系,忽略了高尺度视觉特征中的一些有效信息,从而影响了生成描述的质量。针对该问题,文中提出了一种基于跨尺度特征融合自注意力的图像描述方法。该方法在进行自注意力运算时,将低尺度和高尺度的视觉特征进行跨尺度融合,从视觉角度上提高自注意力关注的范围,增加有效视觉信息,减少噪声,从而学习到更准确的视觉语义关系。在MS COCO数据集上的实验结果表明,所提方法能够更精确地捕获跨尺度视觉特征间的关系,生成更准确的描述。特别地,该方法是一种通用的方法,通过与其他基于自注意力的图像描述方法相结合,能进一步提高模型性能。 展开更多

关键词 图像描述 自注意力 跨尺度特征融合

在线阅读 下载PDF 职称材料

结合跨尺度特征融合与瓶颈注意力模块的轻量型红外小目标检测网络 被引量：9

12

作者 林再平 李博扬 +6 位作者 李淼 王龙光 吴天昊 罗伊杭 肖超 李若敬 安玮 《红外与毫米波学报》 SCIE EI CAS CSCD 北大核心 2022年第6期1102-1112,共11页

提出一种结合跨尺度特征融合与瓶颈注意力模块的轻量型单帧红外小目标检测网络。该网络在不引入额外神经元的前提下,直接在编码层和解码层之间进行高频多尺度特征交互,从而维持小目标在网络深层的响应幅值,实现小目标浅层空间结构特征... 提出一种结合跨尺度特征融合与瓶颈注意力模块的轻量型单帧红外小目标检测网络。该网络在不引入额外神经元的前提下,直接在编码层和解码层之间进行高频多尺度特征交互,从而维持小目标在网络深层的响应幅值,实现小目标浅层空间结构特征与深层高级语义特征之间的交互融合。同时,该网络在编码器瓶颈处级联轻量型混合注意力模块,进一步增强目标特征在网络深层的响应幅值。实验结果表明,该网络能有效抑制复杂背景杂波,并以较低参数量实现红外小目标检测。 展开更多

关键词 红外小目标检测 轻量型算法 跨尺度融合 瓶颈注意力模块

在线阅读 下载PDF 职称材料

轻量化的多尺度跨通道注意力煤流检测网络

13

作者 朱富文 侯志会 李明振 《工矿自动化》 CSCD 北大核心 2023年第8期100-105,共6页

为通过变频调速提高带式输送机运行效率,需要对带式输送机煤流进行检测。现有基于深度学习的带式输送机煤流检测方法难以在模型轻量化和分类准确度之间达到平衡,且很少考虑在特征提取过程中通道权重分布不平衡对检测准确度的影响。针对... 为通过变频调速提高带式输送机运行效率,需要对带式输送机煤流进行检测。现有基于深度学习的带式输送机煤流检测方法难以在模型轻量化和分类准确度之间达到平衡,且很少考虑在特征提取过程中通道权重分布不平衡对检测准确度的影响。针对上述问题,提出了一种轻量化的多尺度跨通道注意力煤流检测网络,该网络由特征提取网络和分类网络组成。将轻量化的残差网络ResNet18作为特征提取网络,并在此基础上引入煤流通道注意力(CFCA)子网络,CFCA子网络采用多个卷积核大小不同的一维卷积,并对一维卷积的输出进行堆叠,以捕获特征图中不同尺度的跨通道交互关系,实现对特征图权重的重新分配,从而提高特征提取网络的语义表达能力。分类网络由3个全连接层构成,其将向量化的特征提取网络的输出作为输入,并对其进行非线性映射,最终得到“煤少”、“煤适中”、“煤多”3类结果的概率分布,通过将煤流检测问题转换为图像分类问题,避免瞬时煤流量波动过大导致带式输送机频繁变频调速的问题,提高带式输送机运行稳定性。实验结果表明,ResNet18+CFCA网络在几乎不增加网络参数量和计算复杂度的情况下,比ResNet18网络在分类准确率上提升了1.6%,可更加有效地区分图像中的前景信息,准确提取煤流特征。 展开更多

关键词 带式输送机 煤流检测 图像分类 轻量化 多尺度跨通道注意力 残差网络

在线阅读 下载PDF 职称材料

基于多尺度时空特征和篡改概率改善换脸检测的跨库性能

14

作者 胡永健 卓思超 +2 位作者 刘琲贝 †王宇飞 李纪成 《华南理工大学学报（自然科学版）》 EI CAS CSCD 北大核心 2024年第6期110-119,共10页

目前大多DeepFake换脸检测算法过于依赖局部特征,尽管库内检测性能尚佳,但容易出现过拟合,导致跨库检测性能不理想,即泛化性能不够好。有鉴于此,文中提出一种基于多尺度时空特征和篡改概率的换脸视频检测算法,目的是利用假脸视频中广泛... 目前大多DeepFake换脸检测算法过于依赖局部特征,尽管库内检测性能尚佳,但容易出现过拟合,导致跨库检测性能不理想,即泛化性能不够好。有鉴于此,文中提出一种基于多尺度时空特征和篡改概率的换脸视频检测算法,目的是利用假脸视频中广泛存在的帧间时域不连续性缺陷来解决现有检测算法在跨库、跨伪造方式和视频压缩时性能明显下降的问题,改善泛化检测能力。该算法包括3个模块:为检测假脸视频在时域上留下的不连续痕迹,设计了一个多尺度时空特征提取模块;为自适应计算多尺度时空特征之间的时空域关联性,设计了一个三维双注意力机制模块;为预测随机选取的像素点的篡改概率和构造监督掩膜,设计了一个辅助监督模块。将所提出的算法在FF++、DFD、DFDC、CDF等公开大型标准数据库中进行实验,并与基线算法和近期发布的同类算法进行对比。结果显示:文中算法在保持库内平均检测性能优良的同时,跨库检测和抗视频压缩时的综合性能最好,跨伪造方法检测时的综合性能中等偏上。实验结果验证了文中算法的有效性。 展开更多

关键词 换脸检测 跨库性能 多尺度时空特征 注意力机制 篡改概率 三维点云重建

在线阅读 下载PDF 职称材料

基于特征融合和注意力的驾驶员吸烟目标检测

15

作者 王晓强 李科岑 +2 位作者 李雷孝 王鑫鹏 杨锦帆 《计算机工程与设计》 北大核心 2024年第11期3337-3344,共8页

由于香烟目标较小,图像分辨率较低,目前传统的目标检测算法不足以支撑对香烟的检测,为警戒驾驶员在驾驶时吸烟出现的安全问题,提出一种驾驶员吸烟检测算法。结合SSD目标检测模型,在其骨干网络中引入CSP架构;利用反卷积操作,将有效特征... 由于香烟目标较小,图像分辨率较低,目前传统的目标检测算法不足以支撑对香烟的检测,为警戒驾驶员在驾驶时吸烟出现的安全问题,提出一种驾驶员吸烟检测算法。结合SSD目标检测模型,在其骨干网络中引入CSP架构;利用反卷积操作,将有效特征层进行融合;在GAM注意力机制上改进其通道子模块,结合最大池化和平均池化,抑制与香烟不相关的特征。模型在自制驾驶员吸烟数据集上的识别mAP达94.93%,具有较好的鲁棒性以及泛化能力。 展开更多

关键词 驾驶员吸烟检测 跨阶段局部网络 特征融合 注意力机制 多尺度检测 目标检测 深度学习

在线阅读 下载PDF 职称材料

融合场景特征的跨模态图像美学评价

16

作者 牛玉贞 陈珊珊 +1 位作者 李悦洲 刘文犀 《计算机辅助设计与图形学学报》 北大核心 2025年第7期1270-1282,共13页

现有的图像美学评价方法通常依赖图像本身而忽略了用户评论中的丰富语义信息,因此在性能方面呈现一定的局限性.一些研究尝试结合用户评论辅助进行图像美学评价,但未能充分地挖掘图像特征,且未能较好地对图像-文本特征的复杂关系进行建模... 现有的图像美学评价方法通常依赖图像本身而忽略了用户评论中的丰富语义信息,因此在性能方面呈现一定的局限性.一些研究尝试结合用户评论辅助进行图像美学评价,但未能充分地挖掘图像特征,且未能较好地对图像-文本特征的复杂关系进行建模,导致图像-文本信息利用不充分且交互不够紧密.为解决上述问题,提出一种融合场景特征的跨模态图像美学评价方法.由于图像场景通常会影响人们对图像的美学评价,因此首先提取图像的场景特征和美学特征,并使用多尺度特征融合模块将两者深度融合;考虑图像-文本特征之间的内在相关性,使用多头交叉注意力机制在图像特征和文本特征之间进行交叉注意力计算,将图像-文本模态信息进行交互融合;最后将融合后的跨模态特征用于美学评价.在通用的大型图像美学评价数据集AVA上的广泛实验结果表明,所提方法在ACC,SRCC和PLCC指标上分别达到了86.96%,0.8523和0.8648,超越了文中对比的跨模态图像美学评价方法. 展开更多

关键词 图像美学评价 跨模态学习 场景特征 多头交叉注意力机制 多尺度特征融合

在线阅读 下载PDF 职称材料

基于跨尺度Vision Transformer的深度哈希算法

17

作者 姚佩昀 于炯 +2 位作者 李雪 李梓杨 陈鹏程 《计算机应用研究》 CSCD 北大核心 2024年第11期3477-3483,共7页

为了解决当前深度哈希算法提取跨尺度特征能力不足以及难以拟合数据的全局相似度分布问题,提出了一种基于跨尺度Vision Transformer的深度哈希算法。首先,利用金字塔卷积和跨尺度注意力机制构建了一种多层次编码器,来捕获图像丰富的语... 为了解决当前深度哈希算法提取跨尺度特征能力不足以及难以拟合数据的全局相似度分布问题,提出了一种基于跨尺度Vision Transformer的深度哈希算法。首先,利用金字塔卷积和跨尺度注意力机制构建了一种多层次编码器,来捕获图像丰富的语义信息;其次,提出了一种基于代理的深度哈希算法,该算法为每个类别生成哈希代理,使得哈希码可以学习具有鉴别性的类别特征,从而缩小与同类别哈希代理的距离并拟合数据全局相似性分布;最后,在哈希代理与哈希码之间添加角度边距项,扩大类内相似性和类间差异性,以生成具有高判别性的哈希码。通过在CIFAR-10、ImageNet-100、NUS-Wide、MS COCO上进行的实验结果表明,该算法的平均检索精度比次优方法分别提升4.42%、19.61%、0.35%、15.03%,验证了该算法的有效性。 展开更多

关键词 深度哈希 视觉注意力 哈希代理 跨尺度 图像检索

在线阅读 下载PDF 职称材料

基于多尺度特征增强与对齐的跨模态行人检索

18

作者 徐领 缪翌 张卫锋 《现代电子技术》 北大核心 2024年第22期44-50,共7页

为了解决跨模态行人检索从图像和文本中抽取有效的细节特征,以及实现图像与自然语言文本跨模态对齐的问题,提出一种基于多尺度特征增强与对齐的跨模态行人检索模型。该模型引入多模态预训练模型,并构建文本引导的图像掩码建模辅助任务,... 为了解决跨模态行人检索从图像和文本中抽取有效的细节特征,以及实现图像与自然语言文本跨模态对齐的问题,提出一种基于多尺度特征增强与对齐的跨模态行人检索模型。该模型引入多模态预训练模型,并构建文本引导的图像掩码建模辅助任务,充分实现跨模态交互,从而无需显式地标注信息即可增强模型学习图像局部细节特征的能力。另外,针对行人图像身份易混淆问题,设计全局图像特征匹配辅助任务,引导模型学习身份关注的视觉特征。在CUHK-PEDES、ICFG-PEDES和RSTPReid等多个公开数据集上的实验结果表明,所提模型超越了目前已有的主流模型,其第一命中率分别达到了72.47%、62.71%和59.25%,实现了高准确率的跨模态行人检索。 展开更多

关键词 跨模态行人检索 多尺度特征增强 多模态对齐 CLIP 图像掩码 跨模态交互 交叉注意力

在线阅读 下载PDF 职称材料

卷积协同注意力模型下的作物幼苗与杂草识别

19

作者 闫可 张聪 +2 位作者 陈新波 成泞伸 魏志慧 《江苏农业科学》 北大核心 2024年第13期188-196,共9页

在农作物的杂草防治中,部分杂草与作物幼苗的形态相似且颜色相近,导致杂草不易被快速准确识别。针对田间作物幼苗与杂草识别精度不高的问题,提出了一种卷积协同注意力模型(CCA-ViT)。该模型以视觉Transformer模型为基础,采用跨尺度金字... 在农作物的杂草防治中,部分杂草与作物幼苗的形态相似且颜色相近,导致杂草不易被快速准确识别。针对田间作物幼苗与杂草识别精度不高的问题,提出了一种卷积协同注意力模型(CCA-ViT)。该模型以视觉Transformer模型为基础,采用跨尺度金字塔架构,加强图像浅层信息与深层语义的交互。为提高相似作物与杂草的特征判别能力,在特征提取网络中构建了卷积协同注意力机制,优先关注叶片的纹理和边缘细小特征,获取局部信息注意力权重后协同全局特征进行建模。并在全局建模前引入可移动位置编码捕获感受野的同时降低模型的复杂度。将该模型用于识别小麦、玉米等6种作物幼苗与雀麦、猪殃殃等6种杂草上,识别准确率比同类规模的视觉Transformer模型提高了1.91百分点,达到了97.81%。同时该模型用于田间小麦和玉米幼苗的实际预测准确率也能达到80%以上。体现出该模型可用于复杂背景下具有纹理细小特征的作物幼苗与杂草的识别,能够对形态相似、颜色相近的作物幼苗与杂草进行有效区分。 展开更多

关键词 作物幼苗与杂草识别 跨尺度金字塔架构 卷积协同注意力机制 可移动位置编码 Transformer模型

在线阅读 下载PDF 职称材料

基于M2-MHA Block轻量化模型的小样本跨工况轴承故障诊断

20

作者 邓兴超 朱冠华 +2 位作者 张清华 张发振 赵乾惠 《机床与液压》 北大核心 2025年第7期31-39,共9页

针对轴承故障诊断中存在的训练数据不充分、模型泛化能力差以及计算复杂度大等问题,提出一种基于轻量化卷积神经网络的小样本跨工况轴承故障诊断方法。采用原始振动信号与量纲一量辅助数据集的并行输入方式,搭建基于深度可分离卷积的多... 针对轴承故障诊断中存在的训练数据不充分、模型泛化能力差以及计算复杂度大等问题,提出一种基于轻量化卷积神经网络的小样本跨工况轴承故障诊断方法。采用原始振动信号与量纲一量辅助数据集的并行输入方式,搭建基于深度可分离卷积的多输入多尺度(M2)特征提取架构,避免了仅使用原始振动信号可能导致的特征不充分问题。此外,提出一种多头注意力块(MHA Block),以提升训练效率和诊断性能。最后,通过迁移学习技术实现了基于小样本的跨工况诊断,并在凯斯西储大学数据集上进行实验验证。结果表明:所提方法在源域下的平均诊断精度达99.8%,且模型参数量和模型大小仅分别为28 789和540.5 kB;在小样本跨工况迁移诊断中,采用100个样本进行训练、500个样本进行测试,平均诊断精度高达99.3%;文中所提方法能够在低计算量条件下,实现高准确率与良好的泛化性能。 展开更多

关键词 故障诊断 轻量化 多输入多尺度 多头注意力块 小样本 跨工况

在线阅读 下载PDF 职称材料