期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到495篇文章
< 1 2 … 25 >
每页显示 20 50 100
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
基于变分模态滤波和注意力机制的重载机器人铣削系统颤振辨识方法
1
作者 梁志强 陈司晨 +7 位作者 杜宇超 刘宝隆 高子瑞 乐毅 肖玉斌 郑浩然 仇天阳 刘志兵 《中国机械工程》 北大核心 2025年第5期1018-1027,1073,共11页
提出了一种定参变分模态滤波、包络滤波和注意力机制网络辨识相结合的重载机器人铣削系统颤振辨识方法。首先,根据变分模态滤波理论,通过合适地优选二次惩罚项实现对目标高频非颤振信号分量的剔除;然后,为快速辨识当前的加工状态,从信... 提出了一种定参变分模态滤波、包络滤波和注意力机制网络辨识相结合的重载机器人铣削系统颤振辨识方法。首先,根据变分模态滤波理论,通过合适地优选二次惩罚项实现对目标高频非颤振信号分量的剔除;然后,为快速辨识当前的加工状态,从信号时域分布出发,结合频域在时域上的映射规律,采用包络滤波方法实现低频主轴转速相关信号分量的剔除;最后,构建基于注意力机制的网络辨识模型,对预处理后的多时序短时信号片段进行分类以实现加工状态辨识,并开展重载机器人铣削系统加工验证实验。实验分析结果表明,通过剔除高频非颤振信号和低频主轴转速相关信号分量,再生颤振辨识准确度得到了进一步提高,辨识准确度可达98.75%。通过与其他辨识方法对比,所提出的重载机器人铣削系统颤振辨识方法可以有效地识别重载机器人铣削系统加工过程中的再生颤振,为后续重载机器人铣削系统颤振在线抑制提供技术支撑。 展开更多
关键词 机器人铣削 颤振辨识 变分模态滤波 注意力机制
在线阅读 下载PDF
基于多层注意力机制跨模态自适应融合的情感分析模型研究
2
作者 贺萍 祁铧颖 王诗怡 《计算机应用与软件》 北大核心 2025年第9期203-209,共7页
与面向文本、图像进行情感分析的研究相比,面向视频进行情感分析的研究较少,且不同模式之间跨模态关系抽取依然存在噪声与信息冗余的问题。因此,结合文本、视频两种数据模态提出一种基于多层注意力机制的跨模态自适应融合的情感分析模型... 与面向文本、图像进行情感分析的研究相比,面向视频进行情感分析的研究较少,且不同模式之间跨模态关系抽取依然存在噪声与信息冗余的问题。因此,结合文本、视频两种数据模态提出一种基于多层注意力机制的跨模态自适应融合的情感分析模型(MACSF)。该文将提取到的文本与视频特征在多头层次注意(MHA)下跨模态分层融合两次,得到具有交互语义的二次融合特征;将文本特征和二次融合的特征通过自适应跨模态集成得到最终融合特征;将融合特征输入多层感知机和Softmax函数得到情感分类结果。在公开数据集MOSI和MOSEI上实验验证,该文模型有效弥补了跨模态交互中存在的噪声问题,提高了情感分类的效果。 展开更多
关键词 跨模态 特征融合 情感分析 注意力机制
在线阅读 下载PDF
基于模态敏感注意力机制的多模态对话模型及应用
3
作者 杜维 朱晓瑛 +4 位作者 许方敏 郑建生 朱福喜 龚鸣敏 李紫玉 《计算机应用研究》 北大核心 2025年第9期2590-2598,共9页
多模态对话系统采用Transformer、交叉注意力机制和预训练模型等方式融合不同粒度的文本、语音和视频模态,提取出跨模态特征,然而现有研究忽略了不同模态特征对分类任务的敏感差异性,造成过度融合及带来的信息冗余。针对多模态融合的顺... 多模态对话系统采用Transformer、交叉注意力机制和预训练模型等方式融合不同粒度的文本、语音和视频模态,提取出跨模态特征,然而现有研究忽略了不同模态特征对分类任务的敏感差异性,造成过度融合及带来的信息冗余。针对多模态融合的顺序特征对分类结果的影响,提出了基于模态敏感注意力机制的多模态对话模型MDM-MSAM,分为主从模态筛选、双模态跨模态融合和三模态跨模态融合三部分,通过确定主从模态并提取跨双模态特征,与三模态融合特征再融合,形成模态敏感的层次化跨多模态特征。在MintRec和CMU-MOSI数据集上的分类准确率分别比目前性能最好的模型提升了3.15%和3.5%。MDM-MSAM模型部署应用在流程引擎式的多轮对话系统中,取得了良好的应用效果。 展开更多
关键词 多模态对话系统 跨模态特征 敏感差异性 模态敏感注意力机制 主从模态
在线阅读 下载PDF
基于跨模态融合与双曲图注意力机制的视频异常检测
4
作者 姜迪 赖惠成 汪烈军 《通信学报》 北大核心 2025年第6期136-152,共17页
针对视频异常检测中模态信息不平衡、视听噪声不平均以及模态异步等问题,提出了一个动态跨模态融合模块与双曲图注意力机制融合的多模态视频异常检测方法CM-HVAD,以准确检测异常行为。首先,提出了一种新的动态跨模态融合模块,动态压缩... 针对视频异常检测中模态信息不平衡、视听噪声不平均以及模态异步等问题,提出了一个动态跨模态融合模块与双曲图注意力机制融合的多模态视频异常检测方法CM-HVAD,以准确检测异常行为。首先,提出了一种新的动态跨模态融合模块,动态压缩多模态数据特征,自主学习跨模态权重,动态平衡视觉特征和音视频特征并进行融合增强。然后,针对多模态数据中存在的模态异步问题,提出了模态一致性对齐模块,按时间帧序列对齐模态语义,确保多模态数据在时间和语义上的一致性。最后,引入了双曲图注意力机制,通过双曲空间的模式分离特性,有效捕捉正常和异常表示之间的层次关系,从而提高检测准确率。实验结果表明,所提方法在XD-Violence上AP达到了86.47%,在UCF-Crime上AUC达到了87.12%,性能优于基线方法。 展开更多
关键词 视频异常检测 跨模态融合 双曲图注意力机制 多模态
在线阅读 下载PDF
基于跨模态注意力机制和弱监督式对比学习的虚假新闻检测模型
5
作者 蔡松睿 张仕斌 +2 位作者 丁润宇 卢嘉中 黄源源 《信息安全研究》 北大核心 2025年第8期693-701,共9页
随着互联网和智能设备的广泛普及,社交媒体已成为新闻传播的主要平台.然而这也为虚假新闻的广泛传播提供了条件.在当前的社交媒体环境中,虚假新闻以文本、图片等多种模态存在,而现有的多模态虚假新闻检测技术通常未能充分挖掘不同模态... 随着互联网和智能设备的广泛普及,社交媒体已成为新闻传播的主要平台.然而这也为虚假新闻的广泛传播提供了条件.在当前的社交媒体环境中,虚假新闻以文本、图片等多种模态存在,而现有的多模态虚假新闻检测技术通常未能充分挖掘不同模态之间的内在联系,限制了检测模型的整体性能.为了解决这一问题,提出了一种基于跨模态注意力机制和弱监督式对比学习的虚假新闻检测模型.该模型利用预训练的BERT和ViT模型分别提取文本和图像特征,通过跨模态注意力机制有效融合多模态特征.同时,该模型引入了弱监督式对比学习,利用有效模态的预测结果作为监督信号指导对比学习过程,能够有效捕捉和利用文本与图像间的互补信息,从而提升了模型在多模态环境下的性能和鲁棒性.仿真实验表明,提出的虚假新闻检测模型在公开的Weibo17和Weibo21数据集上表现出色,与目前最先进的方法相比,准确率平均提升了1.17个百分点,F 1分数平均提升了1.66个百分点,验证了其在应对多模态虚假新闻检测任务中的有效性和可行性. 展开更多
关键词 虚假新闻检测 多模态融合 跨模态注意力机制 对比学习 深度学习
在线阅读 下载PDF
基于注意力机制和跨模态层级特征融合的群养肉牛个体质量估测
6
作者 宋平 杨颖 +3 位作者 刘刚 姚冲 李子若 毛天赐 《农业工程学报》 北大核心 2025年第10期221-231,共11页
为解决群养场景下肉牛个体质量称量复杂、精度低的问题,该研究提出了基于注意力机制和跨模态层级特征融合模型CMHFF-ResNet(cross-modal hierarchical feature fusion resnet)。首先,无接触式地采集俯视视角下日常活动的肉牛的RGB(red-g... 为解决群养场景下肉牛个体质量称量复杂、精度低的问题,该研究提出了基于注意力机制和跨模态层级特征融合模型CMHFF-ResNet(cross-modal hierarchical feature fusion resnet)。首先,无接触式地采集俯视视角下日常活动的肉牛的RGB(red-green-blue)图像与深度图像,使用引入定向边界框OBB(oriented bounding box)的YOLOv8网络对肉牛进行旋转目标检测和识别,精准定位群养场景中的个体目标;其次,以ResNet50为骨干网络构建双流估重模型,分别提取RGB和深度模态特征,并引入CBAM(convolutional block attention module)注意力机制以增强关键特征表达能力。设计跨模态的层级特征融合,有效结合RGB流和深度流的特征并充分利用浅层特征;第三,引入肉牛的身份信息便于网络学习肉牛身份与其体质量之间的对应关系,为优化模型效率,将全连接层替换为KAN(kolmogorov-arnold networks),显著减少参数量;最后,将双流的输出结果融合,回归肉牛体质量值。在试验中,构建了包含2546对RGB-D图像的数据集,包括2373对训练数据和173对验证数据。结果表明,CMHFF-ResNet在验证集上的平均绝对误差为14.19 kg。与基于RGB和深度的单流模型相比,双流模型在平均绝对误差上分别降低16.943%和26.133%。同时,该方法优于其他现有肉牛体质量估测方法:与多元线性回归、改进MobileNetv2模型、改进DenseNet201模型和改进跨模态特征融合模型CFF-ResNet相比,在平均绝对误差上分别减少57.233%、34.699%、24.761%和20.991%,提升了群养环境下肉牛个体质量估测的精度与泛化性,能够有效地学习跨模态的层级特征表示。该研究为大规模群养环境中肉牛个体质量的高精度估测提供了参考。 展开更多
关键词 模型 计算机视觉 目标检测 体质量估测 注意力机制 跨模态层级特征融合 双流网络
在线阅读 下载PDF
基于细粒度注意力机制的人与物体交互检测
7
作者 丁元博 白琳 李陶深 《计算机科学》 北大核心 2025年第11期141-149,共9页
细粒度信息作为一种上下文信息,能够辅助模型识别相对空间关系相似的人与物体交互动作。然而,如何利用这一关键线索统一建模多尺度特征图上不同粒度的特征信息,仍然是人与物体交互检测精度进一步提升面临的主要挑战之一。为了解决这一问... 细粒度信息作为一种上下文信息,能够辅助模型识别相对空间关系相似的人与物体交互动作。然而,如何利用这一关键线索统一建模多尺度特征图上不同粒度的特征信息,仍然是人与物体交互检测精度进一步提升面临的主要挑战之一。为了解决这一问题,提出了一种基于细粒度注意力机制的人与物体交互检测模型(FGDHOI)。该模型在细粒度信息的指导下强化局部特征,融合不同尺度的特征图,通过可变形注意力机制自动学习图像内容,并建模不同粒度特征之间的长距离依赖关系,从本质上提高了人与物体交互检测模型的精度。在V-COCO和HICO数据集上进行了广泛的定性、定量及消融实验。实验结果表明,所提出的方法相比基准模型,在V-COCO数据集上mAP提升了7.7个百分点,在HICO数据集3项指标上mAP分别提升了7.43个百分点、7.5个百分点和7.85个百分点。 展开更多
关键词 深度学习 人与物体交互检测 细粒度信息 注意力机制
在线阅读 下载PDF
基于多通道交互注意力机制与边缘轮廓增强的红外无人机检测
8
作者 聂苏珍 曹杰 +1 位作者 郝群 庄须叶 《红外与毫米波学报》 北大核心 2025年第3期335-345,共11页
无人机因其小巧、轻便、灵活的特点,在农业、物流、救援、赈灾等方面有着广泛的应用。然而如果使用不当或管理不善,不仅会造成个人隐私泄露、财产损失,还可能对公共安全甚至军事安全构成威胁。因此,实时准确地对空域内的无人机进行检测... 无人机因其小巧、轻便、灵活的特点,在农业、物流、救援、赈灾等方面有着广泛的应用。然而如果使用不当或管理不善,不仅会造成个人隐私泄露、财产损失,还可能对公共安全甚至军事安全构成威胁。因此,实时准确地对空域内的无人机进行检测与预警具有重要作用。对此,提出了一种用于红外无人机检测的多通道交互注意力与边缘轮廓增强(Multi-Channel Interactive Attention mechanism and Edge Contour Enhancement,MCIAECE)方法。首先,通过构建多通道交互注意力机制模块和边缘轮廓增强模块组成的双通道对红外图像的浅层和深层特征进行提取,经过注意力机制可以增强目标特征,而边缘轮廓增强则可以获取更多细节信息。然后使用多级特征融合模块将所提取的各层特征进行融合增强,从而获得检测结果。实验结果表明,在3个数据集上用MCIAECE方法都能够达到较好的效果。其中在(NUDT-Single-frame InfraRed Small Target)NUDT-SIRST红外数据集上效果最佳,检测概率和交并比分别为98.83%和85.11%,与基线网络相比分别提高了1.95%和6.88%,与其他方法相比,在目标的边缘轮廓还原方面效果显著。 展开更多
关键词 多通道交互注意力机制 边缘轮廓增强 多级特征融合 红外无人机检测
在线阅读 下载PDF
基于多头自注意力机制与MLP-Interactor的多模态情感分析
9
作者 林宜山 左景 卢树华 《浙江大学学报(工学版)》 北大核心 2025年第8期1653-1661,1679,共10页
针对多模态情感分析中单模态特征质量较差及多模态特征交互不够充分的问题,提出基于多头自注意力机制和MLP-Interactor的多模态情感分析方法.通过基于多头自注意力机制的模态内特征交互模块,实现单模态内的特征交互,提高单模态特征的质... 针对多模态情感分析中单模态特征质量较差及多模态特征交互不够充分的问题,提出基于多头自注意力机制和MLP-Interactor的多模态情感分析方法.通过基于多头自注意力机制的模态内特征交互模块,实现单模态内的特征交互,提高单模态特征的质量.通过MLP-Interactor机制实现多模态特征之间的充分交互,学习不同模态之间的一致性信息.利用提出方法,在CMU-MOSI和CMU-MOSEI 2个公开数据集上进行大量的实验验证与测试.结果表明,提出方法超越了当前诸多的先进方法,可以有效地提升多模态情感分析的准确性. 展开更多
关键词 多模态情感分析 MLP-Interactor 多头自注意力机制 特征交互
在线阅读 下载PDF
一种新型注意力机制的双人交互行为识别方法
10
作者 武东辉 刘国志 +3 位作者 管大松 赵婉婉 杨佳慧 郭明 《传感器与微系统》 北大核心 2025年第9期148-153,共6页
双人交互行为识别方法往往忽略交互无关动作的干扰,以及忽略视角变化导致空间关系失真,进而造成相似动作混淆以及模型泛化能力下降问题。针对以上问题,本文提出一种基于卷积神经网络(CNN)与长短期记忆网络(LSTM)的多特征流融合模型——C... 双人交互行为识别方法往往忽略交互无关动作的干扰,以及忽略视角变化导致空间关系失真,进而造成相似动作混淆以及模型泛化能力下降问题。针对以上问题,本文提出一种基于卷积神经网络(CNN)与长短期记忆网络(LSTM)的多特征流融合模型——CL-GLA模型。首先,提出一种全局—局部融合注意力(GLA)模块抑制交互无关肢体的特征。然后,引入二维离散小波变换(2D-DWT)在空间—频率域多尺度构建视角不变特征,减小视角变化带来的影响。最后,分层融合个体与双人交互动作特征,细粒度分析动作并捕获交互关系。通过在UT-Interaction和NTU RGB+D数据集上实验,所提方法准确率优于对比的相关方法,分别取得98.7±0.7%,97.3±0.9%,93.6±0.1%和94.6±0.1%的准确率。 展开更多
关键词 深度学习 双人交互 长短期记忆网络 注意力机制
在线阅读 下载PDF
基于时变滤波经验模态分解-重构和独立自注意力机制的iTransformer超短期负荷预测方法
11
作者 范士雄 李东琦 +3 位作者 郭剑波 王铁柱 马士聪 赵泽宁 《电网技术》 北大核心 2025年第6期2436-2445,I0077,I0078,共12页
准确的负荷预测对电力系统安全稳定运行至关重要。为了进一步提高负荷预测的精准度,将数据处理和模型改进的方法相融合,提出了一种基于时变滤波经验模态分解(time-varying filter empirical mode decomposition,TVF-EMD)-重构和独立自... 准确的负荷预测对电力系统安全稳定运行至关重要。为了进一步提高负荷预测的精准度,将数据处理和模型改进的方法相融合,提出了一种基于时变滤波经验模态分解(time-varying filter empirical mode decomposition,TVF-EMD)-重构和独立自注意力(stand-alone self-attention,SASA)机制的iTransformer超短期负荷预测方法。首先,针对超短期负荷数据的非平稳和非线性特性,采用TVF-EMD对负荷数据进行分解,得到若干本征模态函数(intrinsic mode function,IMF),通过样本熵(sample entropy,SE)按熵值的大小将IMF分量进行重组;其次,对iTransformer神经网络进行改进,引入一种独立自注意力机制替换iTransformer编码器中的自注意力机制,有效提升了模型捕捉不同变量的依赖关系的能力;最后,将重组后的分量输入到基于独立自注意力机制的iTransformer中进行预测,将得到的结果进行叠加得到最终的预测值。以我国某地区220k V变电站高压侧的实际有功负荷数据集为例进行验证并与现有主流模型进行对比,结果表明该文采用的预测方法具有更好的预测性能。 展开更多
关键词 超短期负荷预测 时变滤波经验模态分解 样本熵 iTransformer模型 注意力机制
在线阅读 下载PDF
基于联合交互注意力的图文情感分析方法 被引量：1
12
作者 胡慧君 丁子毅 +1 位作者 张耀峰 刘茂福 《北京航空航天大学学报》 北大核心 2025年第7期2262-2270,共9页
社交媒体中的图文情感对于引导舆论走向具有重要意义,越来越受到自然语言处理(NLP)领域的广泛关注。当前,社交媒体图文情感分析的研究对象主要为单幅图像文本对,针对无时序性及多样性的图集文本对的研究相对较少,为有效挖掘图集中图像... 社交媒体中的图文情感对于引导舆论走向具有重要意义,越来越受到自然语言处理(NLP)领域的广泛关注。当前,社交媒体图文情感分析的研究对象主要为单幅图像文本对,针对无时序性及多样性的图集文本对的研究相对较少,为有效挖掘图集中图像与文本之间情感一致性信息,提出基于联合交互注意力的图文情感分析(SA-JIA)方法。该方法使用RoBERTa和双向门控循环单元(Bi-GRU)来提取文本表达特征,使用ResNet50获取图像视觉特征,利用联合注意力来找到图文情感信息表达一致的显著区域,获得新的文本和图像视觉特征,采用交互注意力关注模态间的特征交互,并进行多模态特征融合,进而完成情感分类任务。在IsTS-CN数据集和CCIR20-YQ数据集上进行了实验验证,结果表明:所提方法能够提升社交媒体图文情感分析的性能。 展开更多
关键词 社交媒体 图文情感分析 联合注意力 交互注意力 多模态融合
在线阅读 下载PDF
基于GAN和多尺度空间注意力的多模态医学图像融合 被引量：3
13
作者 林予松 李孟娅 +1 位作者 李英豪 赵哲 《郑州大学学报（工学版）》 CAS 北大核心 2025年第1期1-8,共8页
针对多模态医学图像融合过程中多尺度特征和纹理细节信息丢失的问题,提出一种基于生成对抗网络和多尺度空间注意力的图像融合算法。首先,生成器采用自编码器结构,分别利用编码器和解码器对输入图像进行特征提取、融合和重建,生成融合图... 针对多模态医学图像融合过程中多尺度特征和纹理细节信息丢失的问题,提出一种基于生成对抗网络和多尺度空间注意力的图像融合算法。首先,生成器采用自编码器结构,分别利用编码器和解码器对输入图像进行特征提取、融合和重建,生成融合图像;其次,整个对抗网络框架采用双鉴别器结构,使得生成器生成的融合图像同时保留多个模态图像的显著特征;最后,构建一种多尺度空间注意力作为编码器进行特征提取的基本模块,利用多尺度结构充分捕获并保留源图像的多尺度特征,并且引入空间注意力更好地保留源图像的结构和细节信息。全脑图谱数据库上的实验结果表明:所提算法生成的融合图像不仅纹理细节更为丰富,有助于人类视觉观察,而且在3种不同类型的医学图像融合任务上平均梯度、峰值信噪比、互信息、视觉信息保真度等客观评价指标的平均值分别达到0.3023、20.7207、1.4414、0.6498,与其他先进的算法相比具有一定的优势。 展开更多
关键词 图像融合 多模态医学图像 生成对抗网络 特征金字塔 注意力机制
在线阅读 下载PDF
VMD-小波去噪与双线性ResNet结合坐标注意力机制的水声信号调制识别方法 被引量：1
14
作者 周锋 韦少帅 乔钢 《哈尔滨工程大学学报》 北大核心 2025年第7期1357-1366,共10页
针对复杂的水声环境噪声干扰导致提取信号特征不明显、水声通信调制信号类内差异大、类间相似导致调制识别准确率低的问题,本文提出一种基于去噪与改进的ResNet网络调制识别方法。运用变分模态分解与小波相结合的去噪方法,保留了低相关... 针对复杂的水声环境噪声干扰导致提取信号特征不明显、水声通信调制信号类内差异大、类间相似导致调制识别准确率低的问题,本文提出一种基于去噪与改进的ResNet网络调制识别方法。运用变分模态分解与小波相结合的去噪方法,保留了低相关性模态分量含有的有效信息;运用双线性ResNet18使网络具备捕获区分性强的局部信息;引入坐标注意力机制,使网络不仅能关注通道信息也能关注图像的空间信息。仿真结果表明:本文降噪方法相关系数更高、均方根误差均降低了20%;以0 dB条件为例,本文改进网络准确率相比于ResNet提升了8%,7种调制信号都达到了95%以上,调相调制准确率也达到了90%。 展开更多
关键词 水声通信 调制识别 残差网络 去噪 双线性模型 注意力机制 神经网络 变分模态
在线阅读 下载PDF
面向多模态皮肤病语料库的可变形分区注意力黑色素瘤识别方法
15
作者 林玉萍 刘梦皎 +3 位作者 王明豪 张栋 许美凤 李策 《兰州理工大学学报》 北大核心 2025年第5期92-99,共8页
针对黑色素瘤图像诊断问题,提出一种基于可变形分区注意力机制的黑色素瘤识别方法.该方法采用由粗到细的特征提取与识别策略准确区分黑色素瘤和普通痣并建立相应语义标签,在此基础上结合病例文本构建多模态皮肤病语料库.首先,为解决良... 针对黑色素瘤图像诊断问题,提出一种基于可变形分区注意力机制的黑色素瘤识别方法.该方法采用由粗到细的特征提取与识别策略准确区分黑色素瘤和普通痣并建立相应语义标签,在此基础上结合病例文本构建多模态皮肤病语料库.首先,为解决良性与恶性子类别间差异过大导致模型训练困难及识别效率低的问题,构建了一个从粗类到细类层级深入的学习架构;其次,针对病灶边缘模糊、分布不均以及特征提取难的问题,提出了一种融合注意力机制与可变形卷积的可变形分区注意力模块,通过由粗到细的特征提取策略实现了全局与局部特征的有效结合;此外,引入了联合损失函数优化模型识别精准性.实验结果表明,该算法在自建数据集上展现了高敏感性和高特异性,有效提升了病例文本和医学影像匹配构建多模态皮肤病语料库的准确性. 展开更多
关键词 医学图像处理 黑色素瘤识别 可变形卷积 注意力机制 深度学习 多模态语料库
在线阅读 下载PDF
基于跨域交互注意力和对比学习引导的红外与可见光图像融合
16
作者 邸敬 梁婵 +1 位作者 刘冀钊 廉敬 《中国光学(中英文)》 北大核心 2025年第2期317-332,共16页
现有红外与可见光图像融合方法难以充分提取和保留源图像细节信息与对比度,导致纹理细节模糊。针对这一问题,本文提出了一种跨域交互注意力和对比学习引导的红外与可见光图像融合方法。首先,设计了双支路跳跃连接的细节增强网络,从红外... 现有红外与可见光图像融合方法难以充分提取和保留源图像细节信息与对比度,导致纹理细节模糊。针对这一问题,本文提出了一种跨域交互注意力和对比学习引导的红外与可见光图像融合方法。首先,设计了双支路跳跃连接的细节增强网络,从红外和可见光图像中分别提取和增强细节信息,并利用跳跃连接避免信息丢失,生成增强后的细节图像。接着,构建了联合双分支编码器和跨域交互注意力模块的图像融合网络,确保特征融合时充分进行特征交互,并通过解码器重建为最终的融合图像。然后,引入了通过对比学习块进行浅层和深层属性和内容的对比学习网络,优化特征表示,进一步提升图像融合网络的性能。最后,为了约束网络训练以保留源图像的固有特征,设计了一种基于对比约束的损失函数,以辅助融合过程对源图像信息的对比保留。将提出方法与前沿融合方法进行了定性和定量的分析比较。在TNO、MSRS、RoadSence数据集上的实验结果表明:本文方法的8项客观评价指标均较对比方法有显著提升。本文方法融合后图像具有丰富的细节纹理、显著的清晰度和对比度,有效提高了道路交通、安防监控等实际应用中的目标识别和环境感知能力。 展开更多
关键词 红外与可见光图像融合 对比学习 跨域交互注意力机制 对比约束损失
在线阅读 下载PDF
跨通道交互注意力机制驱动的双流网络跨模态行人重识别
17
作者 何磊 栗风永 秦川 《应用科学学报》 CAS CSCD 北大核心 2024年第5期884-892,共9页
现有的跨模态行人重识别方法不能同时兼顾模态间与模态内的目标行人差异,很难提升检索准确度。为解决这一问题,引入跨通道交互的注意力机制,增强行人特征的鲁棒提取能力,有效抑制冗余特征的提取并获得更具辨别力的特征表达。进一步,联... 现有的跨模态行人重识别方法不能同时兼顾模态间与模态内的目标行人差异,很难提升检索准确度。为解决这一问题,引入跨通道交互的注意力机制,增强行人特征的鲁棒提取能力,有效抑制冗余特征的提取并获得更具辨别力的特征表达。进一步,联合异质中心三元组损失、三元组损失和身份损失进行监督学习,有效结合了行人特征的跨模态类间差异和类内差异。实验证明了所提方法的有效性。与7个已有的经典方法相比,所提方法在两个标准数据集RegDB与SYSU-MM01上都取得了较好的性能效果。 展开更多
关键词 跨模态 行人重识别 卷积神经网络 注意力机制
在线阅读 下载PDF
基于多层次多尺度注意力融合网络的多模态眼底疾病诊断模型
18
作者 郭晓新 杨梅 +2 位作者 杨广奇 董洪良 徐海啸 《吉林大学学报(理学版)》 北大核心 2025年第3期783-794,共12页
针对单模态眼底图像提取眼底特征的局限性,提出一个基于多层次多尺度注意力融合网络的多模态眼底疾病诊断模型.首先,分别针对彩色眼底图像和视网膜光学相干断层成像设计多层次注意力网络和多尺度注意力网络,并在特征层进行融合得到融合... 针对单模态眼底图像提取眼底特征的局限性,提出一个基于多层次多尺度注意力融合网络的多模态眼底疾病诊断模型.首先,分别针对彩色眼底图像和视网膜光学相干断层成像设计多层次注意力网络和多尺度注意力网络,并在特征层进行融合得到融合特征;其次,将两种模态的损失函数加权,与融合特征的损失函数相加,提取模态的独特和互补信息,以提高眼底疾病诊断的准确率.在数据集MMC-AMD和GAMMA上进行评估的实验结果表明,该模型优于当前主流模型,诊断效果优越. 展开更多
关键词 医学图像分类 眼底疾病诊断模型 多模态分类 注意力机制
在线阅读 下载PDF
基于ConvNeXt和可变形交叉注意力的多模态3D目标检测方法
19
作者 周鹏 宋志强 +2 位作者 胡凯 宋利鹏 李明阳 《电子测量技术》 北大核心 2025年第12期63-70,共8页
近年来,随着新能源汽车的快速发展,3D目标检测作为自动驾驶技术的核心基础正变得愈发重要。融合雷达点云与图像等多模态信息的策略,能够显著提升目标检测的准确性与鲁棒性。受BEVDet启发,本研究提出了一种基于BEV(鸟瞰图)视角的改进多... 近年来,随着新能源汽车的快速发展,3D目标检测作为自动驾驶技术的核心基础正变得愈发重要。融合雷达点云与图像等多模态信息的策略,能够显著提升目标检测的准确性与鲁棒性。受BEVDet启发,本研究提出了一种基于BEV(鸟瞰图)视角的改进多模态融合3D目标检测方法。该方法采用ConvNeXt网络结合FPN-DCN结构高效提取图像特征,并通过可变形交叉注意力机制实现图像与点云数据的深度融合,从而进一步提升模型的检测精度。在nuScenes自动驾驶数据集上的实验表明,本研究模型性能优异,在测试集上的NDS达到了64.9%,显著超越了大多数现有检测方法。 展开更多
关键词 自动驾驶 3D目标检测 多模态融合 可变形交叉注意力机制
在线阅读 下载PDF
一种双向注意力的多模态Transformer活产预测网络
20
作者 简献忠 贺林涛 +1 位作者 郭强 张武文 《小型微型计算机系统》 北大核心 2025年第8期1935-1941,共7页
针对现有的多模态活产预测模型中,由于输入比例失衡、互补模态间信息融合不足、囊胚图像差异性小以及数据集类不平衡等带来的模型预测性能不高的问题,本文提出了一种双向注意力的多模态Transformer活产预测模型.首先,该模型使用多模态... 针对现有的多模态活产预测模型中,由于输入比例失衡、互补模态间信息融合不足、囊胚图像差异性小以及数据集类不平衡等带来的模型预测性能不高的问题,本文提出了一种双向注意力的多模态Transformer活产预测模型.首先,该模型使用多模态增强模块平衡了各模态输入的比例,并提高了各模态特征的辨识度;其次,通过多模态双向注意力模块挖掘模态内与模态间的内在关联性,有效获取了细粒度的互补模态特征;最后,通过引入焦点损失函数解决数据集类不平衡的问题.在Blastocyst数据集上进行实验,实验结果表明:提出模型的准确率、精确率、召回率、F1值以及AUC指标分别达到了77.11%、74.51%、76.16%、75.33%和75.66%,与现有先进的多模态活产预测模型相比,预测性能更佳. 展开更多
关键词 活产预测 深度学习 多模态 双向注意力机制
在线阅读 下载PDF
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 2 … 25 下一页 到第 页
关于我们 | 版权声明 | 联系我们 | 帮助中心| 意见反馈
主办单位：上海市教育委员会
技术支持：重庆维普资讯有限公司
渝公网安备 50019002500403号
使用帮助 返回顶部