期刊文献+
共找到428篇文章
< 1 2 22 >
每页显示 20 50 100
农业领域多模态融合技术方法与应用研究进展 被引量:8
1
作者 李道亮 赵晔 杜壮壮 《农业机械学报》 北大核心 2025年第1期1-15,共15页
多模态融合技术通过结合多源数据,可以克服单一模态的局限性。近年来,传感器以及遥感技术的发展为作物监测提供了更加丰富的数据源,光谱数据、图像数据、雷达数据以及热红外数据被广泛应用于作物监测中。通过利用计算机视觉技术以及数... 多模态融合技术通过结合多源数据,可以克服单一模态的局限性。近年来,传感器以及遥感技术的发展为作物监测提供了更加丰富的数据源,光谱数据、图像数据、雷达数据以及热红外数据被广泛应用于作物监测中。通过利用计算机视觉技术以及数据分析方法,可以从中获取作物的表型参数、理化特征等信息,从而有助于评估作物的生长状况、指导农业生产管理。现有研究多数是基于单一模态数据展开,而单一模态的数据仅有一种类型的输入,缺乏对整体信息的理解,且容易受到单模态噪声的影响;部分研究虽然采用了多模态融合技术,但仍未能充分考虑模态间的复杂交互关系。为了深入分析多模态融合技术在农业领域应用的潜力,本文首先阐述了农业领域中多模态融合的先进技术与方法,重点梳理了多模态融合技术在作物识别、性状分析、产量预测、胁迫分析及病虫害诊断领域中的应用研究成果,分析了多模态融合技术在农业领域中存在的数据利用程度低、有效特征提取难、融合方式单一等问题,并对未来发展提出展望,以期通过多模态融合的方法推动农业精准管理、提高生产效率。 展开更多
关键词 多模态融合 传感器 遥感技术 作物监测 计算机视觉 农业精准管理
在线阅读 下载PDF
基于多模态融合的新中式皮革女包设计创新应用 被引量:1
2
作者 刘玲玲 付焕娜 马彪 《皮革科学与工程》 北大核心 2025年第2期94-101,共8页
为探究新中式风格的智能化创新应用,推动传统文化的现代设计转化,以女包设计为例进行剖析。首先,对新中式风格与皮革女包、非物质文化遗产的关系进行分析,总结出新中式风格应用在女士皮包设计中的表现途径和文化内涵;其次,应用多模态融... 为探究新中式风格的智能化创新应用,推动传统文化的现代设计转化,以女包设计为例进行剖析。首先,对新中式风格与皮革女包、非物质文化遗产的关系进行分析,总结出新中式风格应用在女士皮包设计中的表现途径和文化内涵;其次,应用多模态融合理论对新中式女包特征进行提取并建立示范库;然后,应用遗传算法进行特征融合并输出设计方案;最后,以夏布、竹编类非遗元素与皮革女包的融合设计为例进行设计实践,验证了多模态融合与遗传算法结合的女包设计方法的有效性,为新中式皮革女包的智能化设计研究提供了理论方法,同时也为非遗文化的传播提供了新的思路。 展开更多
关键词 多模态融合 遗传算法 新中式风格 女式皮包 非遗文化 革制品
在线阅读 下载PDF
基于多模态融合的高铁调度员疲劳状态识别
3
作者 张光远 李莎 +2 位作者 朱泊霖 王敬儒 秦诗雨 《安全与环境学报》 北大核心 2025年第8期3112-3124,共13页
为准确识别高铁调度员的工作状态,保障高铁安全运行,研究提出一种基于脑电-眼动多模态融合的高铁调度员疲劳状态识别方法。通过开展高铁调度模拟试验以采集数据,并利用脑电源定位技术提取5个脑叶的体素电流密度为脑电特征,分析不同工作... 为准确识别高铁调度员的工作状态,保障高铁安全运行,研究提出一种基于脑电-眼动多模态融合的高铁调度员疲劳状态识别方法。通过开展高铁调度模拟试验以采集数据,并利用脑电源定位技术提取5个脑叶的体素电流密度为脑电特征,分析不同工作状态下3个频段的脑电信号活动规律和变化规律。结合多模态融合方法,将脑电特征和眼动特征作为输入端,通过全连接层将其融合生成多模态特征。全连接层作为创建胶囊的替代解决方案,构建改进CapsNet疲劳状态识别模型。结果显示:大脑皮层神经电信号较为活跃的位置集中在额叶、顶叶和枕叶,且θ波的神经电活动强度最高、变化最明显;改进胶囊网络(Capsule Network,CapsNet)模型的最佳迭代次数为3,此时多模态融合特征疲劳状态识别准确率为92.75%,高于单一的脑电或眼动特征。 展开更多
关键词 安全人体学 疲劳状态识别 脑电源定位 多模态融合 改进CapsNet模型 高铁调度员
在线阅读 下载PDF
语言视觉激光多模态融合的机器人导航方法
4
作者 毕盛 杨礼铭 +1 位作者 董敏 沈煜 《小型微型计算机系统》 北大核心 2025年第8期1809-1817,共9页
针对在移动机器人室内导航过程中,单一使用视觉语言导航算法无法充分利用语义中的方位和环境中的感知信息、无法导航至目标半米内的问题,提出了一种语言视觉激光多模态融合的机器人导航方法.首先,在全局路径规划中,标记地图中的导航点,... 针对在移动机器人室内导航过程中,单一使用视觉语言导航算法无法充分利用语义中的方位和环境中的感知信息、无法导航至目标半米内的问题,提出了一种语言视觉激光多模态融合的机器人导航方法.首先,在全局路径规划中,标记地图中的导航点,保留其位姿、图像、点云图和各点之间的拓扑信息,通过多模态融合网络得到各导航点与目标的匹配权值,结合dijkstra算法和方位优化算法,规划出全局路径导航点序列.然后,在局部路径规划中,将多线激光与单目相机进行联合标定,结合目标检测、点云聚类和坐标变换方法得到目标具体位姿,发布导航任务,完成局部路径的规划.最后,通过仿真实验和真实环境实验,验证所提出的导航方法的有效性和可行性. 展开更多
关键词 移动机器人 导航 多模态融合网络 方位优化 多传感器融合
在线阅读 下载PDF
多模态融合与时序特征相残差的异常流量检测方法
5
作者 刘会景 唐永旺 郑登峰 《计算机应用与软件》 北大核心 2025年第3期102-109,共8页
针对当前基于深度学习的方法无法有效融合流量多模特征的问题,提出一种多模融合与时序特征相残差的异常流量检测方法。以会话为单位切分原始流量,获取流量记录的多模态特征;通过跨模态注意力机制进行多模特征融合,进而利用Transformer... 针对当前基于深度学习的方法无法有效融合流量多模特征的问题,提出一种多模融合与时序特征相残差的异常流量检测方法。以会话为单位切分原始流量,获取流量记录的多模态特征;通过跨模态注意力机制进行多模特征融合,进而利用Transformer挖掘流量记录的时序特征;采用残差学习的方法联合多模态融合特征和时序特征进行检测。在CSE-CIC-IDS2018数据集上验证,二分类和多分类的准确率分别为95.19%和90.52%,相较于对比方法,在准确率和精度最优时误报率最低。 展开更多
关键词 深度学习 多模态融合 时序特征 残差学习 注意力机制 异常流量
在线阅读 下载PDF
基于多模态融合的三维目标检测方法研究
6
作者 陆军 赵颢然 鲁林超 《智能系统学报》 北大核心 2025年第5期1167-1177,共11页
在自动驾驶场景中,由于多模态的融合,三维目标检测效果易受传感器未充分校准的影响,同时,对于目标密集的复杂场景,检测过程中易对目标造成误检,从而降低模型的召回率和检测精度。针对以上问题,设计了多模态融合网络SoftFusion-QC(softfu... 在自动驾驶场景中,由于多模态的融合,三维目标检测效果易受传感器未充分校准的影响,同时,对于目标密集的复杂场景,检测过程中易对目标造成误检,从而降低模型的召回率和检测精度。针对以上问题,设计了多模态融合网络SoftFusion-QC(softfusion with query contrast)用以实现三维目标检测。为了自适应地融合来自激光雷达的点云数据和摄像头捕获的图像信息,提出可变形跨模态特征聚合模块(deformable cross-modality feature aggregate,DCFA),实现深层次的特征融合。为了有效应对传感器校准不足问题,引入查询对比机制(query contrast,QC),通过基于Transformer的查询交互策略和查询框对比学习策略,显著提升了检测的精度和鲁棒性,解决了密集目标检测的误检问题。在nuScenes自动驾驶数据集上,取得了69.8%的mAP(mean average precision)与72.8%的NDS(normalized detection score)。通过定量的性能分析和消融实验验证了算法的有效性。 展开更多
关键词 三维目标检测 多模态融合 深度学习 深度估计 特征聚合 注意力机制 激光雷达 自动驾驶
在线阅读 下载PDF
基于多模态融合大模型架构Agri-QA Net的作物知识问答系统
7
作者 吴华瑞 赵春江 李静晨 《智慧农业(中英文)》 2025年第1期1-10,共10页
[目的/意义]随着农业信息化和智能化的快速发展,多模态人机交互技术在农业领域的重要性日益凸显。本研究提出了一种基于多模态融合的大模型架构Agri-QA Net,旨在针对甘蓝作物的农业知识,设计多模态专业问答系统。[方法]该模型通过整合... [目的/意义]随着农业信息化和智能化的快速发展,多模态人机交互技术在农业领域的重要性日益凸显。本研究提出了一种基于多模态融合的大模型架构Agri-QA Net,旨在针对甘蓝作物的农业知识,设计多模态专业问答系统。[方法]该模型通过整合文本、音频和图片数据,利用预训练的BERT(Bidirectional Encoder Representations from Transformers)模型提取文本特征,声学模型提取音频特征,以及卷积神经网络提取图像特征,并采用基于Transformer的融合层来整合这些特征。此外,引入跨模态注意力机制和领域自适应技术,增强了模型对农业领域专业知识的理解和应用能力。本研究通过收集和预处理甘蓝种植相关的多模态数据,训练并优化了AgriQA Net模型。[结果和讨论]实验评估表明,该模型在甘蓝农业知识问答任务上表现出色,相较于传统的单模态或简单多模态模型,具有更高的准确率和更好的泛化能力。在多模态输入的支持下,其准确率达到了89.5%,精确率为87.9%,召回率为91.3%,F_(1)值为89.6%,均显著高于单一模态模型。[结论]案例研究展示了Agri-QA Net在实际农业场景中的应用效果,证明了其在帮助农民解决实际问题中的有效性。未来的工作将探索模型在更多农业场景中的应用,并进一步优化模型性能。 展开更多
关键词 多模态融合 人机交互 农业知识问答 甘蓝作物 大语言模型
在线阅读 下载PDF
多领域多模态融合网络的虚假新闻检测 被引量:1
8
作者 焦世明 于凯 《计算机工程与应用》 北大核心 2025年第11期238-248,共11页
公众能够从互联网快速获取海量有价值的信息,但也为虚假新闻的广泛和迅速传播提供了便利。因此,在社交媒体上发现并标记出虚假新闻变得非常重要,快速准确地识别出虚假新闻能够有效防止负面网络舆情的形成,减少不良社会影响。在现有虚假... 公众能够从互联网快速获取海量有价值的信息,但也为虚假新闻的广泛和迅速传播提供了便利。因此,在社交媒体上发现并标记出虚假新闻变得非常重要,快速准确地识别出虚假新闻能够有效防止负面网络舆情的形成,减少不良社会影响。在现有虚假新闻识别研究基础上,构建了多领域多模态融合网络虚假新闻检测模型(DMMFN)。DMMFN模型中使用了BERT模型将虚假新闻的文本内容转换为文本向量,使用CLIP提取图片特征信息,考虑文本与图像相关性与交互性,建立一个多模态融合网络,组成的两个联合矩阵促进不同模态之间的信息交互和融合。引入一个多领域分类器,让不同事件的多模态特征可以映射到同一个特征空间中。在Twitter和Weibo数据集中测试了模型的性能,实验结果证明,DMMFN模型在accuracy、precision和F1分数上均优于SIMPLE、CCD等基线模型。 展开更多
关键词 虚假新闻 BERT CLIP 多模态融合 多领域分类
在线阅读 下载PDF
基于多模态融合的结冰风洞云雾参数辨识方法
9
作者 谢腾 熊浩 +1 位作者 彭博 易贤 《实验流体力学》 北大核心 2025年第2期102-109,共8页
结冰风洞云雾场校测通常存在仪器依赖度高的问题。针对该问题,提出了一种基于多模态融合的结冰风洞云雾参数辨识方法,该方法以试验模型结冰图像及迎角、来流速度、来流温度、结冰时长等参数作为输入,提取并融合两者特征参数,以液态水含... 结冰风洞云雾场校测通常存在仪器依赖度高的问题。针对该问题,提出了一种基于多模态融合的结冰风洞云雾参数辨识方法,该方法以试验模型结冰图像及迎角、来流速度、来流温度、结冰时长等参数作为输入,提取并融合两者特征参数,以液态水含量和水滴平均体积直径作为输出训练神经网络模型,进而实现对结冰风洞云雾参数的快速辨识。为验证该方法的有效性和可行性,以NACA0012标准翼型为研究对象,开发了结冰风洞云雾参数辨识程序,分析了融合比例的影响,获得了适用于结冰风洞云雾参数辨识的最佳网络模型。在此基础上,开展了仿真和试验评估,结果表明:所提出的方法对液态水含量和水滴平均体积直径的辨识满度误差均小于12%,具有较高的辨识精度与良好的泛化性能,可为结冰风洞云雾参数辨识提供补充。 展开更多
关键词 结冰风洞 云雾场测量 结冰工况 结冰图像 多模态融合 参数辨识
在线阅读 下载PDF
基于多模态融合技术的高精度半开放式种猪性能测定站设计与试验
10
作者 黎煊 梁浩 +3 位作者 刘小磊 李茂 徐迪红 曾荣 《农业机械学报》 北大核心 2025年第8期507-516,共10页
为提升种猪性能测定的自动化水平并减少外界干扰对测定精度的影响,设计了一种基于多模态融合技术的高精度半开放式种猪性能测定站。采用模块化设计原理,完成了测定站结构设计,将结构分成采食端和体质量称量端两个模块;基于STM32主控芯片... 为提升种猪性能测定的自动化水平并减少外界干扰对测定精度的影响,设计了一种基于多模态融合技术的高精度半开放式种猪性能测定站。采用模块化设计原理,完成了测定站结构设计,将结构分成采食端和体质量称量端两个模块;基于STM32主控芯片与FreeRTOS操作系统完成了控制系统软硬件的搭建,与图像采集设备协同工作;提出了一种基于多模态融合的称量异常检测算法,利用背景减除与颜色过滤技术检测区域内异常,同时结合称量信号方差与极差进行动态分析优化时间窗口以对称量噪声数据进行滤除;开展了实际猪群养殖试验,结果显示,称量数据经去噪后,1号猪舍78.39%的异常数据和2号猪舍76.68%的异常数据恢复为正常数据,在30~60 kg、30~100 kg阶段,试验猪群日均自由采食次数分别为5.30(1号猪舍)、5.29(2号猪舍)和5.92(1号猪舍)、5.90(2号猪舍),日均采食时间分别为58.43 min(1号猪舍)、63.23 min(2号猪舍)和52.01 min(1号猪舍)、54.95 min(2号猪舍),料肉比分别为2.58(1号猪舍)、2.57(2号猪舍)和2.82(1号猪舍)、2.75(2号猪舍),80~140日龄的生长曲线拟合结果符合Logistic模型,符合猪群生长规律。研究结果表明,该测定站能够可靠进行种猪性能测定,为精准育种与现代化养殖提供了有效支持,对提升种猪选育效率和优化种猪遗传改良具有重要的应用价值和推广意义。 展开更多
关键词 种猪 性能测定 半开放式 多模态融合 图像与电信号
在线阅读 下载PDF
基于多模态融合和知识感知的谣言检测方法
11
作者 司赟 苏依拉 +1 位作者 仁庆道尔吉 吉亚图 《计算机应用与软件》 北大核心 2025年第10期177-182,221,共7页
传统的谣言检测方法没有考虑到多模态融合的重要性,也缺乏对实体和实体环境的引用。针对该问题,提出一种基于多模态融合和知识感知的谣言检测方法。采用Faster R-CNN模型和预训练的BERT模型分别提取图像和文本特征,并将注意力机制与实... 传统的谣言检测方法没有考虑到多模态融合的重要性,也缺乏对实体和实体环境的引用。针对该问题,提出一种基于多模态融合和知识感知的谣言检测方法。采用Faster R-CNN模型和预训练的BERT模型分别提取图像和文本特征,并将注意力机制与实体、实体上下文有效地结合起来,达到谣言检测的目的。在微博和Twitter数据集上的实验结果显示,该方法在准确率、召回率、精确率和F1得分指标均优于对比的方法,并且在早期检测阶段表现突出。 展开更多
关键词 谣言检测 多模态融合 知识网络 注意力机制
在线阅读 下载PDF
基于级联森林和多模态融合的脑力疲劳识别算法 被引量:2
12
作者 邓浩伟 侯月皎 +3 位作者 张朝月 徐慕华 朱玲玲 赵永岐 《北京航空航天大学学报》 北大核心 2025年第2期584-593,共10页
脑力疲劳是影响人的认知功能和工作效率的重要因素,但目前没有公开的与脑力疲劳相关的多模态融合数据库,且常用于识别脑力疲劳的脑电信号在采集过程中易对人体造成负担和活动限制,因此,提出一种基于多模态生理信号的脑力疲劳识别算法。... 脑力疲劳是影响人的认知功能和工作效率的重要因素,但目前没有公开的与脑力疲劳相关的多模态融合数据库,且常用于识别脑力疲劳的脑电信号在采集过程中易对人体造成负担和活动限制,因此,提出一种基于多模态生理信号的脑力疲劳识别算法。实验采用连续认知任务诱发受试者的脑力疲劳,同步采集脑电和心电2种生理信号。采用4导联(Fp1,F7,F8,Fp2)脑电信号和心电信号构建多模态融合特征,输入级联森林模型完成脑力疲劳识别任务。最终获得14份有效脑力疲劳多模态数据集,并实现了99.60%的平均识别率。通过引入级联森林和多模态融合技术,有效提高了脑力疲劳识别的准确性和鲁棒性,为脑力疲劳监测与干预提供了技术支持。 展开更多
关键词 脑力疲劳 多模态融合 级联森林 脑电图 心电图
在线阅读 下载PDF
基于动态多模态融合的电力变压器故障诊断方法 被引量:2
13
作者 张若泉 冉慧娟 +1 位作者 谢军 汤铠铭 《绝缘材料》 北大核心 2025年第5期107-115,共9页
为适配不同现场监测条件、充分利用多模态监测信息,提升变压器故障诊断方法的灵活性及准确性,本文提出一种基于动态多模态融合的电力变压器故障诊断方法。该方法引入动态融合策略,首先构建一层模态选择网络,可自主筛选输入的监测信息,... 为适配不同现场监测条件、充分利用多模态监测信息,提升变压器故障诊断方法的灵活性及准确性,本文提出一种基于动态多模态融合的电力变压器故障诊断方法。该方法引入动态融合策略,首先构建一层模态选择网络,可自主筛选输入的监测信息,动态选择诊断的模式,以适配现场不同监测条件;然后针对不同输入模式建立对应的诊断模型,非单模态条件下采用相应的融合方式予以诊断,实现各模态监测信息的充分利用;最后通过采用多地市局收集的实际案例进行验证。结果表明:本文方法能有效提升变压器故障诊断结果的灵活性与准确性,可适配现场不同监测条件,相较其他方法识别准确率更高,最高可达97.33%,且误报率、漏报率最低。 展开更多
关键词 变压器 故障诊断 灵活性 动态多模态融合
在线阅读 下载PDF
露天矿低能见度下多模态融合障碍物检测
14
作者 杨奉展 顾清华 +1 位作者 李少博 杨建春 《中国安全科学学报》 北大核心 2025年第5期195-203,共9页
为解决露天矿区低能见度、低照度环境中无人矿卡对行进障碍物的感知误差问题,减少碰撞风险,提出基于多模态融合的障碍物检测方法;首先,采用轻量粘合(LightGlue)图像配准算法,对齐热红外与可见光不同模态图像的空间,避免融合前的空间错... 为解决露天矿区低能见度、低照度环境中无人矿卡对行进障碍物的感知误差问题,减少碰撞风险,提出基于多模态融合的障碍物检测方法;首先,采用轻量粘合(LightGlue)图像配准算法,对齐热红外与可见光不同模态图像的空间,避免融合前的空间错位与几何失真;其次,模态特征提取与融合阶段,在改进的双分支主干网络引入双模态特征融合(DMFF)模块,通过特征压缩、跨模态特征增强,提高提取双模态特征的能力并完成融合;然后,引入迭代学习方法,深入匹配模态间的互补信息,获取双模态特征映射图,提高多模态检测性能;最后,将各尺度融合的特征映射图输入到检测头部,结合边界框回归与分类预测进行精确检测。结果表明:该方法在低能见度等复杂场景下对障碍物的检测效果较好,阈值为0.5时的平均精度均值(mAP@0.5)达到90.8%;F 1平衡分数达到0.887,较现有方法表现出更高精度和速度,并且误报率和漏检率也较低,能有效提升无人矿卡在复杂环境下的检测精度和安全性。 展开更多
关键词 露天矿 低能见度 无人矿卡 多模态融合 障碍物检测 感知预警
在线阅读 下载PDF
页岩气核心参数预测的异构异质数据多模态融合算法
15
作者 罗浚七 汪敏 +4 位作者 乔豁通 邱毅 张浩洋 孙活 谢浩宇 《数据采集与处理》 北大核心 2025年第3期793-806,共14页
不同于以图像为主导的传统多模态融合方法,工业生产中生产数据常以结构化数据为主,辅以少量的图像数据,但这两种异构数据都反映了页岩气核心参数特征,因其在数据维度存在巨大差异,导致异构数据难以实现特征融合。地层纵向结构化数据间... 不同于以图像为主导的传统多模态融合方法,工业生产中生产数据常以结构化数据为主,辅以少量的图像数据,但这两种异构数据都反映了页岩气核心参数特征,因其在数据维度存在巨大差异,导致异构数据难以实现特征融合。地层纵向结构化数据间存在异质性,运用常规深度学习方法预测核心参数存在较大误差。针对以上问题,提出一种异构异质数据多模态融合算法(Multi-modal fusion algorithm for heterogeneous data,MFH)。首先,设计了异构数据多模态融合策略,实现同一深度标签下的扫描电镜和测井参数数据特征对齐、提取和融合;其次,构建了异质数据特征拉近机制,通过构建正样本对使模型学习到同工区地层间的强异质性以及横向的非线性关系;最后,提出了异构数据特征交换方法,解决了丰富的测井数据与稀少的电镜图片的匹配问题,实现对核心参数精确连续预测。实验结果与主流深度模型预测结果对比,证明了本文方法具有实用性、有效性和可推广性。 展开更多
关键词 多模态融合 特征拉近机制 异构数据 异质性 注意力机制
在线阅读 下载PDF
基于多模态融合的软件缺陷协同分派方法
16
作者 谢生龙 李青山 +1 位作者 歹杰 崔笛 《软件学报》 北大核心 2025年第9期4036-4055,共20页
软件缺陷(bug)分派是将bug报告与适合解决该bug的开发人员进行匹配的过程,能够使bug得到及时修复.目前的bug分派研究大多集中于bug报告的文本分类,但根据帕累托法则,用以分类的bug报告存在数据分布不均衡现象,容易对非活跃开发者产生较... 软件缺陷(bug)分派是将bug报告与适合解决该bug的开发人员进行匹配的过程,能够使bug得到及时修复.目前的bug分派研究大多集中于bug报告的文本分类,但根据帕累托法则,用以分类的bug报告存在数据分布不均衡现象,容易对非活跃开发者产生较差的分派效果;此外,现有的分类模型忽视了对开发人员的建模且难以挖掘bug与开发人员之间的相关性,影响了bug分派效能.为此,提出一种基于多模态融合的软件缺陷协同分派方法CBT-MF(collaborative bug triaging method based on multimodal fusion).该方法首先对bug报告进行预处理并构造bug-开发人员二部图;其次,为了缓减bug修复记录分布不均衡性的影响,通过K-means和正负采样的方法对二部图数据进行增强;为了表征开发者信息,基于图卷积模型提取二部图节点特征;最后,采用内积匹配的方法捕获bug与开发者的相关性,并通过贝叶斯个性化排序实现bug报告与开发人员的推荐与分派.在公开数据集上进行全面的实验评估,实验结果表明,CBT-MF在bug分派方面相较于多个现有先进方法表现出更优越的性能. 展开更多
关键词 缺陷分派 不均衡性 多模态融合 图卷积
在线阅读 下载PDF
DeT+:基于Mamba的多模态融合色彩美学评价算法
17
作者 倪雯倩 郝煦泽 +2 位作者 姜旭浩 谭伟敏 颜波 《小型微型计算机系统》 北大核心 2025年第9期2137-2144,共8页
图像色彩美学评价是评估图像是否符合用户色彩美学偏好的关键标准,在评估智能手机和相机性能方面起着重要作用.传统的图像色彩美学评价方法通常依赖于像素统计或色轮理论,仅能量化色彩特征,而基于深度学习的方法目前提取隐式的色彩特征... 图像色彩美学评价是评估图像是否符合用户色彩美学偏好的关键标准,在评估智能手机和相机性能方面起着重要作用.传统的图像色彩美学评价方法通常依赖于像素统计或色轮理论,仅能量化色彩特征,而基于深度学习的方法目前提取隐式的色彩特征进行最终分数回归,缺乏捕捉色彩与图像内容和语义互动的能力.为了解决这些问题,本文提出通过对比视觉-语言预训练模型获取的高级语义特征来增强传统的隐式色彩特征.除此之外,本文方法引入了Mamba视觉状态空间增强与融合模块,以获取更高质量的特征.此外,通过计算高级语义特征与特定主导色彩提示词之间的相似性,提取显式色彩特征,增强了模型对色彩使用的直观理解和评价能力.广泛的实验结果表明,本文方法在多个公开数据集上性能明显优于State-Of-The-Art方法(如EAT(ACMMM′23)、DeT(ICCV′23)),SRCC指标最高提升达3.3%. 展开更多
关键词 图像色彩美学评价 图像美学评价 多模态融合 Mamba
在线阅读 下载PDF
基于CBAM-GLU-ISF的多模态融合恶意软件检测方法
18
作者 彭飞鸿 刘万平 黄东 《计算机工程与应用》 北大核心 2025年第20期306-314,共9页
恶意软件普遍结合代码混淆技术,基于单特征的检测方法特征信息受限,相对多特征检测方法存在检测准确率偏低的问题。不同模态之间潜在的关联性信息可以提高检测效果上限,目前的多特征检测方法在特征融合时缺乏对特征之间关联性的建模,导... 恶意软件普遍结合代码混淆技术,基于单特征的检测方法特征信息受限,相对多特征检测方法存在检测准确率偏低的问题。不同模态之间潜在的关联性信息可以提高检测效果上限,目前的多特征检测方法在特征融合时缺乏对特征之间关联性的建模,导致其检测准确率欠佳。为了更全面地表征恶意软件并提高检测精度,提出一种基于卷积神经网络CNN和门控线性单元GLU的多模态融合恶意软件检测方法CBAM-GLU-ISF。以恶意软件两种模态:灰度图和字节序列为分析对象,在卷积神经网络中添加卷积块注意力模块(CBAM),结合通道注意力和空间注意力实现对灰度图的关键特征提取。字节序列是软件在计算机上最直接的表示,门控线性单元结合加性注意力机制(additive attention)在高效地捕获长序列依赖关系的基础上,实现对字节序列关键特征的提取。多模态特征融合模块(ISF)对并行特征提取网络的两种模态特征进行融合,挖掘利用两种模态特征之间存在的关联性信息,将恶意软件表征为一个更全面的多模态特征。最后,通过检测层完成恶意软件识别。实验结果表明,所提方法检测准确率达到99.1%,AUC达到了99.8%,对比现有工作中的单特征和多特征检测算法有明显提升,验证了该方法的有效性。 展开更多
关键词 恶意软件检测 多模态融合 卷积神经网络(CNN) 卷积块注意力模块 门控线性单元(GLU)
在线阅读 下载PDF
HDMapFusion:用于自动驾驶的多模态融合高清地图生成(特邀)
19
作者 刘洋宏 付杨悠然 董性平 《计算机工程》 北大核心 2025年第10期18-26,共9页
高清环境语义地图的生成是自动驾驶系统实现环境感知与决策规划不可或缺的关键技术。针对当前自动驾驶领域相机与激光雷达在感知任务中存在的模态差异问题,提出一种创新的多模态融合范式HDMapFusion,通过特征级融合策略显著提升了语义... 高清环境语义地图的生成是自动驾驶系统实现环境感知与决策规划不可或缺的关键技术。针对当前自动驾驶领域相机与激光雷达在感知任务中存在的模态差异问题,提出一种创新的多模态融合范式HDMapFusion,通过特征级融合策略显著提升了语义地图的生成精度。与传统直接融合原始传感器数据的方法不同,HDMapFusion创新性地将相机图像特征和激光雷达点云特征统一转换为鸟瞰视图(BEV)空间表示,在统一的几何坐标系下实现了多模态信息的物理可解释性融合。具体而言:HDMapFusion首先通过深度学习网络分别提取相机图像的视觉特征和激光雷达的三维(3D)结构特征;然后利用可微分的视角变换模块将前视图像特征转换为BEV空间表示,同时将激光雷达点云特征通过体素化处理投影到相同的BEV空间,在此基础上设计一个基于注意力机制的特征融合模块,自适应地加权整合两种模态;最后通过语义解码器生成包含车道线、人行横道、道路边界线等要素的高精度语义地图。在nuScenes自动驾驶数据集上的实验结果表明,HDMapFusion在高清地图生成精度方面显著优于现有基准方法。这些实验结果验证了HDMapFusion的有效性和优越性,为自动驾驶环境感知中的多模态融合问题提供了新的解决思路。 展开更多
关键词 高清地图生成 多模态融合 鸟瞰视图表示 自动驾驶 深度估计
在线阅读 下载PDF
基于多模态融合的无人机通信感知一体化方法设计
20
作者 崔锴 赵建伟 +2 位作者 姚敏立 朱丰超 何芳 《现代电子技术》 北大核心 2025年第19期57-62,共6页
针对无人机运动及姿态变化影响通信和感知性能的问题,文中提出一种基于传感器多模态融合感知信息辅助通信的无人机信道估计方法。首先,综合考虑无人机姿态变化和轨迹变化,建立无人机ISAC信道模型,并提出多元传感器多模态融合ISAC方法;然... 针对无人机运动及姿态变化影响通信和感知性能的问题,文中提出一种基于传感器多模态融合感知信息辅助通信的无人机信道估计方法。首先,综合考虑无人机姿态变化和轨迹变化,建立无人机ISAC信道模型,并提出多元传感器多模态融合ISAC方法;然后,基于无人机运动规律和四元数姿态表示法,建立无人机ISAC的系统状态方程与观测方程;最后,通过无迹卡尔曼滤波融合多元传感器输出信息,实时获取无人机航迹与姿态信息,进而进行信道重建,实现感知辅助通信。实验结果表明,基于多模态融合的无人机通信感知一体化方法性能优于传统信道估计方法,验证了所提方法的有效性。 展开更多
关键词 通信感知一体化 无人机 多模态融合 无迹卡尔曼滤波 四元数 信道估计
在线阅读 下载PDF
上一页 1 2 22 下一页 到第
使用帮助 返回顶部