期刊文献+
共找到354篇文章
< 1 2 18 >
每页显示 20 50 100
基于多模态数据融合的小麦病虫害检测技术研究与应用
1
作者 董俊磊 李冰 《河南农业》 2025年第15期53-54,57,共3页
小麦是全球重要的粮食作物之一,在我国农业生产中占据着关键地位。然而,小麦在生长过程中极易受到多种病虫害的侵袭,如小麦锈病、小麦赤霉病、蚜虫等,这些病虫害会严重影响小麦的生长发育,导致其产量和品质下降,给农业生产带来较大损失... 小麦是全球重要的粮食作物之一,在我国农业生产中占据着关键地位。然而,小麦在生长过程中极易受到多种病虫害的侵袭,如小麦锈病、小麦赤霉病、蚜虫等,这些病虫害会严重影响小麦的生长发育,导致其产量和品质下降,给农业生产带来较大损失。传统的小麦病虫害检测方法主要依赖人工田间调查,该方法存在效率低、主观性强、检测范围有限等缺点,难以满足现代农业精准化、智能化的发展需求。 展开更多
关键词 多模态数据融合 精准化 小麦赤霉病 小麦锈病
在线阅读 下载PDF
基于多模态数据融合的农作物病害识别方法 被引量:2
2
作者 陈维 施昌勇 马传香 《计算机应用》 北大核心 2025年第3期840-848,共9页
现有的基于深度学习模型的农作物病害识别方法依赖特定农作物病害图像数据集进行图像特征学习,而忽视了文本特征在辅助图像特征学习中的重要性。为了更有效地提高模型对农作物病害图像的特征提取能力及病害识别能力,提出一种基于对比语... 现有的基于深度学习模型的农作物病害识别方法依赖特定农作物病害图像数据集进行图像特征学习,而忽视了文本特征在辅助图像特征学习中的重要性。为了更有效地提高模型对农作物病害图像的特征提取能力及病害识别能力,提出一种基于对比语言-图像预训练和多模态数据融合的农作物病害识别方法(CDR-CLIP)。首先,构建高质量的病害识别图像-文本对数据集,利用文本信息增强农作物病害图像的特征表示;其次,利用多模态融合策略有效结合文本特征与图像特征,以加强模型对病害的判别能力;最后,针对性地设计预训练和微调策略,从而优化模型在特定农作物病害识别任务中的表现。实验结果表明,在PlantVillage和AI Challenger 2018农作物病害数据集上,CDR-CLIP的病害识别准确率分别达到99.31%和87.66%,F1值分别达到99.04%和87.56%;在PlantDoc农作物病害数据集上,CDR-CLIP的平均精度均值mAP@0.5达到51.10%,展现出CDR-CLIP强大的性能优势。 展开更多
关键词 数据融合 多模态 大语言模型 农作物病害识别 对比学习
在线阅读 下载PDF
多模态数据融合技术在临床护理中的应用进展
3
作者 杜赛丽 徐燕 +2 位作者 黄莺 傅佳丹 程红 《军事护理》 北大核心 2025年第8期94-97,共4页
多模态数据融合(multi-modal data fusion)指利用计算机综合处理文本、图像、视频等不同异构信息,实现更全面、更准确的信息分析和决策支持的计算处理方法^([1])。在智慧医疗的推动下,临床护理领域面临数据量激增的挑战,亟需更高效的数... 多模态数据融合(multi-modal data fusion)指利用计算机综合处理文本、图像、视频等不同异构信息,实现更全面、更准确的信息分析和决策支持的计算处理方法^([1])。在智慧医疗的推动下,临床护理领域面临数据量激增的挑战,亟需更高效的数据处理方法^([2])。传统单模态数据分析方法因其视角单一、信息不完整等局限性,难以全面反映患者的健康状况^([3])。因此,多模态数据融合技术在临床护理中的重要性和必要性日益凸显,该技术通过整合时序性、不规则且关联的多元数据,提升数据分析能力,推动护理与大数据的有机融合,辅助护理人员早期识别健康风险、准确预测并发症、构建更可靠的风险预测模型及不良事件预警系统,从而实现精准的个性化护理与及时干预^([1,4])。 展开更多
关键词 多模态数据融合 护理 应用
在线阅读 下载PDF
基于特征交互与自适应分组融合的多模态目标检测
4
作者 叶志晖 武健 +2 位作者 赵晓忠 王文娟 邵新光 《红外技术》 北大核心 2025年第4期468-474,共7页
为提升目标检测方法在复杂场景下的检测效果,将深度学习算法与多模态信息融合技术相结合,提出了一种基于特征交互与自适应分组融合的多模态目标检测模型。模型采用红外和可见光目标图像为输入,以PP-LCNet网络为基础构建对称双支路特征... 为提升目标检测方法在复杂场景下的检测效果,将深度学习算法与多模态信息融合技术相结合,提出了一种基于特征交互与自适应分组融合的多模态目标检测模型。模型采用红外和可见光目标图像为输入,以PP-LCNet网络为基础构建对称双支路特征提取结构,并引入特征交互模块,保证不同模态目标特征在提取过程中的信息互补;其次,设计二值化分组注意力机制,利用全局池化结合Sign函数将交互模块的输出特征以所属目标类别进行特征分组,再分别采用空间注意力机制增强各特征组中的目标信息;最后,基于分组增强后的特征,提取不同尺度下的同类特征组,通过自适应加权方式由深至浅进行多尺度融合,并根据融合后的各尺度特征实现目标预测。实验结果表明,所提方法在多模态特征交互、关键特征增强以及多尺度融合方面都有较大的提升作用,并且在复杂场景下,模型也具有更高的鲁棒性,可以更好地适用于不同场景中。 展开更多
关键词 多模态 目标检测 特征交互 二值化分组 自适应融合
在线阅读 下载PDF
页岩气核心参数预测的异构异质数据多模态融合算法
5
作者 罗浚七 汪敏 +4 位作者 乔豁通 邱毅 张浩洋 孙活 谢浩宇 《数据采集与处理》 北大核心 2025年第3期793-806,共14页
不同于以图像为主导的传统多模态融合方法,工业生产中生产数据常以结构化数据为主,辅以少量的图像数据,但这两种异构数据都反映了页岩气核心参数特征,因其在数据维度存在巨大差异,导致异构数据难以实现特征融合。地层纵向结构化数据间... 不同于以图像为主导的传统多模态融合方法,工业生产中生产数据常以结构化数据为主,辅以少量的图像数据,但这两种异构数据都反映了页岩气核心参数特征,因其在数据维度存在巨大差异,导致异构数据难以实现特征融合。地层纵向结构化数据间存在异质性,运用常规深度学习方法预测核心参数存在较大误差。针对以上问题,提出一种异构异质数据多模态融合算法(Multi-modal fusion algorithm for heterogeneous data,MFH)。首先,设计了异构数据多模态融合策略,实现同一深度标签下的扫描电镜和测井参数数据特征对齐、提取和融合;其次,构建了异质数据特征拉近机制,通过构建正样本对使模型学习到同工区地层间的强异质性以及横向的非线性关系;最后,提出了异构数据特征交换方法,解决了丰富的测井数据与稀少的电镜图片的匹配问题,实现对核心参数精确连续预测。实验结果与主流深度模型预测结果对比,证明了本文方法具有实用性、有效性和可推广性。 展开更多
关键词 多模态融合 特征拉近机制 异构数据 异质性 注意力机制
在线阅读 下载PDF
阿尔茨海默病辅助诊断的多模态数据融合轻量级网络
6
作者 王光明 柏正尧 +1 位作者 宋帅 徐月娥 《浙江大学学报(工学版)》 北大核心 2025年第1期39-48,共10页
单模态阿尔茨海默病辅助诊断方法缺少专业标注的影像数据,特征提取不稳定且要求高计算能力,为此融合核磁成像、正电子发射断层扫描影像数据和精神认知评分数据,提出多模态轻量级阿尔茨海默病辅助诊断网络(LightMoDAD).在影像特征提取模... 单模态阿尔茨海默病辅助诊断方法缺少专业标注的影像数据,特征提取不稳定且要求高计算能力,为此融合核磁成像、正电子发射断层扫描影像数据和精神认知评分数据,提出多模态轻量级阿尔茨海默病辅助诊断网络(LightMoDAD).在影像特征提取模块中,去冗余卷积以提取局部特征,引入全局滤波用于提取全局特征,通过配准并相加实现多模态影像特征融合.在文本特征提取模块中,由可分离深度卷积提取精神认知评分数据特征与多模态影像特征融合,通过迁移学习增强特征判别性.采用多层感知器识别复杂的模式和特征,提高所提网络的分类准确率.在ADNI数据库中开展有效性验证实验,LightMoDAD的分类准确率、敏感性和特异性分别为0.980、0.985和0.975.实验结果表明,所提网络有助于提高医生诊断效率,具有移动端部署潜力. 展开更多
关键词 阿尔茨海默病 多模态数据 轻量级网络 融合算法 迁移学习
在线阅读 下载PDF
基于多数据融合和自适应加权混合损失函数约束的地震波初至智能拾取方法
7
作者 赵军才 马江涛 +3 位作者 刘洋 王宁 胡亚东 谭勇 《石油物探》 北大核心 2025年第4期691-700,共10页
初至拾取是地震数据处理的关键环节之一,其拾取精度直接影响速度模型的构建及静校正效果。常规基于卷积神经网络的初至拾取方法虽然效果显著,但在黄土塬等复杂地表地区,由于初至波能量弱、背景噪声强等因素影响,拾取效果往往不佳。为此... 初至拾取是地震数据处理的关键环节之一,其拾取精度直接影响速度模型的构建及静校正效果。常规基于卷积神经网络的初至拾取方法虽然效果显著,但在黄土塬等复杂地表地区,由于初至波能量弱、背景噪声强等因素影响,拾取效果往往不佳。为此,提出了一种基于多数据融合和自适应加权混合损失函数约束的深度学习初至拾取方法。首先,将地震记录、偏移距和高程信息进行融合,构建多数据融合模型,提升方法的鲁棒性;然后,通过自适应加权策略优化多个损失函数的组合,构建自适应加权混合损失函数来有效约束模型的训练过程,进而提升模型的初至拾取精度。实际地震数据测试结果表明,在复杂地质条件下的弱初至、强噪声情况下,所提出的初至拾取方法较常用的长/短时窗均值比方法和地震图像深度语义分割方法(简称分割方法)具有更好的拾取效果和更强的抗噪性能,测试结果验证了方法的有效性和鲁棒性。 展开更多
关键词 初至拾取 卷积神经网络 数据融合 自适应加权混合损失函数
在线阅读 下载PDF
基于深度学习与D-S理论的多模态数据特征融合算法
8
作者 张燕 《吉林大学学报(理学版)》 北大核心 2025年第3期855-860,共6页
针对传统多模态数据特征融合算法存在融合效果较差的问题,提出一种基于深度学习与D-S(Dempster-Shafer)理论的多模态数据特征融合算法.首先,在深度学习框架内,采用受限Boltzmann机(RBM)对多模态数据进行训练,根据数据的特性和任务需求,... 针对传统多模态数据特征融合算法存在融合效果较差的问题,提出一种基于深度学习与D-S(Dempster-Shafer)理论的多模态数据特征融合算法.首先,在深度学习框架内,采用受限Boltzmann机(RBM)对多模态数据进行训练,根据数据的特性和任务需求,构建RBM模型结构进行多模态数据特征选择.其次,根据选取的特征选择计算同类模态数据之间的距离,确定信任函数,并设定阈值以删除异常数据,实现同类模态数据初步融合.最后,通过计算异类模态数据与不同等级特征之间的距离,确定异类数据的信任函数,结合D-S理论实现多模态数据特征融合.实验结果表明,该算法的纯度最高达1.0,标准化互信息最高达0.3,表明该算法可以获取精准的多模态数据特征融合结果. 展开更多
关键词 深度学习 D-S理论 多模态数据特征 融合
在线阅读 下载PDF
基于多模态数据的注意特征融合姿态估计网络
9
作者 赵云涛 邓新辉 《液晶与显示》 北大核心 2025年第4期598-606,共9页
兼顾准确性与适用性的6D姿态估计一直是研究热点和难点。本文提出了一种基于多模态数据的注意特征融合的6D姿态估计网络。首先,引入了更深层次的挤压激励模块结构,通过调整各通道的权重来增强依赖性扩大感受野,提升处理RGB图像特征的效... 兼顾准确性与适用性的6D姿态估计一直是研究热点和难点。本文提出了一种基于多模态数据的注意特征融合的6D姿态估计网络。首先,引入了更深层次的挤压激励模块结构,通过调整各通道的权重来增强依赖性扩大感受野,提升处理RGB图像特征的效果。进一步,针对多模态数据,在特征融合阶段部署迭代注意特征融合模块,通过多次迭代融合操作解决全局特征融合中的尺度不一致问题,能够更准确地捕捉和整合多模态数据,显著改善了姿态回归的效果。最后,为了量化评估模型在复杂环境下的鲁棒性和适用性,引入了不可见百分比指标,该指标能够评估模型在处理部分遮挡或复杂背景时的性能。通过在公开数据集上的姿态预测实验,验证了改进后模型不仅能够在验证数据集上实现了准确的预测姿态,而且相较于Densefusion模型,本文提出的算法模型在复杂环境下更具适用性。 展开更多
关键词 6D姿态估计 多模态数据 注意特征融合 不可见百分比
在线阅读 下载PDF
多模态数据融合的加工作业动态手势识别方法 被引量:3
10
作者 张富强 曾夏 +1 位作者 白筠妍 丁凯 《郑州大学学报(工学版)》 CAS 北大核心 2024年第5期30-36,共7页
为了解决单模态数据所提供的特征信息缺乏而导致的识别准确率难以提高、模型鲁棒性较低等问题,提出了面向人机交互的加工作业多模态数据融合动态手势识别策略。首先,采用C3D网络模型并在视频的空间维度和时间维度对深度图像和彩色图像... 为了解决单模态数据所提供的特征信息缺乏而导致的识别准确率难以提高、模型鲁棒性较低等问题,提出了面向人机交互的加工作业多模态数据融合动态手势识别策略。首先,采用C3D网络模型并在视频的空间维度和时间维度对深度图像和彩色图像两种模态数据进行特征提取;其次,将两种模态数据识别结果在决策层按最大值规则进行融合,同时,将原模型使用的Relu激活函数替换为Mish激活函数优化梯度特性;最后,通过3组对比实验得到6种动态手势的平均识别准确率为96.8%。结果表明:所提方法实现了加工作业中动态手势识别的高准确率和高鲁棒性的目标,对人机交互技术在实际生产场景中的应用起到推动作用。 展开更多
关键词 多模态数据融合 加工作业 动态手势识别 C3D Mish激活函数 人机交互
在线阅读 下载PDF
基于多模态数据融合与机器学习的高价值专利早期识别方法 被引量:5
11
作者 李欣 李悦 +1 位作者 冯野 高宁 《情报杂志》 CSSCI 北大核心 2024年第6期134-144,共11页
[研究目的]如何构建有效的高价值专利识别方法,从海量的专利中识别出高价值专利,对于高价值专利的培育、运用、保护和管理具有重要意义。[研究方法]提出一种基于多模态数据融合与机器学习的高价值专利早期识别方法。首先,利用多模态融... [研究目的]如何构建有效的高价值专利识别方法,从海量的专利中识别出高价值专利,对于高价值专利的培育、运用、保护和管理具有重要意义。[研究方法]提出一种基于多模态数据融合与机器学习的高价值专利早期识别方法。首先,利用多模态融合方法对专利指标数据和文本数据两种模态数据进行融合;其次,利用基于机器学习的生存预测算法对历史已知的高价值专利进行分析,并获取高价值专利融合后的特征与其“高价值”之间的关联模式;最后,利用获取到的关联模式,对新公开专利的“价值”进行预判,从而实现对高价值专利的早期识别。[研究结论]以人工智能领域专利为例进行实证研究,验证了该方法的可行性和有效性,为高价值专利早期识别提供了新的研究方法。 展开更多
关键词 多模态数据融合 高价值专利 专利评估 生存预测算法 机器学习 早期识别 人工智能
在线阅读 下载PDF
基于互信息自适应的多模态实体对齐方法 被引量:1
12
作者 高永杰 党建武 +1 位作者 张希权 郑爱国 《计算机应用研究》 北大核心 2025年第1期106-110,共5页
多模态实体对齐是知识融合过程中的关键一步,但异构的多模态知识图谱拥有较大的结构差异性,并且其多模态信息存在不完全性,利用当前的多模态实体对齐方法无法取得较好的对齐效果。针对上述问题,提出了基于互信息自适应的多模态实体对齐... 多模态实体对齐是知识融合过程中的关键一步,但异构的多模态知识图谱拥有较大的结构差异性,并且其多模态信息存在不完全性,利用当前的多模态实体对齐方法无法取得较好的对齐效果。针对上述问题,提出了基于互信息自适应的多模态实体对齐方法。一方面通过设计自适应融合机制来减小模态差异以及依据模态信息的贡献程度动态分配权重,另一方面引入互信息作为附加特征来强化实体的特征表示,最后利用实体相似度计算来进行实体对齐。实验表明,在5个通用的数据集上,MAMEA相较于当前基线模型,指标hits@1最大可提升1.8%,最小可提升1.4%,指标MRR最大可提升1.4%,最小可提升0.8%,证明了该模型可有效地提升多模态实体对齐的效果。 展开更多
关键词 多模态知识图谱 实体对齐 自适应特征融合 对比表示学习 互信息
在线阅读 下载PDF
基于自适应权值融合的多模态情感分析方法 被引量:1
13
作者 罗渊贻 吴锐 +1 位作者 刘家锋 唐降龙 《软件学报》 EI CSCD 北大核心 2024年第10期4781-4793,共13页
多模态情感分析是利用多种模态的主观信息对情感进行分析的一种多模态任务,探索模态间的有效交互是多模态分析中的一项重要研究.在最近的研究中发现,由于模态的学习速率不平衡,导致单个模态收敛时,其余模态仍处于欠拟合的状态,进而削弱... 多模态情感分析是利用多种模态的主观信息对情感进行分析的一种多模态任务,探索模态间的有效交互是多模态分析中的一项重要研究.在最近的研究中发现,由于模态的学习速率不平衡,导致单个模态收敛时,其余模态仍处于欠拟合的状态,进而削弱了多模态协同决策的效果.为了能更有效地将多种模态结合,学习到更具有表达力的情感特征表示,提出一种基于自适应权值融合的多模态情感分析方法.所提方法分为两个阶段:第1个阶段是根据不同模态的学习梯度差异自适应地改变单模态特征表示的融合权值,实现动态调整模态学习速率的目的,把该阶段称为B融合(balanced fusion).第2个阶段是为了消除B融合的融合权值对任务分析的影响,提出模态注意力探究模态对任务的贡献,并根据贡献为各模态分配权重,把该阶段称为A融合(attention fusion).用于情感分析的多模态表示由B融合和A融合的结果共同组成.实验结果显示,将B融合方法引入现有的多模态情感分析方法中,能够有效提升现有方法对情感分析任务的分析准确度;消融实验结果显示,在B融合的基础上增加A融合方法能有效减小B融合权重对任务的影响,有利于提升情感分析任务的准确度.与现有的多模态情感分析模型相比,所提方法结构更简单、运算时间更少,且任务准确率优于对比模型,表明所提方法在多模态情感分析任务中的高效性和优异性能. 展开更多
关键词 多模态情感分析 学习平衡 多模态融合 自适应学习
在线阅读 下载PDF
基于多模态自适应融合的短视频虚假新闻检测 被引量:1
14
作者 朱枫 张廷辉 +1 位作者 李鹏 徐鹤 《计算机科学》 CSCD 北大核心 2024年第11期39-46,共8页
随着互联网和社交媒体的迅速发展,新闻的传播途径不再局限于传统的媒体渠道。语义丰富的多模态数据成为新闻的载体,虚假新闻也随之得到了广泛的传播。由于虚假新闻的泛滥会对个人以及社会产生难以预估的影响,针对虚假新闻的检测已经成... 随着互联网和社交媒体的迅速发展,新闻的传播途径不再局限于传统的媒体渠道。语义丰富的多模态数据成为新闻的载体,虚假新闻也随之得到了广泛的传播。由于虚假新闻的泛滥会对个人以及社会产生难以预估的影响,针对虚假新闻的检测已经成为目前的研究热点。现有的多模态虚假新闻检测方法仅针对文本和图像数据,无法充分利用短视频中的多模态信息,且忽略了不同模态间的一致性和差异性特征,难以充分发挥多种模态融合的优势。为解决该问题,提出一种基于多模态自适应融合的短视频虚假新闻检测模型。首先对短视频中多模态数据进行特征提取,采用跨模态对齐融合获取不同模态间的一致性和互补性特征;然后根据不同模态特征对最终融合结果的贡献实现自适应融合;最后利用分类器实现虚假新闻检测。在公开的短视频数据集上的实验结果表明,该模型的准确率、精确率、召回率和F1分数都高于当前的先进基线模型。 展开更多
关键词 虚假新闻检测 多模态 短视频 模态融合 自适应融合
在线阅读 下载PDF
基于自适应时间窗的数据-模型融合驱动暂态频率预测 被引量:4
15
作者 邓贤哲 姚伟 +4 位作者 黄伟 翟苏巍 郑超 李文云 文劲宇 《电网技术》 EI CSCD 北大核心 2024年第4期1551-1562,I0049,I0050,共14页
新能源大规模并网使得新型电力系统的暂态频率响应特征更加复杂,现有频率在线预测方法难以兼顾准确性和及时性。基于此,提出基于自适应时间窗的数据-模型融合驱动暂态频率预测方法。首先,基于长短期记忆网络,离线训练多个具有不同长度... 新能源大规模并网使得新型电力系统的暂态频率响应特征更加复杂,现有频率在线预测方法难以兼顾准确性和及时性。基于此,提出基于自适应时间窗的数据-模型融合驱动暂态频率预测方法。首先,基于长短期记忆网络,离线训练多个具有不同长度时序数据输入的频率曲线循环预测模型;其次,利用参数辨识方法离线建立各发电集群的通用等值频率响应模型,在此基础上构建系统有功-频率物理机理快速分析模型;最后,串行融合前述频率曲线循环预测模型与有功-频率物理机理快速分析模型,并提出“可信度量化评估指标”,实时分析在线预测过程中不同评估时刻下预测结果的精度,自适应调整输入时序数据长度,直至预测结果满足要求并输出。含风电的IEEE39节点系统的仿真结果表明,所提方法在不同风电渗透率或不同扰动下均能快速、准确地预测暂态频率响应曲线,相较于其他在线预测方法具有更优的评估性能。 展开更多
关键词 数据-模型融合驱动 自适应时间窗预测 暂态频率预测 广域量测技术
在线阅读 下载PDF
面向施工机器人定位的多模态数据融合方法研究综述 被引量:5
16
作者 李佳益 马智亮 +1 位作者 陈礼杰 季鑫霖 《计算机工程与应用》 CSCD 北大核心 2024年第15期11-23,共13页
施工机器人的定位数据源种类繁多,融合多模态数据不仅有助于提升建筑项目中施工机器人的定位性能,同时也方便施工机器人的协同作业。数据融合方法旨在通过不同数据源的优势互补,改进数据采集及处理方法等,实现施工机器人的定位和数据共... 施工机器人的定位数据源种类繁多,融合多模态数据不仅有助于提升建筑项目中施工机器人的定位性能,同时也方便施工机器人的协同作业。数据融合方法旨在通过不同数据源的优势互补,改进数据采集及处理方法等,实现施工机器人的定位和数据共享,支持施工机器人定位精度、实时性或鲁棒性等的提高,从而提高整体建筑施工效率和项目管理水平。已有不少针对特定场景探索施工机器人定位的数据融合方法相关研究成果,但尚无针对施工机器人定位的数据融合方法相关研究综述。经系统的检索,首先,按照是否与先验数据融合,将其分为先验数据与传感器实时数据融合和多种传感器数据融合两类进行分析;然后,对数据融合方法进行对比分析;最后,总结和展望了施工机器人多模态数据融合方法的未来研究方向。从研究结果分析,现阶段已有的研究成果中,施工机器人定位的数据源选择差异性较大,定位效果差异也很大。该综述可为相关领域的进一步研究提供参考。 展开更多
关键词 施工机器人 定位 数据融合方法 多模态数据
在线阅读 下载PDF
无人机遥感与地面观测的多模态数据融合反演水稻氮含量 被引量:4
17
作者 王宇唯 马旭 +5 位作者 谭穗妍 贾兴娜 陈嘉盈 秦亦娟 胡希红 郑惠文 《农业工程学报》 EI CAS CSCD 北大核心 2024年第18期100-109,共10页
准确监测水稻田间生长过程中的氮含量,保证按需高效施肥,对提高水稻产量和肥效利用率具有重要意义。该研究基于无人机遥感与地面观测的多模态数据融合构建了水稻拔节后期叶片(leaf nitrogen content,LNC)和植株氮含量(plant nitrogen co... 准确监测水稻田间生长过程中的氮含量,保证按需高效施肥,对提高水稻产量和肥效利用率具有重要意义。该研究基于无人机遥感与地面观测的多模态数据融合构建了水稻拔节后期叶片(leaf nitrogen content,LNC)和植株氮含量(plant nitrogen content,PNC)反演模型,显著提高反演水稻氮含量的准确性。通过2021和2022年开展两次田间试验,利用无人机搭载多光谱和RGB相机在拔节后期获取稻田冠层遥感影像;从多光谱影像中提取植被指数(vegetation index,VI)和纹理特征值(texture feature value,TFV),TFV使用灰度共生矩阵方法提取,对TFVs进行组合构建纹理指数(texture index,TI);使用RGB影像结合地面参考法获取各小区估测冠层高度(estimating canopy height,ECH);人工收集各小区实测冠层高度及田间氮素管理数据(field nitrogen management data,FN)作为地面观测数据;使用凯氏定氮法获取水稻LNC和PNC;采用最大互信息系数评估和筛选特征;使用随机森林回归算法分别构建水稻LNC和PNC反演模型。结果表明:使用TFVs组合构建的TIs能显著提升纹理信息与LNC和PNC的相关性,当无人机飞行高度为100 m时,灰度共生矩阵的滑动窗口尺寸为9×9(像素)时构建的比值纹理指数表现最优,相比最优TFV,MIC值均提升了11.48%;从遥感影像提取的估测冠层高度具有较高的估测精度,决定系数(coefficient of determination,R^(2))、均方根误差(root mean squared error,RMSE)和平均绝对误差(mean absolute error,MAE)分别为0.77、3.4 cm和2.8 cm;无人机遥感与地面观测的多模态数据融合可显著提升LNC和PNC的反演精度,综合考虑反演精度和实际操作的便捷性,推荐田间生产中使用特征组合为:VI+TI+ECH+FN。研究结果表明,无人机遥感与地面观测的多模态数据融合构建随机森林回归模型可准确反演水稻氮含量,可为水稻田间管理和施肥决策提供科学依据。 展开更多
关键词 无人机 遥感 地面观测 多模态数据 融合 水稻氮含量
在线阅读 下载PDF
利用深度学习与数据融合的结构损伤识别方法 被引量:2
18
作者 李晨阳 刘浩铭 周博文 《重庆理工大学学报(自然科学)》 北大核心 2025年第1期155-162,共8页
为实现高准确率、智能化的结构损伤识别,将模态频率应变能基指标以及曲率模态差作为损伤识别评价指标,并利用卷积神经网络将二者融合进行损伤识别。以简支梁为实验对象,通过ANSYS仿真模拟不同损伤工况,提取特征数据进行训练。仿真实验... 为实现高准确率、智能化的结构损伤识别,将模态频率应变能基指标以及曲率模态差作为损伤识别评价指标,并利用卷积神经网络将二者融合进行损伤识别。以简支梁为实验对象,通过ANSYS仿真模拟不同损伤工况,提取特征数据进行训练。仿真实验包括单位置损伤、多位置损伤以及多程度损伤的工况。这2种指标均能够对损伤位置以及损伤程度进行有效识别,并且将2种信号进行特征级融合时,损伤识别的准确率有了进一步提高。以模态频率应变能基指标和曲率模态差为损伤识别指标,利用深度学习和数据融合方法为结构健康监测提供了一种有效的新途径。 展开更多
关键词 模态频率应变能基指标 曲率模态 数据融合 仿真模拟
在线阅读 下载PDF
结合数据增强与特征融合的跨模态行人重识别 被引量:3
19
作者 宋雨 王帮海 曹钢钢 《计算机工程与应用》 CSCD 北大核心 2024年第4期133-141,共9页
可见光-红外行人重识别问题的难点在于图像间模态差异大,大多数现有的方法通过生成对抗网络生成伪图像或提取原始图像上的模态共享特征来缓解模态差异。然而,训练生成对抗网络需要消耗大量的计算资源且生成的伪图像容易引入噪声,提取模... 可见光-红外行人重识别问题的难点在于图像间模态差异大,大多数现有的方法通过生成对抗网络生成伪图像或提取原始图像上的模态共享特征来缓解模态差异。然而,训练生成对抗网络需要消耗大量的计算资源且生成的伪图像容易引入噪声,提取模态共享特征也会不可避免地导致与行人身份相关的重要判别特征丢失。针对以上问题,提出新的跨模态行人重识别网络。首先将进行自动数据增强后的训练数据集作为网络输入,提高模型的鲁棒性;然后在网络中引入实例正则化来缩小模态差异;最后将网络各层提取到的不同尺度的行人特征进行有机融合,融合后的特征包含更多与行人身份相关的判别特征。该方法在SYSU-MM01数据集的全局搜索模式下Rank-1/mAP分别达到69.47%/65.05%,在RegDB数据集的可见光到红外模式下Rank-1/mAP分别达到85.73%/77.77%,实验结果获得显著提升。 展开更多
关键词 模态 行人重识别 自动数据增强 特征融合
在线阅读 下载PDF
基于样本内外协同表示和自适应融合的多模态学习方法 被引量:1
20
作者 黄学坚 马廷淮 王根生 《计算机研究与发展》 EI CSCD 北大核心 2024年第5期1310-1324,共15页
多模态机器学习是一种新的人工智能范式,结合各种模态和智能处理算法以实现更高的性能.多模态表示和多模态融合是多模态机器学习的2个关键任务.目前,多模态表示方法很少考虑样本间的协同,导致特征表示缺乏鲁棒性,大部分多模态特征融合... 多模态机器学习是一种新的人工智能范式,结合各种模态和智能处理算法以实现更高的性能.多模态表示和多模态融合是多模态机器学习的2个关键任务.目前,多模态表示方法很少考虑样本间的协同,导致特征表示缺乏鲁棒性,大部分多模态特征融合方法对噪声数据敏感.因此,在多模态表示方面,为了充分学习模态内和模态间的交互,提升特征表示的鲁棒性,提出一种基于样本内和样本间多模态协同的表示方法.首先,分别基于预训练的BERT,Wav2vec 2.0,Faster R-CNN提取文本特征、语音特征和视觉特征;其次,针对多模态数据的互补性和一致性,构建模态特定和模态共用2类编码器,分别学习模态特有和共享2种特征表示;然后,利用中心矩差异和正交性构建样本内协同损失函数,采用对比学习构建样本间协同损失函数;最后,基于样本内协同误差、样本间协同误差和样本重构误差设计表示学习函数.在多模态融合方面,针对每种模态可能在不同时刻表现出不同作用类型和不同级别的噪声,设计一种基于注意力机制和门控神经网络的自适应的多模态特征融合方法.在多模态意图识别数据集MIntRec和情感数据集CMU-MOSI,CMU-MOSEI上的实验结果表明,该多模态学习方法在多个评价指标上优于基线方法. 展开更多
关键词 多模态表示 多模态融合 多模态学习 协同表示 自适应融合
在线阅读 下载PDF
上一页 1 2 18 下一页 到第
使用帮助 返回顶部