期刊文献+
共找到33篇文章
< 1 2 >
每页显示 20 50 100
基于多模态信息融合的麦田杂草检测与管理系统设计与开发
1
作者 徐可 谢奇 +3 位作者 宋明翰 曹卫星 朱艳 倪军 《农业工程学报》 北大核心 2025年第8期175-182,共8页
为了实现麦田杂草的精确管理,需要精准检测杂草并生成空间分布信息和管理处方。该文设计与开发了一种基于多模态融合的麦田杂草检测系统,通过多模态信息融合方法实现多种类杂草特别是与小麦外形相似的禾本科杂草的准确检测,构建杂草指... 为了实现麦田杂草的精确管理,需要精准检测杂草并生成空间分布信息和管理处方。该文设计与开发了一种基于多模态融合的麦田杂草检测系统,通过多模态信息融合方法实现多种类杂草特别是与小麦外形相似的禾本科杂草的准确检测,构建杂草指数同时生成不同种类的杂草分布,可视化田间杂草的发生情况,以植保机械的施药面积和作业次数为限定条件,建立了面向除草机具的包含施药面积和施药量的杂草管理处方图。田间测试结果显示,基于多模态信息融合的麦田杂草检测模型能够有效提升杂草的检测精度,相较于单一模态的RGB图像,禾本科杂草检测精度提升了13.1%。软件的性能和功能测试结果显示,系统能够在多平台上稳定运行,实时、准确地实现不同种类的杂草检测,并生成决策信息。该文提出的基于多模态信息融合的麦田杂草检测系统能够为精确除草系统提供技术支撑。 展开更多
关键词 小麦 杂草检测 多模态信息融合 杂草管理系统
在线阅读 下载PDF
基于多模态信息融合的皮蛋溏心沙心分类方法
2
作者 汤文权 王巧华 +2 位作者 张浩 杨烝 范维 《农业机械学报》 北大核心 2025年第1期92-101,共10页
溏心皮蛋与沙心皮蛋有着各自的口感和味道,均有各自受众,目前只能根据腌制时间来判断是溏心皮蛋还是沙心皮蛋,而这种方法不仅需要丰富的经验且误判比例较高。为了解决这一问题,本文设计了皮蛋红外图像和可见/近红外光谱采集装置,以及配... 溏心皮蛋与沙心皮蛋有着各自的口感和味道,均有各自受众,目前只能根据腌制时间来判断是溏心皮蛋还是沙心皮蛋,而这种方法不仅需要丰富的经验且误判比例较高。为了解决这一问题,本文设计了皮蛋红外图像和可见/近红外光谱采集装置,以及配套的溏心皮蛋和沙心皮蛋的分类模型。根据采集到的红外图像数据,在ResNet18网络添加MLCA(Mixed local channel attention)模块,得到的改进模型ResNet_MLCA实现了溏心皮蛋和沙心皮蛋的分类,准确率为95.0%。根据采集到的可见/近红外光谱数据,基于一维卷积设计了一维残差模块用于可见/近红外光谱数据的特征提取和分类,其对溏心皮蛋和沙心皮蛋分类准确率也达到95.0%。为了进一步提高模型检测准确率,将ResNet_MLCA模型所提取的红外图像特征和1D_ResNet所提取的可见/近红外光谱特征进行融合,得到的融合模型ResNet_OP对溏心皮蛋和沙心皮蛋分类准确率达到98.3%。研究成果提供了一种更低计算成本、更高准确率的溏心皮蛋和沙心皮蛋分类模型,对于指导皮蛋生产和提升皮蛋品质具有重要意义。 展开更多
关键词 皮蛋 多模态信息融合 ResNet 红外图像 可见/近红外光谱 溏心沙心
在线阅读 下载PDF
基于多模态信息融合的中文拼写纠错算法
3
作者 张庆 杨凡 方宇涵 《计算机应用》 北大核心 2025年第5期1528-1534,共7页
中文拼写纠错(CSC)的目标是检测和修正用户输入中文文本中的字或词级别的错误,这些错误通常是由于汉字之间的语义、字音或字形相似而导致的误用。然而,现有模型通常忽略了局部信息,无法充分捕捉不同汉字之间的字音和字形相似性,也无法... 中文拼写纠错(CSC)的目标是检测和修正用户输入中文文本中的字或词级别的错误,这些错误通常是由于汉字之间的语义、字音或字形相似而导致的误用。然而,现有模型通常忽略了局部信息,无法充分捕捉不同汉字之间的字音和字形相似性,也无法有效地将这些信息与语义信息结合起来。为了解决这些问题,提出一种基于多模态信息融合的CSC算法PWSpell。该算法利用卷积注意力机制关注局部语义信息,利用拼音编码捕捉汉字之间的字音相似关系,并首次将五笔编码引入CSC领域,用于捕捉汉字之间的字形相似关系。此外,将这2种相似关系与经过BERT(Bidirectional Encoder Representation from Transformers)处理的语义信息进行选择性融合。实验结果表明,PWSpell在SIGHAN 2015测试集的检测级指标上准确率、精确率、F1值以及校正级指标精确率、F1值上均有提升,其中校正级的精确率至少提升了1个百分点;消融实验结果也验证了算法中各个模块的设计都能有效提升模型的性能。 展开更多
关键词 中文自然语言处理 中文拼写纠错 BERT 多模态信息融合 局部信息
在线阅读 下载PDF
基于多模态信息融合的矿井辅助运输机器人自主导航方法
4
作者 栾婧 单敬福 魏力 《金属矿山》 北大核心 2025年第4期211-218,共8页
随着矿山智能化建设的不断推进,机器人技术与无人驾驶技术成为智慧矿山系统发展的热点问题。辅助运输机器人作为煤矿井下运输环节的重要组成部分,其自主导航性能受到井下巷道复杂环境特征的严重影响。针对辅助运输机器人的复杂工况,提... 随着矿山智能化建设的不断推进,机器人技术与无人驾驶技术成为智慧矿山系统发展的热点问题。辅助运输机器人作为煤矿井下运输环节的重要组成部分,其自主导航性能受到井下巷道复杂环境特征的严重影响。针对辅助运输机器人的复杂工况,提出一种基于多模态信息融合的自主导航方法。集成激光雷达、RGB-D深度相机、IMU等多类型传感器,融合点云数据、图像数据、位姿数据等多模态信息,基于Rtabmap算法实现高精度定位与建图,为机器人提供更全面、更准确的环境感知数据。构建高精度、高真实性地图,提高井下巷道环境中的定位准确性。基于指数加权改进A^(*)算法以提高路径搜索效率,与传统算法相比搜索时间缩短约50%。并通过引入二阶贝塞尔曲线平滑路径,有效提高机器人的行驶效率。试验结果表明,辅助运输机器人的运输效率提升24.91%,且安全性能更佳。研究结果为煤矿井下机器人自主导航技术开发及应用提供了理论参考。 展开更多
关键词 辅助运输机器人 多模态信息融合 定位与建图 路径规划
在线阅读 下载PDF
多模态信息融合舰船目标识别研究进展 被引量:3
5
作者 吴文静 王中训 +1 位作者 但波 邢子杰 《探测与控制学报》 CSCD 北大核心 2024年第2期1-12,共12页
舰船目标识别的信息源主要来自现代高分辨率成像雷达形成的舰船目标信息,包括高分辨距离像、船舶自动识别系统信息以及合成孔径雷达成像。在对海探测环境相对复杂的情况下,基于单模态信息对海上舰船目标识别的能力有限,而利用多模态信... 舰船目标识别的信息源主要来自现代高分辨率成像雷达形成的舰船目标信息,包括高分辨距离像、船舶自动识别系统信息以及合成孔径雷达成像。在对海探测环境相对复杂的情况下,基于单模态信息对海上舰船目标识别的能力有限,而利用多模态信息融合将更有益于实现对海上目标高效的侦察监视和识别。首先,对单模态舰船目标识别方法进行梳理和总结,分析目前不同舰船目标识别方法存在的优势和不足;然后对多模态信息融合舰船目标识别常用数据集进行介绍,并对新方法、新模型进行了深入分析;最后对舰船目标识别未来发展趋势进行展望,为后续基于多模态信息融合的舰船目标识别方法研究提供参考。 展开更多
关键词 高分辨距离像 船舶自动识别系统 合成孔径雷达 多模态信息融合 舰船目标识别
在线阅读 下载PDF
基于多模态信息融合的变压器在线故障诊断方法 被引量:7
6
作者 邢致恺 何怡刚 姚其新 《电子测量与仪器学报》 CSCD 北大核心 2024年第9期95-103,共9页
针对变压器的多模态数据中存在差异性和样本缺失的问题,提出了一种基于振动信号和红外图像数据的多模态信息融合方法,分析多模态数据对电力变压器故障状态进行有效、快速的评估。首先,该方法采用双向门控神经网络对振动信号的文本信息... 针对变压器的多模态数据中存在差异性和样本缺失的问题,提出了一种基于振动信号和红外图像数据的多模态信息融合方法,分析多模态数据对电力变压器故障状态进行有效、快速的评估。首先,该方法采用双向门控神经网络对振动信号的文本信息、振动信号的频域图和变压器的红外图像分别进行特征提取,并获得不同模态的重要特征向量。然后,使用交叉注意力机制建立不同模态之间的联系并进行特征向量融合。最后,通过卷积层和全链接层输出电力变压器的故障状态。实验数据采集于10 kV变压器,含振动信号和变压器的红外图像。实验结果表明,提出的多模态信息融合方法在4种评价指标上优于对比方法,其故障诊断准确率为96%。在不同的电压和电流等级下多模态信息融合方法能获得较为可靠的诊断结果且准确率高,可为变压器多模态数据的故障检测提供方法。 展开更多
关键词 故障诊断 电力变压器 多模态信息融合 深度学习神经网络
在线阅读 下载PDF
基于水下无线传感器阵列网络多模态信息融合的目标定位 被引量:11
7
作者 金磊磊 梁红 马艳 《西北工业大学学报》 EI CAS CSCD 北大核心 2017年第6期1020-1025,共6页
为了进一步提高海洋环境下无线传感器阵列网络(UWSAN)对被动目标三维定位的可靠性和定位精度,在推导多节点网络基于到达时间差(TDOA)定位和基于波达方向(DOA)定位的基础上,应用最小二乘原理,提出适用于UWSAN的TDOA-DOA多模态信息融合定... 为了进一步提高海洋环境下无线传感器阵列网络(UWSAN)对被动目标三维定位的可靠性和定位精度,在推导多节点网络基于到达时间差(TDOA)定位和基于波达方向(DOA)定位的基础上,应用最小二乘原理,提出适用于UWSAN的TDOA-DOA多模态信息融合定位算法。通过计算机仿真将该信息融合算法与TDOA方法和DOA方法进行比较,结果表明,相对于单模态信息的定位算法,多模态信息融合算法的定位误差更小,性能更加稳定和可靠,具有实际的应用价值。 展开更多
关键词 传感器阵列网络 到达时间差 波达方向 多节点 三维定位 最小二乘 多模态信息融合 鲁棒控制 目标跟踪
在线阅读 下载PDF
一种多模态信息融合的视频检索模型 被引量:7
8
作者 张静 俞辉 《计算机应用》 CSCD 北大核心 2008年第1期199-201,213,共4页
针对包含复杂语义信息的视频检索的需要,提出了一种基于关系代数的多模态信息融合视频检索模型,该模型充分利用视频包含的文本、图像、高层语义概念等多模态特征,构造了对应于多个视频特征的查询模块,并创新地使用关系代数表达式对查询... 针对包含复杂语义信息的视频检索的需要,提出了一种基于关系代数的多模态信息融合视频检索模型,该模型充分利用视频包含的文本、图像、高层语义概念等多模态特征,构造了对应于多个视频特征的查询模块,并创新地使用关系代数表达式对查询得到的多模态信息进行融合。实验表明,该模型能够充分发挥多模型视频检索及基于关系代数表达式的融合策略在复杂语义视频检索中的优势,得到较好的查询结果。 展开更多
关键词 TRECVID 视频检索 多模态信息融合 关系代数表达式
在线阅读 下载PDF
一种基于多模态信息融合的火车司机疲劳驾驶检测方法 被引量:5
9
作者 李小平 白超 《铁道学报》 EI CAS CSCD 北大核心 2022年第6期56-65,共10页
单一语音或视频特征的火车司机疲劳驾驶检测存在语音噪声干扰大、数据维数高、样本数据非平稳泛化误差以及视频采集角度、光线变化、脸部遮挡等导致疲劳检测误判率较高等问题。针对上述问题,提出一种基于多模态信息融合的火车司机疲劳... 单一语音或视频特征的火车司机疲劳驾驶检测存在语音噪声干扰大、数据维数高、样本数据非平稳泛化误差以及视频采集角度、光线变化、脸部遮挡等导致疲劳检测误判率较高等问题。针对上述问题,提出一种基于多模态信息融合的火车司机疲劳驾驶检测方法,通过机车视频监控系统与呼叫应答装置采集司机视频与语音信号,采用串行结构的stacking集成学习模型实现视频模态与语音模态之间的互补与融合,通过多折交叉验证提高非线性表达能力,降低泛化误差,利用随机子空间算法降低语音特征参数维度,以长短期记忆网络作为初级学习器,以梯度提升决策树作为次级学习器,最终实现司机疲劳状态的精准检测。实验结果表明,该方法疲劳检测正确率达到97.0%,相比采用单一语音特征和视频图像特征的检测方法,正确率分别提高了7.4%和1.17%。 展开更多
关键词 多模态信息融合 疲劳驾驶检测 stacking集成学习 梯度提升决策树
在线阅读 下载PDF
基于多模态信息融合的心理负荷评估 被引量:3
10
作者 郝腾腾 郑欣 +2 位作者 王慧宇 许开立 朱奕嬴 《中国安全生产科学技术》 CAS CSCD 北大核心 2022年第12期12-18,共7页
为了相对稳定地识别人员是否处于心理负荷状态,设计并实施含能材料起爆作业心理负荷诱导试验。首先对心理负荷诱导情况进行判断,然后分别采集27名被试在静息状态和实施含能材料撞击起爆作业状态下的眼动、心率变异性(HRV)和脑电信号(EE... 为了相对稳定地识别人员是否处于心理负荷状态,设计并实施含能材料起爆作业心理负荷诱导试验。首先对心理负荷诱导情况进行判断,然后分别采集27名被试在静息状态和实施含能材料撞击起爆作业状态下的眼动、心率变异性(HRV)和脑电信号(EEG),通过正态性检验和假设检验获得心理负荷表征指标并进行统计功效分析,依据表征指标,采用支持向量机(SVM)和随机森林(RF)算法建立多模态信息融合的心理负荷评估模型,最后采用被试工作特征曲线(ROC曲线)分析各模态组合和分类器的心理负荷识别性能。研究结果表明:双模态(眼动+EEG)下SVM算法和3模态下RF算法评估性能和稳健性较高,多模态信息组合具有优异的识别效果。 展开更多
关键词 心理负荷 眼动 心率变异性(HRV) 脑电信号(EEG) 多模态信息融合 支持向量机(SVM) 随机森林(RF)
在线阅读 下载PDF
在线健康社区医生多模态信息融合对患者决策行为影响研究 被引量:10
11
作者 陈东华 张润彤 《现代情报》 CSSCI 2022年第8期37-49,共13页
[目的/意义]在线健康社区医生文本帖子、语音文章、视频文章、头像等多模态信息对患者用户决策行为的影响机制仍然需要进一步研究。[方法/过程]本文以好大夫在线网站的医生与患者数据为基础,融合平台中医生语音、视频、头像等多模态信... [目的/意义]在线健康社区医生文本帖子、语音文章、视频文章、头像等多模态信息对患者用户决策行为的影响机制仍然需要进一步研究。[方法/过程]本文以好大夫在线网站的医生与患者数据为基础,融合平台中医生语音、视频、头像等多模态信息进行研究,探讨多模态数据驱动下医生与患者在线平台交互的机制。[结果/结论]医生发布的各类多模态信息对其态度、服务和治疗水平的评价具有正向影响,提升患者对医生的好感和付费意愿,也拉近了医生与患者之间的关系。 展开更多
关键词 在线健康社区 多模态信息融合 患者行为 决策支持
在线阅读 下载PDF
基于多模态信息融合的水下移动目标定位 被引量:7
12
作者 刘树东 梁婷蓉 +1 位作者 王燕 张艳 《导航定位学报》 CSCD 2022年第3期14-24,共11页
移动目标的位置和速度估计是水下传感器网络应用的重要内容。针对到达时间差(TDOA)和到达角(AOA)融合只能进行目标位置估计的局限性以及位置估计中遇到的非线性问题,提出了一种多模态信息融合的三步定位方法。该方法在TDOA/AOA基础上,... 移动目标的位置和速度估计是水下传感器网络应用的重要内容。针对到达时间差(TDOA)和到达角(AOA)融合只能进行目标位置估计的局限性以及位置估计中遇到的非线性问题,提出了一种多模态信息融合的三步定位方法。该方法在TDOA/AOA基础上,通过融合到达频差(FDOA)来同时估计运动目标的位置和速度。前两步采用两步加权最小二乘法来估计目标的粗略位置和速度。为了更好地求解非线性定位问题,第三步将定位问题表述为最大似然函数,利用鲸鱼优化算法求解。通过第二步的解,构造鲸鱼优化算法的初始种群,以测量误差方差倒数为算法适应度函数的权重。仿真结果表明,该方法与TDOA定位方法、TDOA/AOA混合定位方法和两步加权最小二乘(TSWLS)算法相比,在位置和速度估计精度和偏差方面均优于上述方法。 展开更多
关键词 多模态信息融合 到达时间差 到达频差 到达角度 三步定位 水下定位
在线阅读 下载PDF
基于多模态信息融合的图像情感标注方法 被引量:4
13
作者 唐智川 刘肖健 +1 位作者 杨红春 卢纯福 《计算机集成制造系统》 EI CSCD 北大核心 2020年第1期134-144,共11页
随着互联网中图像资源的不断增长,情感作为图像的一个重要语义,是人们检索和选择图像的重要依据,因此对于图像进行情感标注显得至关重要。结合脑电信号(EEG)和图像内容,提出了一种基于多模态信息融合的图像情感标注方法。首先,提取EEG... 随着互联网中图像资源的不断增长,情感作为图像的一个重要语义,是人们检索和选择图像的重要依据,因此对于图像进行情感标注显得至关重要。结合脑电信号(EEG)和图像内容,提出了一种基于多模态信息融合的图像情感标注方法。首先,提取EEG频域特征及图像特征(颜色及纹理);其次,结合两者特征信息,基于两种融合策略(特征层和决策层),构建支持向量机分类模型,进行图像情感识别与标注。为了评估方法的有效性,使用国际情绪图片系统公共数据集进行了实验验证。结果表明,提出的多模态信息融合图像情感标注方法优于单独使用EEG或图像内容的标注方法。此外,该成果有助于缩小低层视觉特征和高层情感语义之间的语义鸿沟。 展开更多
关键词 图像情感标注 多模态信息融合 脑电信号 图像内容 国际情绪图片系统
在线阅读 下载PDF
基于多模态信息融合的智能高速铁路旅客运输保障技术研究 被引量:5
14
作者 汪健雄 阎志远 +1 位作者 张瀛丹 李祯怡 《铁道运输与经济》 北大核心 2023年第2期47-53,共7页
2022年北京冬奥会是全球首个三赛区联动的一场冰雪盛会,京张高速铁路作为重要配套工程,研究高质量运输保障技术具有重要意义。以此为背景,提出多模态信息融合应用于铁路票务体系的概念及技术架构;采用定量定性结合方法,基于多模态信息... 2022年北京冬奥会是全球首个三赛区联动的一场冰雪盛会,京张高速铁路作为重要配套工程,研究高质量运输保障技术具有重要意义。以此为背景,提出多模态信息融合应用于铁路票务体系的概念及技术架构;采用定量定性结合方法,基于多模态信息融合理论进行多元运输客流成分分析,提出冬奥会赛时客流预测手段,研究并构建了多元客流高速铁路运输模式匹配、复杂非常态票额及席位管理、列车超停控制与预警的旅客运输保障体系。研究结论及成果为冬奥运输与旅客需求匹配提供了理论支撑,提供了管理精细化、流线不交叉的组织策略,有效降低了疫情扩散风险和社会面疫情管理成本,辅助保障冬奥列车的运输安全,并在冬奥会期间京张高速铁路运营过程中得到验证。 展开更多
关键词 京张高速铁路 多模态信息融合 客流分析 旅客运输保障 北京冬奥会
在线阅读 下载PDF
融合多模态信息与激光雷达的短时路况预测研究
15
作者 焦萍萍 周显春 高华玲 《激光杂志》 北大核心 2025年第5期228-232,共5页
由于受外界环境因素影响,车辆的行驶速度是变化的,因此,不能使用固定短时刻路段上车辆的平均速度进行路况预测,考虑到该问题,提出一种融合多模态信息与激光雷达的短时路况预测方法。根据提取到的激光雷达点云特征,获取二维空间与三维空... 由于受外界环境因素影响,车辆的行驶速度是变化的,因此,不能使用固定短时刻路段上车辆的平均速度进行路况预测,考虑到该问题,提出一种融合多模态信息与激光雷达的短时路况预测方法。根据提取到的激光雷达点云特征,获取二维空间与三维空间对应的图像特征组块。然后将二维空间与三维空间对应的图像特征组块进行拼接融合,将完成多模态信息融合后的特征图输入到三维空间中,当三维和二维区域获取的检测结果均为同一目标,获取多模态融合信息下的目标检测结果。充分考虑车辆行驶速度的变化特点,引入后验概率,将目标检测结果代入至最大后验概率中,并将先验分布以及条件概率进行综合,提取最大联合概率的估计量即为最终预测值。实验结果表明,所提出的方法预测效果良好,其预测结果的均方根误差较小,预测精度较高。 展开更多
关键词 多模态信息融合 激光雷达 路况预测 多目标检测
在线阅读 下载PDF
基于多模态双向信息增强的RGBT跟踪网络
16
作者 赵伟 刘磊 +2 位作者 王鲲鹏 涂铮铮 罗斌 《北京航空航天大学学报》 EI CAS CSCD 北大核心 2024年第2期596-605,共10页
可见光-热红外(RGBT)目标跟踪旨在挖掘可见光和热红外数据的互补优势,实现鲁棒的目标跟踪。目前主流方法通常引入模态权重来实现多模态信息融合,但简单地为各个模态分配权重无法充分挖掘可见光和热红外模态的互补优势。基于此,提出了一... 可见光-热红外(RGBT)目标跟踪旨在挖掘可见光和热红外数据的互补优势,实现鲁棒的目标跟踪。目前主流方法通常引入模态权重来实现多模态信息融合,但简单地为各个模态分配权重无法充分挖掘可见光和热红外模态的互补优势。基于此,提出了一种多模态双向信息增强的RGBT跟踪网络(MBIENet)。设计了一种特征聚合模块,用于聚合模态共享特征和模态特定特征以建模目标外观信息;提出了一种新的多模态双向调制融合模块,可有效融合模态互补信息,减少冗余特征和无用特征对跟踪器的影响;提出了一个轻量化的通道空间注意力模块,可自适应调整不同环境下不同模态的贡献。在GTOT、RGBT234和LasHeR数据集上的实验结果表明:所提跟踪算法的准确率和成功率优于当前主流的跟踪算法。 展开更多
关键词 可见光-热红外 目标跟踪 深度学习 多模态信息融合 多模态信息交互
在线阅读 下载PDF
一种多模态融合的网络视频相关性度量方法 被引量:6
17
作者 温有福 贾彩燕 陈智能 《智能系统学报》 CSCD 北大核心 2016年第3期359-365,共7页
随着网络和多媒体技术的发展,视频分享网站中的网络视频数量呈爆炸式增长。海量视频库中的高精度视频检索、分类、标注等任务成为亟待解决的研究问题。视频间的相关性度量是这些问题所面临的一个共性基础技术。本文从视频视觉内容,视频... 随着网络和多媒体技术的发展,视频分享网站中的网络视频数量呈爆炸式增长。海量视频库中的高精度视频检索、分类、标注等任务成为亟待解决的研究问题。视频间的相关性度量是这些问题所面临的一个共性基础技术。本文从视频视觉内容,视频标题和标签文本,以及视频上传时间、类别、作者3种人与视频交互产生的社会特征等多源异构信息出发,提出一种新颖的多模态融合的网络视频相关性度量方法,并将所获相关性应用到大规模视频检索任务中。You Tube数据上的实验结果显示:相对于传统单一文本特征、单一视觉特征的检索方案,以及文本和视觉特征相融合的检索方案,文本视觉和用户社会特征多模态融合方法表现出更好的性能。 展开更多
关键词 网络视频 海量视频 社会特征 交互 多源异构信息 多模态信息融合 相关性度量 视频检索
在线阅读 下载PDF
基于双融合框架的多模态3D目标检测算法 被引量:5
18
作者 葛同澳 李辉 +2 位作者 郭颖 王俊印 周迪 《电子学报》 EI CAS CSCD 北大核心 2023年第11期3100-3110,共11页
相机和激光雷达多模态融合的3D目标检测可以综合利用两种传感器的优点,提高目标检测的准确度和鲁棒性.然而,由于环境复杂性以及多模态数据间固有的差异性,3D目标检测仍面临着诸多挑战.本文提出了双融合框架的多模态3D目标检测算法.设计... 相机和激光雷达多模态融合的3D目标检测可以综合利用两种传感器的优点,提高目标检测的准确度和鲁棒性.然而,由于环境复杂性以及多模态数据间固有的差异性,3D目标检测仍面临着诸多挑战.本文提出了双融合框架的多模态3D目标检测算法.设计体素级和网格级的双融合框架,有效缓解融合时不同模态数据之间的语义差异;提出ABFF(Adaptive Bird-eye-view Features Fusion)模块,增强算法对小目标特征感知能力;通过体素级全局融合信息指导网格级局部融合,提出基于Transformer的多模态网格特征编码器,充分提取3D检测场景中更丰富的上下文信息,并提升算法运行效率.在KITTI标准数据集上的实验结果表明,提出的3D目标检测算法平均检测精度达78.79%,具有更好的3D目标检测性能. 展开更多
关键词 深度学习 三维目标检测 激光雷达 相机 多模态信息融合
在线阅读 下载PDF
融合多模态信息与激光雷达的短时路况预测研究
19
作者 焦萍萍 周显春 高华玲 《激光杂志》 2025年第5期228-232,共5页
由于受外界环境因素影响,车辆的行驶速度是变化的,因此,不能使用固定短时刻路段上车辆的平均速度进行路况预测,考虑到该问题,提出一种融合多模态信息与激光雷达的短时路况预测方法。根据提取到的激光雷达点云特征,获取二维空间与三维空... 由于受外界环境因素影响,车辆的行驶速度是变化的,因此,不能使用固定短时刻路段上车辆的平均速度进行路况预测,考虑到该问题,提出一种融合多模态信息与激光雷达的短时路况预测方法。根据提取到的激光雷达点云特征,获取二维空间与三维空间对应的图像特征组块。然后将二维空间与三维空间对应的图像特征组块进行拼接融合,将完成多模态信息融合后的特征图输入到三维空间中,当三维和二维区域获取的检测结果均为同一目标,获取多模态融合信息下的目标检测结果。充分考虑车辆行驶速度的变化特点,引入后验概率,将目标检测结果代入至最大后验概率中,并将先验分布以及条件概率进行综合,提取最大联合概率的估计量即为最终预测值。实验结果表明,所提出的方法预测效果良好,其预测结果的均方根误差较小,预测精度较高。 展开更多
关键词 多模态信息融合 激光雷达 路况预测 多目标检测
在线阅读 下载PDF
自动投饵技术在水产养殖中的应用进展
20
作者 韩欣冉 李子牛 张胜茂 《渔业信息与战略》 2025年第2期98-109,共12页
智能化水产养殖是现代水产养殖的重要发展方向,投饵技术对养殖效率和环境可持续性具有关键影响。传统人工投饵方式存在饲料浪费、水质污染等问题,自动投饵技术通过集成传感器、计算机视觉、声信号分析和多模态信息融合,实现精准投饵,提... 智能化水产养殖是现代水产养殖的重要发展方向,投饵技术对养殖效率和环境可持续性具有关键影响。传统人工投饵方式存在饲料浪费、水质污染等问题,自动投饵技术通过集成传感器、计算机视觉、声信号分析和多模态信息融合,实现精准投饵,提高饲料利用率并优化水环境。近年来,水产养殖自动投饵技术研究取得一定的成果,但由于环境复杂、鱼群行为多变等不确定因素,实现精准投饵还面临挑战。介绍了自动投饵技术的研究进展,重点探讨传感器监测、图像识别、声信号监测、多模态信息融合等核心技术,并深入分析了自动投饵系统在数据采集、处理与决策方面的关键环节。此外,对自动投饵系统的组成结构进行了介绍,包括自动上料输送系统、自动下料抛撒系统和集中控制系统,讨论了不同技术路径的优势与不足。最后,分析了当前技术面临的普适性、智能化程度和系统集成等挑战,并展望了未来自动投饵系统在智能化、精准化和数据驱动决策方面的发展趋势,以期推动水产养殖的高效可持续发展。 展开更多
关键词 水产养殖 自动投饵 智能投饵 数据处理 系统集成 多模态信息融合
在线阅读 下载PDF
上一页 1 2 下一页 到第
使用帮助 返回顶部