期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到9篇文章
< 1 >
每页显示 20 50 100
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
基于双模态融合的钢轨表面缺陷分割研究
1
作者 罗晖 韩岳霖 +1 位作者 马治伟 斯成浩 《华东交通大学学报》 2025年第1期52-60,共9页
因长期受反复荷载作用,高速铁路钢轨会产生表面缺陷,为了提升复杂场景下多类多尺度钢轨表面缺陷检测的精度与速度,设计了一种基于双模态融合的钢轨表面缺陷分割网络(DAFNet)。首先构建了一个包含可见光和红外通道的钢轨表面缺陷数据集,... 因长期受反复荷载作用,高速铁路钢轨会产生表面缺陷,为了提升复杂场景下多类多尺度钢轨表面缺陷检测的精度与速度,设计了一种基于双模态融合的钢轨表面缺陷分割网络(DAFNet)。首先构建了一个包含可见光和红外通道的钢轨表面缺陷数据集,并采用改进的双分支网络架构,提高了分割速度;同时,设计了双模态自适应融合模块(BAFM),实现了特征的自适应融合,提高了复杂场景下钢轨表面缺陷的分割精度;此外,设计了空间细节提取模块(SDEM)和关键信息增强模块(KIEM),进一步提高了对缺陷边缘的感知度,解决了复杂场景下缺陷与背景对比度不高的问题。实验表明,所设计网络分割的精确度和mIoU分别达到了68.13%, 59.96%,明显优于其他主流网络;且FLOPs、参数量和模型大小分别为17.41 GFLOPs,1.38 M和5.67 MB,优于大多数主流网络。所设计的网络显著提高了钢轨表面缺陷的分割精度,并且具有较高分割速度,对保障高铁的安全运营具有重要意义。 展开更多
关键词 语义分割 钢轨表面缺陷 深度学习 红外图像 可见光图像 双模态融合
在线阅读 下载PDF
三维点云与图像双模态融合的空间目标部件识别方法
2
作者 袁萌萌 张泽旭 《宇航学报》 EI CAS CSCD 北大核心 2023年第5期796-804,共9页
针对二维图像目标识别准确率高但缺乏空间位置信息,三维点云几何信息精确但无语义信息的特点,为结合不同维度数据的优势,提出一种三维点云与二维图像双模态融合的空间目标部件识别方法。首先基于DeepLabv3+网络进行图像目标分割,并对分... 针对二维图像目标识别准确率高但缺乏空间位置信息,三维点云几何信息精确但无语义信息的特点,为结合不同维度数据的优势,提出一种三维点云与二维图像双模态融合的空间目标部件识别方法。首先基于DeepLabv3+网络进行图像目标分割,并对分割目标进行语义标记;其次,提出一种最近邻查找方法降低重建位姿误差带来的三维点云与二维目标映射过程中的语义信息缺失,实现三维点云与二维图像目标间的准确语义关联;最后,利用全连接条件随机场对具备语义信息的三维点云识别结果进行优化,得到更加精细的点云语义标签,融合多视角数据得到最终点云部件识别结果。仿真结果表明相较于传统聚类分割方法,本文方法可以有效地识别出空间目标的各部件,总体识别精度优于95%。 展开更多
关键词 空间目标部件识别 双模态融合 语义分割 位姿重建 全连接条件随机场
在线阅读 下载PDF
基于雷达与视觉融合的双模态煤矿井下环境感知技术 被引量：4
3
作者 杨志方 《工矿自动化》 CSCD 北大核心 2023年第11期67-75,共9页
环境感知是煤矿巡检机器人、视觉测量系统等场景应用的关键技术。单模态环境感知技术对煤矿井下复杂环境的感知能力较差。提出了雷达与视觉双模态空间融合方法,通过激光雷达和摄像仪之间的坐标转换来实现二者采集信息的融合,从而提高环... 环境感知是煤矿巡检机器人、视觉测量系统等场景应用的关键技术。单模态环境感知技术对煤矿井下复杂环境的感知能力较差。提出了雷达与视觉双模态空间融合方法,通过激光雷达和摄像仪之间的坐标转换来实现二者采集信息的融合,从而提高环境感知能力。为了更好地提取目标特征信息,提出了双模态融合环境感知网络架构技术路线:摄像仪和雷达采集的环境信息经雷达与视觉双模态空间融合方法进行融合处理,多模态特征融合网络模块提取融合信息中的目标特征,多任务处理网络模块采用不同的任务头处理目标特征信息,完成目标检测、图像分割、目标分类等环境感知任务。采用YOLOv5s目标检测算法搭建双模态特征提取网络模块进行实验,结果表明:基于雷达与视觉融合的双模态煤矿井下环境感知技术对井下巷道环境下行人检测的成功率较视觉、雷达感知分别提升15%,10%,对车道线、标志牌等各类目标分割的平均精度均值较视觉感知均提高10%以上,有效提升了煤矿井下环境感知能力,可为煤矿道路环境感知、视觉测量系统、无人矿车导航系统、矿井搜救机器人等应用场景提供技术支持。 展开更多
关键词 煤矿井下环境感知 雷达感知 视觉感知 双模态融合感知 图像分割 目标分类识别
在线阅读 下载PDF
基于手指双模态特征的自动身份验证方法及系统
4
作者 刘凤 林丽英 黄怡欣 《信息安全学报》 CSCD 2024年第3期80-93,共14页
针对目前单模态生物特征识别在稳定性与安全性等方面的不足以及多模态融合识别的多设备多输入困难等问题,本文提出一种充分考虑类内与类间度量的学习模型,实现基于手指双模态特征的自动身份验证方法及系统。由于指静脉与指折痕具有不易... 针对目前单模态生物特征识别在稳定性与安全性等方面的不足以及多模态融合识别的多设备多输入困难等问题,本文提出一种充分考虑类内与类间度量的学习模型,实现基于手指双模态特征的自动身份验证方法及系统。由于指静脉与指折痕具有不易改变,难以伪造的特点,本文选取这两种重要的手部特征进行身份验证。通过结合两种不同模态特征,利用自编码网络对类内特征进行表示,来构建基于度量学习的孪生网络模型,从而提取类内与类间特征;接着将提取的指静脉和指折痕特征进行距离计算,将距离融合后使用逻辑回归模型进行概率判断,最终实现有效的双模态融合身份验证。为验证我们提出方法的有效性,我们对指静脉识别结果性能进行了对比。实验结果表明,我们的方法在更具有挑战性的数据库上识别等错误率为1.69%,较之现有代表性论文提出的模型的等错误率降低了2.96%。我们也将构建的双模态融合模型与仅使用单一模态模型进行对比,结果表明融合指静脉和指折痕特征的融合模型的等错误率为1.55%,比单一模态的指静脉与指折痕模型分别降低了0.14%和3.0%,表明了双模态身份验证模型性能更优。进一步地,本文采集了一个更具有挑战性的数据库,开发了显示图像及识别结果的图形界面,最终实现了一个从数据采集到识别匹配的端对端的一体化自动身份验证系统。基于以上研究,本文首次提出了一个基于指静脉和指折痕特征的多目自动身份验证方案,实现集准确性,鲁棒性和实效性为一体的系统。 展开更多
关键词 双模态融合 孪生网络 自编码器 生物特征
在线阅读 下载PDF
双模态信息融合的飞行目标位姿估计方法
5
作者 李荣华 王蒙 +1 位作者 周唯 付佳茹 《红外与激光工程》 EI CSCD 北大核心 2023年第3期235-250,共16页
针对在飞行目标位姿估计中背景复杂、目标提取及位姿解算精度低、速度实时性差等问题,提出了一种激光与图像信息融合的飞行目标位姿估计方法。首先,建立彩色相机和激光雷达间的坐标变换模型实现两传感器像素级匹配,对同一时刻的图像和... 针对在飞行目标位姿估计中背景复杂、目标提取及位姿解算精度低、速度实时性差等问题,提出了一种激光与图像信息融合的飞行目标位姿估计方法。首先,建立彩色相机和激光雷达间的坐标变换模型实现两传感器像素级匹配,对同一时刻的图像和点云进行融合处理;其次,采用Vi Be算法与深度信息融合对图像中运动目标进行提取,并根据图像目标的位置框选出对应的点云;最后,利用PnP算法进行特征点粗配准,获取点云间初始旋转平移矩阵,并采用迭代最近点算法进行精配准,利用IK-D Tree加速临近点搜索,提高配准速度。使用仿真试验和半实物仿真试验对方法准确性和稳定性进行了验证,结果显示:二维图像目标检测算法正确率为97%,错误分类比为0.0112%;位姿估计算法与传统迭代最近点算法相比精度提高了53.2%,单次耗时从261 ms降低至132 ms,效率提升约49.4%,与其他算法相比也具有一定优势。为飞行目标落点精准预测和制导控制提供解决思路。 展开更多
关键词 双模态信息融合 位姿估计 飞行目标 目标提取
在线阅读 下载PDF
虹膜与眼周深度特征融合网络模型 被引量：1
6
作者 雷松泽 李永刚 +1 位作者 单奥奎 张文娟 《工程科学与技术》 EI CAS CSCD 北大核心 2024年第3期240-248,共9页
虹膜识别的识别率虽然很高,但单模态识别时受环境、欺骗攻击等影响,并且在远距离或移动端、较少约束等场景下,识别率会大大下降。利用位置与虹膜相近并且被研究证明鉴别性很强的眼周生物特征,将虹膜和眼周进行双模态融合识别是较好的思... 虹膜识别的识别率虽然很高,但单模态识别时受环境、欺骗攻击等影响,并且在远距离或移动端、较少约束等场景下,识别率会大大下降。利用位置与虹膜相近并且被研究证明鉴别性很强的眼周生物特征,将虹膜和眼周进行双模态融合识别是较好的思路。为实现精确自适应的融合识别,本文提出新颖的虹膜与眼周深度特征融合网络模型(MultipleFusionNet)。根据特征通道注意力和通道分组注意力的思想,设计自动权值生成网络,通过网络学习自动获得虹膜与眼周的权值。权值与卷积神经网络(CNN)生成的虹膜与眼周深度特征加权计算,可实现两个模态的深度特征动态精确融合,从而提高识别准确率。本文网络模型中融合部分可作为通用的深度特征融合模块使用,该模块可灵活地嵌入在任何CNN主干网络中,轻便且易于实现。在中国科学院公开的远距离虹膜库图像库CASIA-Iris-Distance和近距离光照变化虹膜图像库CASIA-Iris-Lamp上进行了实验验证,多种方法的对比实验和距离度量实验结果显示:本文的特征融合模型准确率最高为99.56%,采用余弦距离度量的等误率(EER)最低为0.002 7,优于单模态方法和相关的特征融合方法;计算复杂度方面,参数量和计算量比单模型的两倍少1.5%,计算量只比基准融合方法高1%,这表明该融合模型计算复杂度低,具有良好的性能。 展开更多
关键词 双模态融合 虹膜识别 眼周识别 深度特征融合
在线阅读 下载PDF
双模态情感分析的弹幕网络视频平台营销策略 被引量：13
7
作者 李稚 朱春红 《心理科学进展》 CSSCI CSCD 北大核心 2021年第9期1561-1575,共15页
随着互联网飞跃发展,弹幕视频应运而生。这种新型的用户与视频交互方式具有新特性,如用户情感表达实时动态性、情感分布多峰性。同时,新特性也给实际研究工作带来挑战,如用户画像刻画难度增大,视频推荐和广告推送所需精度提高。现有研... 随着互联网飞跃发展,弹幕视频应运而生。这种新型的用户与视频交互方式具有新特性,如用户情感表达实时动态性、情感分布多峰性。同时,新特性也给实际研究工作带来挑战,如用户画像刻画难度增大,视频推荐和广告推送所需精度提高。现有研究尚未对弹幕视频的新特性进行深入分析,也没有充分挖掘其本身所蕴含的学术研究价值。本文利用深度学习、自然语言处理技术、系统动力学方法,结合心理学、市场营销学等多学科交叉前沿知识,从数据驱动角度对弹幕视频数据进行分析和建模,深度挖掘视频大数据潜在的商业价值。重点研究弹幕与视频双模态融合的情感识别方法;构建带有用户情感特征的动态用户画像,并建立基于用户画像的网络视频粘性营销机制;分析用户情感与视频广告插播方式的相关性,提出视频广告动态插播策略。丰富现有研究的同时,为网络视频企业准确定位与分析用户需求,创建高品质的智能营销平台供理论与决策支持。 展开更多
关键词 弹幕视频 双模态情感融合 动态用户画像 粘性营销机制 动态广告插播策略
在线阅读 下载PDF
基于双向特征金字塔的数据融合目标检测网络 被引量：1
8
作者 张浩钧 郭建峰 +3 位作者 张锦忠 柴博松 侯诗梦 张学成 《西安邮电大学学报》 2023年第1期92-103,共12页
针对三维场景存在多样化多尺度目标等问题,提出了一种基于数据融合和双向特征金字塔的多尺度目标检测网络算法。首先,构造了一种基于通道注意力残差结构改进卷积特征的提取网络,并引入注意力机制自适应提取目标融合特征,从而构建了基于... 针对三维场景存在多样化多尺度目标等问题,提出了一种基于数据融合和双向特征金字塔的多尺度目标检测网络算法。首先,构造了一种基于通道注意力残差结构改进卷积特征的提取网络,并引入注意力机制自适应提取目标融合特征,从而构建了基于数据融合和引入注意力机制残差结构的目标检测网络。接下来,为了使网络更适配多尺度目标,利用双向特征金字塔结构增强融合不同维度特征,并划分不同单元对多尺度目标进行检测,以提高多尺度目标检测的鲁棒性。实验结果表明,与相关算法相比,所提算法对于中小目标的检测准确率较高。 展开更多
关键词 目标检测 激光雷达点云 双模态数据融合 注意力机制
在线阅读 下载PDF
基于PCA的EEG-fNIRS特征融合
9
作者 刘化东 许博俊 李梦琪 《现代电子技术》 2023年第19期29-33,共5页
运动想象脑-机接口(MI-BCI)可解码用户运动意图,它无需任何外部刺激就能产生指令,可以为无法自主运动患者提供一种额外交流通道,辅助或改善其生活方式,但目前还没有一个比较好的方法能对MI-BCI进行高效解码。脑电图(EEG)和功能近红外光... 运动想象脑-机接口(MI-BCI)可解码用户运动意图,它无需任何外部刺激就能产生指令,可以为无法自主运动患者提供一种额外交流通道,辅助或改善其生活方式,但目前还没有一个比较好的方法能对MI-BCI进行高效解码。脑电图(EEG)和功能近红外光谱(fNIRS)是目前一种无创的功能神经成像技术。在单个模式上,EEG的空间分辨率较差,而时间分辨率较高,相比之下,fNIRS提供了更好的空间分辨率,所以文中采用双模态的方式对MI信号进行解码。由于EEG和fNIRS是两种不同类型的信号,如何对两种信号进行融合是目前研究的重点和难点,文中首先对特征提取后的两种信号进行归一化处理,然后采用主成分分析(PCA)算法进行信号融合。实验招募了12名被试做抬左右腿的运动想象。结果表明单独使用EEG和fNIRS进行信号解码精度最高为73.8%,使用PCA对EEG-fNIRS的特征进行融合后分类精度实现了81.2%,提高了7.4%。实验结果证明提出的方法可以为未来的多模态在线BCI系统提供新的思路。 展开更多
关键词 双模态融合 脑电图 功能近红外光谱 运动想象 支持向量机 共空间模式 信号解码 主成分分析
在线阅读 下载PDF
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 下一页 到第 页
关于我们 | 版权声明 | 联系我们 | 帮助中心| 意见反馈
主办单位：上海市教育委员会
技术支持：重庆维普资讯有限公司
渝公网安备 50019002500403号
使用帮助 返回顶部