期刊文献+
共找到5篇文章
< 1 >
每页显示 20 50 100
基于人工标注与对比生成模型的玉米叶病图文多模态数据集
1
作者 王彦芳 鲜国建 赵瑞雪 《农业大数据学报》 2025年第3期371-378,共8页
玉米叶部病害的精准识别是农业智能化管理的重要环节。现有玉米病害数据集存在质量参差不齐、标签类别模糊、多模态数据匮乏等问题,尤其是中文语境下的病害描述数据的稀缺性。本研究整合了自建数据与AIChallenger、PlantVillage及OpenDa... 玉米叶部病害的精准识别是农业智能化管理的重要环节。现有玉米病害数据集存在质量参差不齐、标签类别模糊、多模态数据匮乏等问题,尤其是中文语境下的病害描述数据的稀缺性。本研究整合了自建数据与AIChallenger、PlantVillage及OpenDataLab开源的玉米叶部病害高清图像数据,并由人工基于文献、专业书籍及科学数据等先验知识对图像进行诊断性文本描述标注,共构建了中文语境下的1653组图像-文本对多模态数据集。其中,每张图像对应的文本模态内容涵盖病害类型、病状特征及严重程度等关键信息。在此基础上,探索使用CN-CLIP与GPT2-Chinese大模型组合生成图像描述的补充增强内容,丰富描述文本模态数据的多样性,为图像自动标注提供实践验证。本数据集可为玉米病害智能诊断模型开发、中文图像描述生成及农业多模态知识图谱构建提供高质量数据样本支撑。 展开更多
关键词 玉米 叶部病害 多模态数据集 图像描述 自动标注
在线阅读 下载PDF
面向6G的跨模态信号重建技术 被引量:4
2
作者 李昂 陈建新 +1 位作者 魏昕 周亮 《通信学报》 EI CSCD 北大核心 2022年第6期28-40,共13页
6G时代下,为了兼顾多媒体用户音频、视频、触觉的沉浸式体验需求与低时延、高可靠、大容量的通信质量,提出一种跨模态信号重建架构和由视频信号重建触觉信号的深度学习模型。首先,通过控制机器人触摸各种材质,构建了包含音频、视频、触... 6G时代下,为了兼顾多媒体用户音频、视频、触觉的沉浸式体验需求与低时延、高可靠、大容量的通信质量,提出一种跨模态信号重建架构和由视频信号重建触觉信号的深度学习模型。首先,通过控制机器人触摸各种材质,构建了包含音频、视频、触觉信号的数据集VisTouch,为后续各种跨模态问题的研究奠定基础;其次,通过利用多模态信号间的语义关联性,设计一种普适的、稳健的端到端跨模态信号重建框架;再次,以通过视频信号重建触觉信号为例,构建视频辅助的触觉重建模型,包括基于3D CNN的视频特征提取网络,基于全卷积网络的GAN生成网络与基于CNN的GAN辨别网络;最后,通过实验结果验证跨模态信号重建框架的可靠性以及触觉重建模型的准确性。 展开更多
关键词 6G 模态信号重建 多模态数据集 3D卷积神经网络 生成对抗网络
在线阅读 下载PDF
多模态检索在医学领域的研究综述 被引量:3
3
作者 丁国辉 张琦 +4 位作者 房士超 李青 孙小宇 张路霞 孔桂兰 《计算机工程与应用》 CSCD 北大核心 2023年第1期26-36,共11页
随着计算机与大数据技术在医学领域中的迅速应用以及医疗信息存储标准的逐渐完善,医学数据呈爆炸式增长。医学数据由于其自身特点而呈现出多模态形式,且这些多模态数据往往同时出现、互相补充,因此实现多模态数据间的相互检索具有重要... 随着计算机与大数据技术在医学领域中的迅速应用以及医疗信息存储标准的逐渐完善,医学数据呈爆炸式增长。医学数据由于其自身特点而呈现出多模态形式,且这些多模态数据往往同时出现、互相补充,因此实现多模态数据间的相互检索具有重要的临床价值。回顾了近年来多模态检索在医学领域的实现方法,将其归纳为基于文本、基于内容以及基于融合信息的多模态检索,基于内容的多模态检索可进一步划分为基于传统特征的检索和基于深度特征的检索。针对多模态检索算法的性能,介绍了准确率、召回率以及平均精度均值等常用的评价指标。分析了当前医学领域多模态检索所面临的挑战,并对未来医学领域多模态检索的研究发展进行了展望。 展开更多
关键词 多模态检索 检索方法 医学多模态数据集 性能评价
在线阅读 下载PDF
基于卷积神经网络的Leap Motion运动数据优化网络 被引量:2
4
作者 张欣天 谢文军 +1 位作者 李书杰 刘晓平 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2021年第3期439-447,共9页
为提高Leap Motion设备的采集精准度,解决自遮挡、采样频率不稳定等设备固有问题,首先,设计了使用Leap Motion和动作捕捉设备的手部多模态同步运动采集方案,采集了日常动作数据集;其次,提出了基于卷积神经网络(convolutional neural net... 为提高Leap Motion设备的采集精准度,解决自遮挡、采样频率不稳定等设备固有问题,首先,设计了使用Leap Motion和动作捕捉设备的手部多模态同步运动采集方案,采集了日常动作数据集;其次,提出了基于卷积神经网络(convolutional neural network,CNN)的Leap Motion手部运动数据优化方法,使用日常动作数据集训练Leap Motion数据到动作捕捉数据的映射网络;最后,提出手指平面约束,确保网络输出数据保持稳定的手部骨骼结构.通过15名志愿者采集了6类动作共967550帧的同步运动数据集,进行了手指平面约束有效性、动作一致性实验,并与双向循环自编码器(bidirectional recurrent autoencoder,BRA)、双向编解码器(encoder-bidirectional-decoder,EBD)方法进行了精度对比.结果表明,文中方法支持使用Leap Motion获取固定采样频率且近似动捕设备精度的手部运动数据,效果较BRA和EBD更加稳定平滑.将文中方法应用于康复游戏中,明显减少了交互动作识别的错误次数. 展开更多
关键词 运动数据优化 Leap Motion 卷积神经网络 多模态数据集 自遮挡
在线阅读 下载PDF
面向医学图像融合的多尺度特征频域分解滤波 被引量:3
5
作者 刘慧 朱积成 +3 位作者 王欣雨 盛玉瑞 张彩明 聂礼强 《软件学报》 EI CSCD 北大核心 2024年第12期5687-5709,共23页
多模态医学图像融合技术可以实现不同模态数据反映的组织结构与病变信息的融合,为后续医疗诊断、手术导航等临床应用提供更为全面和准确的医学图像分析.针对现有融合方法中存在的部分光谱退化、黏连病变侵袭区域边缘和细节缺失和色彩还... 多模态医学图像融合技术可以实现不同模态数据反映的组织结构与病变信息的融合,为后续医疗诊断、手术导航等临床应用提供更为全面和准确的医学图像分析.针对现有融合方法中存在的部分光谱退化、黏连病变侵袭区域边缘和细节缺失和色彩还原不足等问题,提出一种在多尺度特征频域分解滤波域内实现图像多特征增强和色彩保留的多模态医学图像融合方法.该方法将源图像分解为平滑、纹理、轮廓和边缘这4个特征层,分别利用特定融合规则并通过图像重构产生融合结果.特别地,鉴于平滑层所含潜在特征信息,提出视觉显著性分解策略,多尺度多维度地挖掘平滑层图像能量、部分纤维纹理等特征,提升源图像信息利用率;在纹理层中,提出纹理增强算子,通过空间结构和信息度量提取细节及其层次信息,解决现有融合方法中对黏连病变区域侵袭状态难以区分等问题.此外,针对缺乏公开腹部数据集的问题,配准403组腹部图像可供公开访问和下载.在Atlas公开数据集和腹部数据集上与6种基准方法对比及消融实验结果表明,所提方法相较于最先进的方法在融合图像与源图像相似度提升22.92%,边缘保持度提升35.79%,空间频率提升28.79%,对比度提升32.92%,并在视觉和计算效率方面有较好的效果,明显优于其他方法. 展开更多
关键词 医学图像融合 多尺度特征频域分解滤波 视觉显著性分解策略 纹理增强算子 多模态腹部数据
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部