-
题名跨模态数据实体分辨研究综述
被引量：2
- 1
-
-
作者
曹建军
聂子博
郑奇斌
吕国俊
曾志贤
-
机构
国防科技大学、第六十三研究所
中国人民解放军陆军工程大学、指挥控制工程学院
-
出处
《软件学报》
EI
CSCD
北大核心
2023年第12期5822-5847,共26页
-
基金
国家自然科学基金(61371196)
中国博士后科学基金(2015M582832)
国家科技重大专项(2015ZX01040201-003)。
-
文摘
实体分辨广泛地存在于数据质量控制、信息检索、数据集成等数据任务中.传统的实体分辨主要面向关系型数据,而随着大数据技术的发展,文本、图像等模态不同的数据大量涌现催生了跨模态数据应用需求,将跨模态数据实体分辨提升为大数据处理和分析的基础问题之一.对跨模态实体分辨问题的研究进展进行回顾,首先介绍问题的定义、评价指标;然后,以模态内关系的保持和模态间关系的建立为主线,对现有研究进行总结和梳理;并且,通过在多个公开数据集上对常用方法进行测试,对出现差异的原因和进行分析;最后,总结当前研究仍然存在的问题,并依据这些问题给出未来可能的研究方向.
-
关键词
实体分辨
跨模态数据处理
深度学习
相似性度量
-
Keywords
entity resolution
cross-modal data processing
deep learning
similarity measure
-
分类号
TP393
[自动化与计算机技术—计算机应用技术]
-
-
题名面向跨模态数据协同分析的视觉问答方法综述
被引量：1
- 2
-
-
作者
崔政
胡永利
孙艳丰
尹宝才
-
机构
北京工业大学信息学部
-
出处
《北京工业大学学报》
CAS
CSCD
北大核心
2022年第10期1088-1099,共12页
-
基金
国家自然科学基金资助项目(61672071,U1811463,U19B2039)。
-
文摘
协同分析和处理跨模态数据一直是现代人工智能领域的难点和热点,其主要挑战是跨模态数据具有语义和异构鸿沟.近年来,随着深度学习理论和技术的快速发展,基于深度学习的算法在图像和文本处理领域取得了极大的进步,进而产生了视觉问答(visual question answering,VQA)这一课题.VQA系统利用视觉信息和文本形式的问题作为输入,得出对应的答案,核心在于协同理解和处理视觉、文本信息.因此,对VQA方法进行了详细综述,按照方法原理将现有的VQA方法分为数据融合、跨模态注意力和知识推理3类方法,全面总结分析了VQA方法的最新进展,介绍了常用的VQA数据集,并对未来的研究方向进行了展望.
-
关键词
跨模态数据
深度学习
视觉问答
数据融合
跨模态注意力
知识推理
-
Keywords
cross-modal data
deep learning
visual question answering(VQA)
data fusion
cross-modal attention
knowledge reasoning
-
分类号
U461
[机械工程—车辆工程]
TP308
[自动化与计算机技术—计算机系统结构]
-
-
题名铁路数据服务平台跨模态数据联合分析技术
- 3
-
-
作者
马小宁
陆梦婷
王力
左翰辰
武俊男
谢征宇
-
机构
中国铁道科学研究院集团有限公司电子计算技术研究所
-
出处
《中国铁路》
2025年第8期125-132,共8页
-
基金
中国国家铁路集团有限公司科技研究开发计划项目(N2023S009)。
-
文摘
当前铁路数据服务平台的数据量迅猛增长,汇聚了大量结构化数据和视频、图片、文本等非结构化数据,对数据处理和分析带来新的挑战。为了更好地利用这些多模态数据,挖掘海量数据蕴含的宝贵信息和价值,提出铁路数据服务平台跨模态数据联合分析技术研究,建立跨模态数据联合分析框架,构建基于深度学习模型的文本、图像、音频等多模态特征提取网络,设计跨模态特征融合算法,对特征提取网络提取的多模态特征进行深度融合,利用典型联合分析场景对所提出的技术进行验证,结果表明:跨模态数据联合分析能够有效提高场景识别和检测的精度,为铁路大数据管理和应用提供重要的理论和方法支撑。
-
关键词
铁路数据服务平台
跨模态数据
联合分析
深度学习模型
多模态特征
-
Keywords
railway data service platform
cross-modal data
joint analysis
deep learning model
multimodal features
-
分类号
U285.4
[交通运输工程]
-
-
题名大数据实时交互式分析
被引量：17
- 4
-
-
作者
袁喆
文继荣
魏哲巍
刘家俊
姚斌
郑凯
-
机构
中国人民大学信息学院
上海交通大学计算机科学与工程系
电子科技大学计算机科学与工程学院
-
出处
《软件学报》
EI
CSCD
北大核心
2020年第1期162-182,共21页
-
基金
国家自然科学基金(61832017,61972401,61932001,61602487,61922054,61872235,61729202,U1636210,61972069,61836007,61532018)
北京高校卓越青年科学家计划(BJJWZYJH01201910002009)
国家重点研发计划(2018YFC1504504,2016YFB0700502)。
-
文摘
实时交互式分析针对多目标和多角度的分析任务,通过多轮次的用户-数据库交互过程,逐步明确分析任务与分析目标,全方位地了解相关领域信息,最终得到科学的、全面的分析结果.相比传统数据库“提交查询-返回结果”的单轮次交互查询方式,实时交互式分析更强调交互的实时性与查询结果的时效性.对实时交互式分析的研究已成为近几年研究的热点.针对当前实时交互式分析面临的若干关键问题,对现有的实时交互式分析研究的理论基础、数据模型与系统构架进行了综述.
-
关键词
实时交互式分析
跨模态数据
近似查询处理
-
Keywords
real-time interactive analysis
cross-modal data
approximate query processing
-
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
-
-
题名非刚性匹配的激光点云与多光谱影像深度融合
- 5
-
-
作者
石佳俊
臧玉府
肖雄武
张莹滢
-
机构
南京信息工程大学遥感与测绘工程学院
武汉大学测绘遥感信息工程国家重点实验室
-
出处
《测绘通报》
北大核心
2025年第2期41-47,共7页
-
基金
国家自然科学基金面上项目(42171433)
国家自然青年科学基金(41701529,42101449)。
-
文摘
机载激光点云和多光谱影像的融合在遥感影像处理、环境监测和城市规划等领域的应用有着非常重要的意义。针对现有融合方法的效率与稳健性较低的问题,本文提出了一种基于非刚性概率匹配的激光点云与多光谱影像深度融合方法。采用Line-CNN深度学习网络提取直线段特征,将其采样为二维散点,并利用非刚性CPD算法匹配不同尺度影像中的离散点,进而通过改进单应矩阵高精度融合两种模态影像,得到具备多光谱信息的机载激光点云。为全面验证方法的性能,本文采用多种场景下的机载激光点云和多光谱影像作为试验数据。试验结果表明,多种复杂场景下离散点匹配准确率高达90%,融合后的影像能够很好地保留原始影像的特征和信息,多种场景下的融合相关系数高达90%以上,且算法较为高效,有利于后续植被监测、环境监测、土地分析等应用。
-
关键词
深度学习
非刚性CPD算法
单应矩阵
高精度融合
跨模态遥感数据
-
Keywords
deep learning
non-rigid CPD algorithms
single response matrix
high-precision fusion
cross-modal remote sensing data
-
分类号
P237
[天文地球—摄影测量与遥感]
-
