-
题名视频语义模型及评价准则
被引量：15
- 1
-
-
作者
王煜
周立柱
邢春晓
-
机构
清华大学计算机科学与技术系
-
出处
《计算机学报》
EI
CSCD
北大核心
2007年第3期337-351,共15页
-
基金
国家自然科学基金(60473078)
国家"九七三"重点基础研究发展规划项目(2006CB303103)资助
-
文摘
视频语义模型的目的是表示和管理视频中包含的对象、事件及关系等语义信息,并提供实现语义查询的基础.随着视频技术及与视频相关的应用的发展,对有效的视频语义模型的要求越来越迫切.文章对现有的视频语义模型进行了全面的综述,共包含16种视频语义模型:5种基于标注的模型和11种丰富语义模型.尽管视频语义模型对视频数据库提供查询服务和其它特性来说是至关重要的,但目前仍没有较好的评价视频语义模型的准则.因此,作者提出了针对丰富语义模型的评价准则共22条,并根据这些准则对11种丰富语义模型进行了评价.评价的结果表明这些模型可以满足用户的基本查询要求,但在高级能力方面(如表达能力方面的不确定性和对象历史等,查询能力方面的推理、查询条件重写等)还有所欠缺.而在表示与领域相关的约束以及为语义信息获取提供辅助功能等方面,目前的模型基本上还没有考虑.根据这些评价结果,文章最后建议了视频语义模型未来的研究方向.
-
关键词
视频数据库
视频语义模型
数据模型
-
Keywords
video database
video semantic data model
data model
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于八元组视频语义模型的人体行为理解方法
- 2
-
-
作者
李敏
刘恒
-
机构
中国工程物理研究院五所
绵阳师范学院数学与计算机科学学院
西南科技大学信息学院
-
出处
《计算机工程与设计》
CSCD
北大核心
2013年第12期4267-4272,共6页
-
基金
国家自然基金项目(61105020)
-
文摘
目前的人体行为理解技术存在对噪声敏感,运算量大,没有关注场景敏感度,未进行事件整体描述的缺陷,并且存在理解结果与人类认知之间的语义鸿沟。一种八元组视频语义模型被提出,该模型既考虑了场景层次语义的理解,又融入了三维人体语义模型,引入了分析和综合的方法来实现视频事件的整体描述。实验结果显示:该方法在识别率和整体性能上都优于基于上下文无关(CFG)的行为识别方法,并在一定程度上解决了语义鸿沟问题。
-
关键词
八元组视频语义模型
三维人体语义模型
场景层次语义
行为理解
视频事件整体描述
-
Keywords
eight tuples video semantic
3D human body semantic model
scene level semantic
behavior recognition
whole video affair description
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名针对视频语义描述模型的稀疏对抗样本攻击
- 3
-
-
作者
邱江兴
汤学明
王天美
王成
崔永泉
骆婷
-
机构
分布式系统安全湖北省重点实验室
-
出处
《计算机科学》
CSCD
北大核心
2023年第12期330-336,共7页
-
文摘
在多模态深度学习领域,尽管有很多研究表明图像语义描述模型容易受到对抗样本的攻击,但是视频语义描述模型的鲁棒性并没有得到很多的关注。主要原因有两点:一是与图像语义描述模型相比,视频语义描述模型的输入是一个图像流,而不是单一的图像,如果对视频的每一帧进行扰动,那么整体的计算量将会很大;二是与视频识别模型相比,视频语义描述模型的输出不是一个单词,而是更复杂的语义描述。为了解决上述问题以及研究视频描述模型的鲁棒性,提出了一种针对视频语义描述模型的稀疏对抗样本攻击方法。首先,基于图像识别领域的显著性分析的原理,提出了一种评估视频中不同帧对模型输出贡献度的方法。在此基础上,选择关键帧施加扰动。其次,针对视频语义描述模型,设计了基于L2范数的优化目标函数。在数据集MSR-VTT上的实验结果表明,所提方法在定向攻击上的成功率为96.4%,相比随机选择视频帧,查询次数减少了45%以上。上述结果验证了所提方法的有效性并揭示了视频语义描述模型的脆弱性。
-
关键词
多模态模型
视频语义描述模型
对抗样本攻击
图像显著性
关键帧选择
-
Keywords
Multi-model
Video caption
Adversarial example
Saliency map
Keyframe select
-
分类号
TP391.41
[自动化与计算机技术—计算机应用技术]
-
-
题名基于高层语义的视频检索研究
被引量：9
- 4
-
-
作者
张治国
刘怀亮
马志辉
张毅
赵娜
-
机构
西安电子科技大学经济管理学院
-
出处
《计算机工程与应用》
CSCD
北大核心
2007年第18期168-170,180,共4页
-
基金
国家自然科学基金(the National Natural Science Foundation of China under Grant No.70503022) 。
-
文摘
视频语义检索的研究是目前研究的热点之一。现有的视频检索系统技术多是基于底层特征的、非语义层次的检索。与人类思维中所能理解的高层语义概念相去甚远,这严重影响视频检索的实际效果。如何跨越底层特征和高层语义的鸿沟,用高层语义概念进行视频检索是当前研究的重点。通过对视频内容的语义理解、语义分析、语义提取的简要概述,试图构造一种视频语义检索模型。
-
关键词
高层语义
基于高层语义的视频检索
支持向量机
视频语义检索模型
-
Keywords
high-level semantic
video retrieval using high-level semantic
Support Vector Machines（SVM）
model of video semantic retrieval
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
