-
题名基于多视口自适应融合的全景图像质量评价
- 1
-
-
作者
冯晨曦
张地
林敢
叶龙
-
机构
中国传媒大学媒体融合与传播国家重点实验室
中国传媒大学数据科学与智能媒体学院
中国传媒大学海南国际学院
中国传媒大学媒介音视频教育部重点实验室
-
出处
《北京航空航天大学学报》
北大核心
2025年第7期2404-2414,共11页
-
基金
国家重点研发计划(2021YFF0900503)
国家自然科学基金(61971383,62001432)
北京自然科学基金(4244109)。
-
文摘
现有的全景图像质量评价(OIQA)模型在提取各视口局部特征时相对独立,导致计算复杂度较高,且难以利用端到端的融合模型对各视口间的关联性进行刻画。针对该问题,提出了一种基于特征共享和多视口自适应融合的质量评价方法。利用共享的骨干网络,将现有方法中互相独立的视口分割与计算任务转换到特征域,使得仅经1次前馈计算即可提取整个图像的局部特征。在此基础上,引入基于球面均匀采样的特征域视口分割方法以保证观察空间和表示空间的像素密度一致,并用语义信息指导各视口局部质量特征的自适应融合。所提方法在压缩的虚拟现实图像质量(CVIQ)数据集和OIQA数据集上的Pearson线性相关系数(PLCC)和Spearman秩相关系数(SRCC)均在0.96以上,与现有主流评价方法相比达到最优。相较于传统评价方法结构相似性指数(SSIM),所提方法在2个数据集上的平均PLCC和平均SRCC分别提高了9.52%和8.7%;相较于最新评价方法多感知特征图像质量评价(MPFIQA),所提方法在2个数据集上的平均PLCC和平均SRCC分别提高了1.71%和1.44%。
-
关键词
全景图像
无参考图像质量评价
球面均匀采样
自适应特征融合
等距柱状投影
-
Keywords
omnidirectional image
no-reference image quality assessment
spherical uniform sampling
adaptive feature fusion
equirectangular projection
-
分类号
TN911.73
[电子电信—通信与信息系统]
-
-
题名全景视频中多运动对象检测与跟踪方法
- 2
-
-
作者
刘慧彤
王希
刘威
杨鹏
-
机构
华中科技大学智能互联网湖北省重点实验室电子信息与通信学院
-
出处
《计算机工程与应用》
CSCD
北大核心
2024年第10期188-197,共10页
-
基金
国家自然科学基金(61977064)
“教育部-中国移动”联合基金(MCM20200408)
+3 种基金
湖北省重点研究计划重点课题(2020BAB120)
国家重点研发计划(2021YFC3340802)
国家自然科学基金青年项目(62001180)
中国科协青年人才托举工程(2022QNRC001)。
-
文摘
全景视频多运动对象检测与跟踪技术的通用解决方案是通过投影变换将360°视频转为二维视频后进行检测和跟踪。然而固定球面投影变换会导致全景视频中存在空间上不连续的投影边界,当运动对象处于投影边界时,常规球面投影方法可能将其切分为多个部分,从而导致该运动对象的漏检或误检。针对该问题,提出了融合等距柱状形投影(equi-rectangular projection,ERP)和立方体投影(cube map projection,CMP)的全景视频多运动对象检测与跟踪方法,利用合适的CMP拼接帧减少ERP两极区域失真并弥补其边界不连续性,解决了处于投影边界和两极扭曲的对象检测问题。进一步,通过感知哈希、球面质心和运动方向等多重特征融合来解决全景视频多运动对象跟踪问题。实验结果表明,提出的方案可以有效减少投影边界不连续导致的误检,且能有效应对遮挡、穿梭帧边界和两极扭曲的对象跟踪问题。
-
关键词
全景视频
多运动对象检测与跟踪
等距柱状形投影(ERP)
立方体投影(CMP)
-
Keywords
panoramic video
multi-motion object detection and tracking
equi-rectangular projection(ERP)
cube map projection(CMP)
-
分类号
TP391.4
[自动化与计算机技术—计算机应用技术]
-
