近年来,随着计算机视觉在智能监控、自动驾驶等领域的广泛应用,越来越多视频不仅用于人类观看,还可直接由机器视觉算法进行自动分析。如何高效地面向机器视觉存储和传输此类视频成为新的挑战。然而,现有的视频编码标准,如最新的多功能...近年来,随着计算机视觉在智能监控、自动驾驶等领域的广泛应用,越来越多视频不仅用于人类观看,还可直接由机器视觉算法进行自动分析。如何高效地面向机器视觉存储和传输此类视频成为新的挑战。然而,现有的视频编码标准,如最新的多功能视频编码(Versatile Video Coding,VVC/H.266),主要针对人眼视觉特性进行优化,未能充分考虑压缩对机器视觉任务的性能影响。为解决这一问题,本文以多目标跟踪作为典型的机器视觉视频处理任务,提出一种面向机器视觉的VVC帧内编码算法。首先,使用神经网络可解释性方法,梯度加权类激活映射(Gradient-weighted Class Activation Mapping,GradCAM++),对视频内容进行显著性分析,定位出机器视觉任务所关注的区域,并以显著图的形式表示。随后,为了突出视频画面中的关键边缘轮廓信息,本文引入边缘检测并将其结果与显著性分析结果进行融合,得到最终的机器视觉显著性图。最后,基于融合后的机器视觉显著性图改进VVC模式选择过程,优化VVC中的块划分和帧内预测的模式决策过程。通过引入机器视觉失真,代替原有的信号失真来调整率失真优化公式,使得编码器在压缩过程中尽可能保留对视觉任务更为相关的信息。实验结果表明,与VVC基准相比,所提出方法在保持相同机器视觉检测精度的同时,可节约12.7%的码率。展开更多
近年来随着视频编码技术的发展以及高清视频需求的快速增长,国际运动图像专家组ISO-IEC/MPEG和国际电信联盟的视频编码专家组ITU-T/VCEG于2010年成立了视频编码联合工作组JCT-VC,开始针对高分辨率视频应用制定新一代视频编码标准,即高...近年来随着视频编码技术的发展以及高清视频需求的快速增长,国际运动图像专家组ISO-IEC/MPEG和国际电信联盟的视频编码专家组ITU-T/VCEG于2010年成立了视频编码联合工作组JCT-VC,开始针对高分辨率视频应用制定新一代视频编码标准,即高效视频编码HEVC(High Efficiency Video Coding),2012年底形成了国际标准草案,并开发了相应的测试模型HM,进行性能评估和算法测试.该文将对标准制定过程中涉及到的关键技术进行详细介绍,主要包括:基于四叉树结构的编码块组织形式、先进的运动矢量预测和合并方法、多方向的帧内预测模式、基于DCT的分像素插值技术和内容自适应的算术编码技术等,最后对相关编码工具的编码效率、计算复杂度进行了分析,并且指出了未来的研究方向.展开更多
HEVC(High efficiency video coding)是新一代的视频编码标准,它仍然采用了与先前视频编码标准H.264/AVC一样的混合视频编码的基本框架,但在各个编码模块都进行了改进和革新。与H.264/AVC相比较,在相同视频质量和应用条件下HEVC的码率...HEVC(High efficiency video coding)是新一代的视频编码标准,它仍然采用了与先前视频编码标准H.264/AVC一样的混合视频编码的基本框架,但在各个编码模块都进行了改进和革新。与H.264/AVC相比较,在相同视频质量和应用条件下HEVC的码率降低将近一半。本文对HEVC的关键技术进行综述,着重研究探讨了帧内和帧间预测技术的原理和实现过程。展开更多
文摘近年来,随着计算机视觉在智能监控、自动驾驶等领域的广泛应用,越来越多视频不仅用于人类观看,还可直接由机器视觉算法进行自动分析。如何高效地面向机器视觉存储和传输此类视频成为新的挑战。然而,现有的视频编码标准,如最新的多功能视频编码(Versatile Video Coding,VVC/H.266),主要针对人眼视觉特性进行优化,未能充分考虑压缩对机器视觉任务的性能影响。为解决这一问题,本文以多目标跟踪作为典型的机器视觉视频处理任务,提出一种面向机器视觉的VVC帧内编码算法。首先,使用神经网络可解释性方法,梯度加权类激活映射(Gradient-weighted Class Activation Mapping,GradCAM++),对视频内容进行显著性分析,定位出机器视觉任务所关注的区域,并以显著图的形式表示。随后,为了突出视频画面中的关键边缘轮廓信息,本文引入边缘检测并将其结果与显著性分析结果进行融合,得到最终的机器视觉显著性图。最后,基于融合后的机器视觉显著性图改进VVC模式选择过程,优化VVC中的块划分和帧内预测的模式决策过程。通过引入机器视觉失真,代替原有的信号失真来调整率失真优化公式,使得编码器在压缩过程中尽可能保留对视觉任务更为相关的信息。实验结果表明,与VVC基准相比,所提出方法在保持相同机器视觉检测精度的同时,可节约12.7%的码率。
文摘近年来随着视频编码技术的发展以及高清视频需求的快速增长,国际运动图像专家组ISO-IEC/MPEG和国际电信联盟的视频编码专家组ITU-T/VCEG于2010年成立了视频编码联合工作组JCT-VC,开始针对高分辨率视频应用制定新一代视频编码标准,即高效视频编码HEVC(High Efficiency Video Coding),2012年底形成了国际标准草案,并开发了相应的测试模型HM,进行性能评估和算法测试.该文将对标准制定过程中涉及到的关键技术进行详细介绍,主要包括:基于四叉树结构的编码块组织形式、先进的运动矢量预测和合并方法、多方向的帧内预测模式、基于DCT的分像素插值技术和内容自适应的算术编码技术等,最后对相关编码工具的编码效率、计算复杂度进行了分析,并且指出了未来的研究方向.
文摘HEVC(High efficiency video coding)是新一代的视频编码标准,它仍然采用了与先前视频编码标准H.264/AVC一样的混合视频编码的基本框架,但在各个编码模块都进行了改进和革新。与H.264/AVC相比较,在相同视频质量和应用条件下HEVC的码率降低将近一半。本文对HEVC的关键技术进行综述,着重研究探讨了帧内和帧间预测技术的原理和实现过程。
