近年来,随着计算机视觉在智能监控、自动驾驶等领域的广泛应用,越来越多视频不仅用于人类观看,还可直接由机器视觉算法进行自动分析。如何高效地面向机器视觉存储和传输此类视频成为新的挑战。然而,现有的视频编码标准,如最新的多功能...近年来,随着计算机视觉在智能监控、自动驾驶等领域的广泛应用,越来越多视频不仅用于人类观看,还可直接由机器视觉算法进行自动分析。如何高效地面向机器视觉存储和传输此类视频成为新的挑战。然而,现有的视频编码标准,如最新的多功能视频编码(Versatile Video Coding,VVC/H.266),主要针对人眼视觉特性进行优化,未能充分考虑压缩对机器视觉任务的性能影响。为解决这一问题,本文以多目标跟踪作为典型的机器视觉视频处理任务,提出一种面向机器视觉的VVC帧内编码算法。首先,使用神经网络可解释性方法,梯度加权类激活映射(Gradient-weighted Class Activation Mapping,GradCAM++),对视频内容进行显著性分析,定位出机器视觉任务所关注的区域,并以显著图的形式表示。随后,为了突出视频画面中的关键边缘轮廓信息,本文引入边缘检测并将其结果与显著性分析结果进行融合,得到最终的机器视觉显著性图。最后,基于融合后的机器视觉显著性图改进VVC模式选择过程,优化VVC中的块划分和帧内预测的模式决策过程。通过引入机器视觉失真,代替原有的信号失真来调整率失真优化公式,使得编码器在压缩过程中尽可能保留对视觉任务更为相关的信息。实验结果表明,与VVC基准相比,所提出方法在保持相同机器视觉检测精度的同时,可节约12.7%的码率。展开更多
针对通用视频编码(versatile video coding,VVC)在编码单元(coding unit,CU)划分中引入了多类型树划分结构导致编码复杂度增加的问题,提出了一种基于CU子块方向特性与空间复杂度的快速划分算法。首先利用CU整体的纹理复杂度对当前CU进...针对通用视频编码(versatile video coding,VVC)在编码单元(coding unit,CU)划分中引入了多类型树划分结构导致编码复杂度增加的问题,提出了一种基于CU子块方向特性与空间复杂度的快速划分算法。首先利用CU整体的纹理复杂度对当前CU进行分类,筛选出不划分CU;然后利用子块不同划分方向的特性差异提前决策CU划分方向;最后利用CU中间区域与边缘区域的复杂度差异特征判断是否跳过三叉树(ternary tree,TT)划分,进一步减少候选列表划分模式数量。实验结果表明,与官方测试平台VTM10.0相比,编码器在平均输出比特率增加1.12%的代价下,编码时间减少了40.25%,说明该算法在通用视频编码中能以较小的质量损失实现更短的编码时间。展开更多
针对多功能视频编码(Versatile Video Coding,VVC)标准中跨通道线性预测模型(Cross-Component Linear Model,CCLM)无法很好地拟合色度与亮度之间的非线性对应关系这一不足,提出了一种基于注意力机制卷积神经网络的VVC色度预测算法。该...针对多功能视频编码(Versatile Video Coding,VVC)标准中跨通道线性预测模型(Cross-Component Linear Model,CCLM)无法很好地拟合色度与亮度之间的非线性对应关系这一不足,提出了一种基于注意力机制卷积神经网络的VVC色度预测算法。该算法主要思想是在进行色度预测时,使用对应亮度块的信息与待预测色度块上方与左方的信息作为参考信息输入进卷积神经网络,利用注意力机制对参考信息中的亮度与色度间的内在联系进行分配权重后输入预测网络。实验结果表明,相较于VVC标准算法U分量和V分量的平均码率节省分别为0.64%和0.68%,有效提升了VVC编码性能。展开更多
为了降低下一代通用视频编码(VVC)帧内预测编码单元(CU)划分的计算复杂度,提出一种基于梯度幅值相似度的CU快速划分方法.首先,计算当前编码单元下层的四个子编码单元的平均梯度幅值相似度偏差(M GM SD),根据该信息来确定当前编码单元是...为了降低下一代通用视频编码(VVC)帧内预测编码单元(CU)划分的计算复杂度,提出一种基于梯度幅值相似度的CU快速划分方法.首先,计算当前编码单元下层的四个子编码单元的平均梯度幅值相似度偏差(M GM SD),根据该信息来确定当前编码单元是否进行四叉树划分或不划分.其次,当不满足四叉树划分和不划分的条件时,通过遍历得到三叉树划分和二叉树划分的子块像素方差的方差,根据该信息来选择二叉树和三叉树中最佳的划分方式.在全I帧条件下,本文方法与VTM7.0(VVC Test Model 7.0)标准模型相比,编码时长平均降低了50.69%,在大幅降低编码复杂度的同时码率仅增加1.36%.展开更多
为解决当前视频重压缩取证方法没有考虑色度域信息、取证准确度低的问题,提出一种面向最新多用途视频编码(versatile video coding,VVC)标准色度域亮度域信息融合的监控视频重压缩取证方法(CLF-SVRF)。基于VVC标准的编码原理,从监控视...为解决当前视频重压缩取证方法没有考虑色度域信息、取证准确度低的问题,提出一种面向最新多用途视频编码(versatile video coding,VVC)标准色度域亮度域信息融合的监控视频重压缩取证方法(CLF-SVRF)。基于VVC标准的编码原理,从监控视频的色度域和亮度域维度分析并确定VVC视频码流中与压缩次数密切相关的基础码流特征;基础码流特征包括色度域和亮度域编码单元(coding unit,CU)的划分类型及预测模式;结合拉格朗日率失真优化技术分析随着压缩次数的增加,色度域亮度域CU划分类型和预测模式的变化;进一步确定色度域亮度域CU划分类型和预测模式可以作为检测视频压缩次数的基础码流特征;接着考虑视频监控应用对重压缩取证方法低复杂度的需求,基于色度域亮度域CU划分类型和预测模式构建低复杂度高级码流特征;将高级码流特征输入支持向量机完成监控视频的重压缩取证。实验结果表明,与当前先进方法相比,CLF-SVRF方法的监控视频重压缩取证准确度平均提升了13.53%,同时可以大幅度地降低重压缩取证耗时,重压缩取证时间平均减少了47.42%。展开更多
新一代视频编码标准H.266/VVC(Versatile Video Coding)的码率控制算法采用编码参数相互独立的率失真优化技术。然而,同一帧内的编码树单元(CTU)间在空域上相互影响,且存在全局编码参数;同时,CTU级比特分配公式采用近似的编码参数分配比...新一代视频编码标准H.266/VVC(Versatile Video Coding)的码率控制算法采用编码参数相互独立的率失真优化技术。然而,同一帧内的编码树单元(CTU)间在空域上相互影响,且存在全局编码参数;同时,CTU级比特分配公式采用近似的编码参数分配比特,进而降低了码率控制精度和编码性能。针对上述问题,提出空域全局优化CTU级比特分配算法RTE_RC(Rate Control with Recursive Taylor Expansion),并通过递归算法逼近全局编码参数。首先,建立空域全局优化比特分配模型;其次,应用递归算法求解CTU级比特分配模型中的全局拉格朗日乘子;最后,优化编码单元的比特分配并对编码单位进行编码。实验结果表明,在低延时P(Prediction)帧(LDP)配置下,与码率控制算法VTM_RC相比,所提算法的码率控制误差由0.46%下降至0.02%,码率节省了2.48个百分点,编码时间下降了3.52%,显著提升了码率控制精度和率失真性能。展开更多
通用视频编码(Versatile Video Coding,VVC)是正在探索中的下一代视频编解码标准,在新标准的制定过程中,加入了许多新技术,在提升编码性能的同时,增加了编码复杂度。针对这种情况,通过对新标准编码过程中帧间预测单元划分算法的研究发现...通用视频编码(Versatile Video Coding,VVC)是正在探索中的下一代视频编解码标准,在新标准的制定过程中,加入了许多新技术,在提升编码性能的同时,增加了编码复杂度。针对这种情况,通过对新标准编码过程中帧间预测单元划分算法的研究发现,在VVC进行帧间单元划分时,进行了多余的更深层次的划分,从而提高了编码复杂度。因此提出了一种划分层次限制的快速帧间预测算法,使单元划分提前结束,避免了多余的划分层次。实验结果表明,新算法在RA配置下,在增加1.58%的压缩率,损失0.0362的图像失真度的情况下,编码复杂度降低了46.39%,从而验证了优化算法能有效降低编码复杂度。展开更多
文摘近年来,随着计算机视觉在智能监控、自动驾驶等领域的广泛应用,越来越多视频不仅用于人类观看,还可直接由机器视觉算法进行自动分析。如何高效地面向机器视觉存储和传输此类视频成为新的挑战。然而,现有的视频编码标准,如最新的多功能视频编码(Versatile Video Coding,VVC/H.266),主要针对人眼视觉特性进行优化,未能充分考虑压缩对机器视觉任务的性能影响。为解决这一问题,本文以多目标跟踪作为典型的机器视觉视频处理任务,提出一种面向机器视觉的VVC帧内编码算法。首先,使用神经网络可解释性方法,梯度加权类激活映射(Gradient-weighted Class Activation Mapping,GradCAM++),对视频内容进行显著性分析,定位出机器视觉任务所关注的区域,并以显著图的形式表示。随后,为了突出视频画面中的关键边缘轮廓信息,本文引入边缘检测并将其结果与显著性分析结果进行融合,得到最终的机器视觉显著性图。最后,基于融合后的机器视觉显著性图改进VVC模式选择过程,优化VVC中的块划分和帧内预测的模式决策过程。通过引入机器视觉失真,代替原有的信号失真来调整率失真优化公式,使得编码器在压缩过程中尽可能保留对视觉任务更为相关的信息。实验结果表明,与VVC基准相比,所提出方法在保持相同机器视觉检测精度的同时,可节约12.7%的码率。
文摘针对通用视频编码(versatile video coding,VVC)在编码单元(coding unit,CU)划分中引入了多类型树划分结构导致编码复杂度增加的问题,提出了一种基于CU子块方向特性与空间复杂度的快速划分算法。首先利用CU整体的纹理复杂度对当前CU进行分类,筛选出不划分CU;然后利用子块不同划分方向的特性差异提前决策CU划分方向;最后利用CU中间区域与边缘区域的复杂度差异特征判断是否跳过三叉树(ternary tree,TT)划分,进一步减少候选列表划分模式数量。实验结果表明,与官方测试平台VTM10.0相比,编码器在平均输出比特率增加1.12%的代价下,编码时间减少了40.25%,说明该算法在通用视频编码中能以较小的质量损失实现更短的编码时间。
文摘针对多功能视频编码(Versatile Video Coding,VVC)标准中跨通道线性预测模型(Cross-Component Linear Model,CCLM)无法很好地拟合色度与亮度之间的非线性对应关系这一不足,提出了一种基于注意力机制卷积神经网络的VVC色度预测算法。该算法主要思想是在进行色度预测时,使用对应亮度块的信息与待预测色度块上方与左方的信息作为参考信息输入进卷积神经网络,利用注意力机制对参考信息中的亮度与色度间的内在联系进行分配权重后输入预测网络。实验结果表明,相较于VVC标准算法U分量和V分量的平均码率节省分别为0.64%和0.68%,有效提升了VVC编码性能。
文摘为了降低下一代通用视频编码(VVC)帧内预测编码单元(CU)划分的计算复杂度,提出一种基于梯度幅值相似度的CU快速划分方法.首先,计算当前编码单元下层的四个子编码单元的平均梯度幅值相似度偏差(M GM SD),根据该信息来确定当前编码单元是否进行四叉树划分或不划分.其次,当不满足四叉树划分和不划分的条件时,通过遍历得到三叉树划分和二叉树划分的子块像素方差的方差,根据该信息来选择二叉树和三叉树中最佳的划分方式.在全I帧条件下,本文方法与VTM7.0(VVC Test Model 7.0)标准模型相比,编码时长平均降低了50.69%,在大幅降低编码复杂度的同时码率仅增加1.36%.
文摘为解决当前视频重压缩取证方法没有考虑色度域信息、取证准确度低的问题,提出一种面向最新多用途视频编码(versatile video coding,VVC)标准色度域亮度域信息融合的监控视频重压缩取证方法(CLF-SVRF)。基于VVC标准的编码原理,从监控视频的色度域和亮度域维度分析并确定VVC视频码流中与压缩次数密切相关的基础码流特征;基础码流特征包括色度域和亮度域编码单元(coding unit,CU)的划分类型及预测模式;结合拉格朗日率失真优化技术分析随着压缩次数的增加,色度域亮度域CU划分类型和预测模式的变化;进一步确定色度域亮度域CU划分类型和预测模式可以作为检测视频压缩次数的基础码流特征;接着考虑视频监控应用对重压缩取证方法低复杂度的需求,基于色度域亮度域CU划分类型和预测模式构建低复杂度高级码流特征;将高级码流特征输入支持向量机完成监控视频的重压缩取证。实验结果表明,与当前先进方法相比,CLF-SVRF方法的监控视频重压缩取证准确度平均提升了13.53%,同时可以大幅度地降低重压缩取证耗时,重压缩取证时间平均减少了47.42%。
文摘新一代视频编码标准H.266/VVC(Versatile Video Coding)的码率控制算法采用编码参数相互独立的率失真优化技术。然而,同一帧内的编码树单元(CTU)间在空域上相互影响,且存在全局编码参数;同时,CTU级比特分配公式采用近似的编码参数分配比特,进而降低了码率控制精度和编码性能。针对上述问题,提出空域全局优化CTU级比特分配算法RTE_RC(Rate Control with Recursive Taylor Expansion),并通过递归算法逼近全局编码参数。首先,建立空域全局优化比特分配模型;其次,应用递归算法求解CTU级比特分配模型中的全局拉格朗日乘子;最后,优化编码单元的比特分配并对编码单位进行编码。实验结果表明,在低延时P(Prediction)帧(LDP)配置下,与码率控制算法VTM_RC相比,所提算法的码率控制误差由0.46%下降至0.02%,码率节省了2.48个百分点,编码时间下降了3.52%,显著提升了码率控制精度和率失真性能。
文摘通用视频编码(Versatile Video Coding,VVC)是正在探索中的下一代视频编解码标准,在新标准的制定过程中,加入了许多新技术,在提升编码性能的同时,增加了编码复杂度。针对这种情况,通过对新标准编码过程中帧间预测单元划分算法的研究发现,在VVC进行帧间单元划分时,进行了多余的更深层次的划分,从而提高了编码复杂度。因此提出了一种划分层次限制的快速帧间预测算法,使单元划分提前结束,避免了多余的划分层次。实验结果表明,新算法在RA配置下,在增加1.58%的压缩率,损失0.0362的图像失真度的情况下,编码复杂度降低了46.39%,从而验证了优化算法能有效降低编码复杂度。
