基于深度学习的多层级恰可察觉失真预测

1

作者 徐海峰 王鸿奎 +1 位作者 殷海兵 陈楚翘 《电信科学》 北大核心 2024年第1期35-47,共13页

视觉恰可察觉失真(just noticeable distortion,JND)直接反映人眼视觉系统对视觉信号噪声的敏感程度,广泛应用于图像和视频处理领域。针对视频JND阈值的多层级预测问题,将其转化为用户满意率(satisfied user ratio,SUR)曲线的预测问题,... 视觉恰可察觉失真(just noticeable distortion,JND)直接反映人眼视觉系统对视觉信号噪声的敏感程度,广泛应用于图像和视频处理领域。针对视频JND阈值的多层级预测问题,将其转化为用户满意率(satisfied user ratio,SUR)曲线的预测问题,并提出一种基于特征融合的SUR曲线预测模型。该模型主要分为关键帧选择模块、特征提取和融合模块以及SUR分数回归模块。在关键帧选择模块,根据视觉感知机制,提出空时域感知复杂度并以此作为视频关键帧判决指标。在特征提取和融合模块,基于密集残差块(dense residual block,RDB)提出多尺度密集残差网络实现图像特征提取和多尺度融合。实验结果表明,所提出的SUR曲线预测模型在JND阈值预测精度方面整体优于现有模型,且在运行效率上平均降低8.1%的时间成本。同时,该模型还可以用于预测其他层级JND阈值,可直接应用于视频多层级感知编码优化。 展开更多

关键词 恰可察觉失真 深度学习 质量评价

在线阅读 下载PDF 职称材料

基于视觉对比敏感度与恰可察觉失真感知的图像复原 被引量：8

2

作者 杨亚威 李俊山 +2 位作者 张士杰 芦鸿雁 胡双演 《光学精密工程》 EI CAS CSCD 北大核心 2014年第2期459-466,共8页

针对传统复原算法在低信噪比情况下复原结果感知效果差的问题,提出了一种基于视觉对比敏感度与恰可察觉失真感知的图像复原方法。首先,利用离散余弦变换(DCT)分解图像,将图像编码为不同尺度下的一系列子带,利用概率和模型及DCT感知模型... 针对传统复原算法在低信噪比情况下复原结果感知效果差的问题,提出了一种基于视觉对比敏感度与恰可察觉失真感知的图像复原方法。首先,利用离散余弦变换(DCT)分解图像,将图像编码为不同尺度下的一系列子带,利用概率和模型及DCT感知模型计算每条子带的恰可察觉失真阈值,并采用明可夫斯基距离计算失真度量;然后,对于每个尺度下的每条子带,利用一个迭代的两断对分程序来调整每个尺度下的每条子带的通道权重,直至子带的失真度量恰好等于期望的失真阈值;最后,利用对比敏感函数对每条子带中的系数进行视觉敏感度加权,通过DCT逆变换对视觉感知加权后的系数进行重构以得到最终的复原图像。基于LIVE图像库的实验结果表明,本文复原算法不仅能够有效地增加图像的信噪比,而且能够很好地改善图像的感知质量。 展开更多

关键词 图像复原 视觉对比敏感度 恰可察觉失真 离散余弦变换

在线阅读 下载PDF 职称材料

基于视频时域感知特性的恰可察觉失真模型 被引量：3

3

作者 邢亚芬 殷海兵 +1 位作者 王鸿奎 骆琼华 《电信科学》 2022年第2期92-102,共11页

现有的时域恰可察觉失真(just noticeable distortion,JND)模型对时域特征参量的作用刻画尚不够充分,导致空时域JND模型精度不够理想。针对此问题,提出能准确刻画视频时域特性的特征参量以及异质特征参量同质化融合方法,并基于此改进时... 现有的时域恰可察觉失真(just noticeable distortion,JND)模型对时域特征参量的作用刻画尚不够充分,导致空时域JND模型精度不够理想。针对此问题,提出能准确刻画视频时域特性的特征参量以及异质特征参量同质化融合方法,并基于此改进时域JND模型。关注前景/背景运动、时域持续时间、时域预测残差波动强度、帧间预测残差等特征参量,用来刻画视频内容的时域特征;基于人眼视觉系统(human visual system,HVS)特性探索感知概率密度函数,将异质特征参量统一映射到自信息和信息熵尺度上,实现同质化融合度量;从能量分配的角度探究视觉注意与掩蔽的耦合方法,并据此构建时域JND权重模型。在空域JND阈值的基础上,融合时域权重以得到更加准确的空时域JND模型。为了评估空时域JND模型的性能,进行了主观质量评估实验,与现有的JND模型相比,在感知质量接近的情况下,提出的空时域JND模型能够容忍更多失真,具有更强的掩藏噪声的能力。 展开更多

关键词 恰可察觉失真 人眼视觉特性 视觉掩蔽 视觉注意 自信息 信息熵

在线阅读 下载PDF 职称材料

基于熵掩蔽的DCT域恰可察觉失真模型 被引量：3

4

作者 骆琼华 王鸿奎 +1 位作者 殷海兵 邢亚芬 《电信科学》 2023年第2期59-70,共12页

为提高离散余弦变换(discrete cosine transform,DCT)域恰可察觉失真(just noticeable distortion,JND)模型阈值精度并避免跨域操作,将熵掩蔽效应引入DCT域JND模型。首先,从自由能理论和贝叶斯推理出发,设计基于DCT域纹理能量相似性的... 为提高离散余弦变换(discrete cosine transform,DCT)域恰可察觉失真(just noticeable distortion,JND)模型阈值精度并避免跨域操作,将熵掩蔽效应引入DCT域JND模型。首先,从自由能理论和贝叶斯推理出发,设计基于DCT域纹理能量相似性的自回归模型模拟视觉感知过程中的自发预测行为;其次,探索视觉感知与预测残差的映射关系得到块级无序度,并将熵掩蔽效应建模为关于无序度的JND阈值调节因子;最后,结合空间对比敏感度函数、亮度自适应掩蔽以及对比度掩蔽,提出基于熵掩蔽的DCT域JND模型。与现有DCT域JND模型相比,所提模型所有运算均在DCT域执行,更高效简洁。主观、客观实验结果表明,所提模型在感知质量相同或更好的情况下,噪声污染图的平均峰值信噪比(peak signal-to-noise ratio,PSNR)值比其他4个JND对比模型低2.04 dB,更符合人眼视觉系统的感知特性。 展开更多

关键词 恰可察觉失真 人眼视觉系统 熵掩蔽效应 自由能理论 贝叶斯推理

在线阅读 下载PDF 职称材料

基于颜色复杂度和结构张量的恰可察觉失真模型

5

作者 王闯 王永芳 练俊杰 《上海大学学报（自然科学版）》 CAS CSCD 北大核心 2022年第2期250-260,共11页

图像的恰可察觉失真(just noticeable distortion,JND)阈值是指人眼能够察觉的最小失真,通常被用于去除图像/视频压缩中的视觉冗余.针对JND模型对颜色和结构特征利用不充分的问题,提出了一种基于颜色复杂度和结构张量的JND模型.首先,计... 图像的恰可察觉失真(just noticeable distortion,JND)阈值是指人眼能够察觉的最小失真,通常被用于去除图像/视频压缩中的视觉冗余.针对JND模型对颜色和结构特征利用不充分的问题,提出了一种基于颜色复杂度和结构张量的JND模型.首先,计算图像的颜色复杂度,将其转换为与视觉敏感度相关的权值,和对比掩蔽模型结合以提升模型的准确性;然后,利用结构张量对局部特征进行表示,建立基于局部结构特征的调制因子,估计结构不规则区域的视觉冗余程度;最后,将基于颜色复杂度的JND模型和基于结构张量的调制因子结合,建立基于颜色复杂度和结构张量的JND(complexity structure tensor based JND,CSJND)模型.实验结果表明,相比于已有的模型,该模型在主观感知质量相同的前提下,能使PSNR值明显降低;该模型更加符合人眼的视觉特性,能更准确地估计出JND阈值. 展开更多

关键词 恰可察觉失真模型 颜色复杂度 结构张量

在线阅读 下载PDF 职称材料

基于视觉感知的率失真优化算法 被引量：2

6

作者 魏宏安 刘嘉棋 +2 位作者 林丽群 杨静 陈炜玲 《仪器仪表学报》 EI CAS CSCD 北大核心 2022年第5期175-182,共8页

率失真优化在视频编码中起着关键作用,其目的是在压缩效率和视频质量失真之间取得平衡。现有的率失真算法主要针对视频中时间和空间冗余的消除,未充分考虑视频内容的主观感知冗余。本文提出了一种基于视觉感知的率失真优化算法,通过数... 率失真优化在视频编码中起着关键作用,其目的是在压缩效率和视频质量失真之间取得平衡。现有的率失真算法主要针对视频中时间和空间冗余的消除,未充分考虑视频内容的主观感知冗余。本文提出了一种基于视觉感知的率失真优化算法,通过数据驱动的JND预测模型推导拉格朗日乘数因子,并使用显著性模型优化拉格朗日乘子权重系数,最终融合应用于率失真优化,并采用SW-SSIM评估视频质量,实现视频编码的感知优化。实验结果表明,与AVS3标准率失真算法相比,本文所提算法平均节省12.15%的码率,SW-SSIM提高了0.004 3,有效降低了视频内容中的感知冗余,提高了视频感知质量和编码性能。 展开更多

关键词 率失真优化 恰可察觉失真 显著性模型 第三代国家数字音视频编码技术标准

在线阅读 下载PDF 职称材料

结合人眼视觉感知特性的光场图像编码方法

7

作者 冀宇航 蒋志迪 郁梅 《激光杂志》 CAS 北大核心 2024年第6期125-131,共7页

光场图像可同时记录场景中光线强度与方向信息,但要求更多的存储、传输资源,因而需要高效的编码方案。提出了一种结合人眼视觉感知特性的光场图像编码方法,实现了端到端的感知光场编码。考虑到在光场编码相同的失真等级情况下,显著性区... 光场图像可同时记录场景中光线强度与方向信息,但要求更多的存储、传输资源,因而需要高效的编码方案。提出了一种结合人眼视觉感知特性的光场图像编码方法,实现了端到端的感知光场编码。考虑到在光场编码相同的失真等级情况下,显著性区域的失真更易被察觉,提出光场图像感知编码方法。针对子孔径图像感知冗余,考虑到像素域恰可察觉失真(Just Noticeable Distortion,JND)模型没有关注显著区域特性,构建了结合显著性的JND掩蔽模型;其后,针对每一帧子孔径图像进行考虑人眼感知的自适应码率分配。实验结果表明,在低延时模式下,与高效视频编码(High Efficiency Video Coding,HEVC)方法相比,所提方法在相同的显著性加权峰值信噪比SW-PSNR质量指标下平均节省16.01%的码率,在与人眼主观感受契合度更高的情况下,实现了光场图像编码效率的提升。 展开更多

关键词 光场图像编码 码率分配 人眼感知 恰可察觉失真

在线阅读 下载PDF 职称材料

一种基于人眼视觉特性的视频质量评价算法 被引量：9

8

作者 朱宏 蒋刚毅 +4 位作者 王晓东 陈芬 郁梅 邵枫 彭宗举 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2014年第5期776-781,共6页

为了更好地提高视频编码效率与视频处理的性能,考虑人眼对不同内容的感知特性和掩蔽效应,以及时域人眼视觉特性,提出一种基于人眼视觉特性的视频客观质量评价算法.首先利用三维Sobel矩阵提取时空特性划分区域,并结合恰可察觉失真视觉阈... 为了更好地提高视频编码效率与视频处理的性能,考虑人眼对不同内容的感知特性和掩蔽效应,以及时域人眼视觉特性,提出一种基于人眼视觉特性的视频客观质量评价算法.首先利用三维Sobel矩阵提取时空特性划分区域,并结合恰可察觉失真视觉阈值与绝对差值图来提取感兴趣区域;然后对感兴趣区域进行感知加权,并利用线性加权进行空间域融合;最后结合时域人眼视觉特性,利用低通函数模拟人眼的不对称感知,并通过最差情况加权策略得到视频序列客观质量评价值.在LIVE视频质量数据库上的实验结果表明,该质量评价算法具有较好的评价性能,更接近于主观测试结果. 展开更多

关键词 视频质量评价 人眼视觉特性 感知加权 恰可察觉失真

在线阅读 下载PDF 职称材料

一种基于视觉感知的H.264码率控制算法 被引量：2

9

作者 田波 杨宜民 蔡述庭 《图学学报》 CSCD 北大核心 2014年第5期762-767,共6页

针对目前视频编码标准H.264的码率控制算法未考虑人眼视觉感知、易导致编码后视频图像质量波动的不足,提出了一种基于视觉感知的H.264码率控制算法。首先,设计了像素域的恰可察觉失真模型。在此基础上,根据各帧的恰可察觉失真的大小进... 针对目前视频编码标准H.264的码率控制算法未考虑人眼视觉感知、易导致编码后视频图像质量波动的不足,提出了一种基于视觉感知的H.264码率控制算法。首先,设计了像素域的恰可察觉失真模型。在此基础上,根据各帧的恰可察觉失真的大小进行帧层比特分配。其次,建立了基于结构相似度的率失真模型,并采用此模型设计了基本单元层(basic unit,BU)的比特分配方案。最后结合二次速率-量化模型得到量化参数。实验结果表明,该算法与目前H.264中典型的码率控制算法相比,错误率降低了0.2%。 展开更多

关键词 码率控制 恰可察觉失真 比特分配 结构相似度

在线阅读 下载PDF 职称材料

基于JND与梯度显著度的HDR视频编码方法 被引量：4

10

作者 赵旭辉 郁梅 +1 位作者 徐海勇 宋洋 《激光杂志》 北大核心 2020年第7期72-79,共8页

高动态范围(High Dynamic Range,HDR)成像能够呈现更加真实的画面,由于其庞大的数据量,如何结合视觉感知实现其高效编码十分重要。提出一种基于恰可察觉失真(Just Noticeable Difference,JND)与梯度显著度(Gradient Saliency,GS)的HDR... 高动态范围(High Dynamic Range,HDR)成像能够呈现更加真实的画面,由于其庞大的数据量,如何结合视觉感知实现其高效编码十分重要。提出一种基于恰可察觉失真(Just Noticeable Difference,JND)与梯度显著度(Gradient Saliency,GS)的HDR视频编码方法。首先,依据最大熵定理分割HDR视频帧得到高亮、低暗与中间亮度区域,根据分割结果计算并修正针对HDR视觉内容的JND阈值。然后,出于不同复杂程度的纹理信息对于人眼显著性不同的考虑,使用GS作为人眼获取视觉信息的影响因素。最后,将GS协同JND通过感知模型,进而指导HDR视频编码的率失真优化过程,实现在HDR视频编码中更加符合视觉感知的码率分配并降低码率。实验结果表明,所提方法能够有效提高HDR视频编码性能。 展开更多

关键词 高动态范围视频 视频编码 率失真优化 梯度显著度 恰可察觉失真

在线阅读 下载PDF 职称材料

结合像素域JND阈值空间相关性与图像块类型的残差滤波算法 被引量：1

11

作者 张斐然 何小海 +3 位作者 卿粼波 田刚 熊淑华 吴小强 《电讯技术》 北大核心 2019年第2期192-198,共7页

为了更好地将人眼视觉感知特性应用于视频压缩系统,从而去除视频的视觉冗余成分,在利用像素域的恰可察失真(Just Noticeable Distortion,JND)阈值的基础上,结合JND阈值的空间相关性与图像块类型,提出了一种改进的残差滤波算法。该算法... 为了更好地将人眼视觉感知特性应用于视频压缩系统,从而去除视频的视觉冗余成分,在利用像素域的恰可察失真(Just Noticeable Distortion,JND)阈值的基础上,结合JND阈值的空间相关性与图像块类型,提出了一种改进的残差滤波算法。该算法首先在像素域计算出每个像素的JND阈值,然后在变换单元(Transform Unit,TU)中挖掘每个像素JND阈值与其周围邻近像素JND阈值之间的空间相关性,再利用索贝儿(Sobel)边缘检测算子将TU分成不同类型的图像块,并且计算出对应的复杂度因子,最后结合上述像素JND阈值的空间相关性和TU复杂度因子对TU残差进行滤波。提出的算法模型可以嵌入到高效率视频编码(High Efficiency Video Coding,HEVC)框架。实验结果表明,在全I帧配置下,提出的算法与标准算法HM16.0相比,在人眼主观感知质量基本一致的情况下,平均可节省16.1%的码率。 展开更多

关键词 视频压缩系统 视觉感知特性 恰可察觉失真(JND) 高效率视频编码(HEVC) 残差滤波

在线阅读 下载PDF 职称材料

采用SJND模型的动态点云感知编码方法 被引量：1

12

作者 刘威 郁梅 +1 位作者 蒋志迪 徐海勇 《激光杂志》 CAS 北大核心 2023年第4期107-113,共7页

动态点云能有效描述自然场景与3D对象,提供沉浸式视觉体验;但其数据量庞大。需对其进行有效压缩。提出了采用显著性引导的恰可察觉失真(Saliency-guided Just Noticeable Distortion,SJND)模型的动态点云感知编码方法。针对纹理图感知冗... 动态点云能有效描述自然场景与3D对象,提供沉浸式视觉体验;但其数据量庞大。需对其进行有效压缩。提出了采用显著性引导的恰可察觉失真(Saliency-guided Just Noticeable Distortion,SJND)模型的动态点云感知编码方法。针对纹理图感知冗余,构建了基于离散余弦变换域的SJND模型,应用于纹理图编码过程中的DCT系数抑制;考虑到相同失真等级下显著区域的几何失真更易被察觉,提出使用投影显著图将几何图进行分层;最后,为不同层级的编码树单元进行自适应量化参数选择和编码。与V-PCC标准方法相比,在保证动态点云视觉质量的前提下,所提出方法提升了动态点云的编码效率。 展开更多

关键词 动态点云编码 基于视频的点云压缩 显著性引导恰可察觉失真模型 自适应量化参数选择

在线阅读 下载PDF 职称材料

基于混沌加密的彩色图像自适应密写算法 被引量：1

13

作者 岳乐 彭波 《计算机应用》 CSCD 北大核心 2007年第10期2470-2472,共3页

提出了一种新的利用混沌信号作为密钥流对密写信息进行加密,进而根据载体图像特性进行分块,自适应调节嵌入深度的最低比特位(LSB)密写算法。实验结果表明,该密写算法具有较好的隐蔽性,以及较大的隐藏容量。通过对彩色图片的密写来进行... 提出了一种新的利用混沌信号作为密钥流对密写信息进行加密,进而根据载体图像特性进行分块,自适应调节嵌入深度的最低比特位(LSB)密写算法。实验结果表明,该密写算法具有较好的隐蔽性,以及较大的隐藏容量。通过对彩色图片的密写来进行文本信息传输,较好地解决了在互联网上信息传输的通信安全问题。 展开更多

关键词 密写 彩色图像 混沌系统 恰可察觉失真阈值 最低比特位

在线阅读 下载PDF 职称材料

基于双目感知的多视点视频快速编码算法

14

作者 刘星宇 郁梅 《计算机工程与应用》 CSCD 2014年第14期229-232,共4页

为了减少多视点视频编码过程中多参考帧预测技术巨大的编码复杂度,提出基于双目恰可察觉失真(BJND)的多视点视频多参考帧快速选择算法,通过分析多参考帧选择与BJND之间的统计特性,提前结束多参考帧选择过程。当BJND大于阈值时,确定参考... 为了减少多视点视频编码过程中多参考帧预测技术巨大的编码复杂度,提出基于双目恰可察觉失真(BJND)的多视点视频多参考帧快速选择算法,通过分析多参考帧选择与BJND之间的统计特性,提前结束多参考帧选择过程。当BJND大于阈值时,确定参考帧列表中时间或者视点上第一参考帧为最优参考帧。实验结果表明,所提出的快速算法在几乎不影响编码率失真性能的情况下,比多视点视频编码校验模型平均节约76%的编码时间。 展开更多

关键词 多视点视频编码 多参考帧快速选择算法 双目恰可察觉失真(BJND)

在线阅读 下载PDF 职称材料