由于网络环境的多变性,视频播放过程中容易出现卡顿、比特率波动等情况,严重影响了终端用户的体验质量.为优化网络资源分配并提升用户观看体验,准确评估视频质量至关重要.现有的视频质量评价方法主要针对短视频,普遍关注人眼视觉感知特...由于网络环境的多变性,视频播放过程中容易出现卡顿、比特率波动等情况,严重影响了终端用户的体验质量.为优化网络资源分配并提升用户观看体验,准确评估视频质量至关重要.现有的视频质量评价方法主要针对短视频,普遍关注人眼视觉感知特性,较少考虑人类记忆特性对视觉信息的存储和表达能力,以及视觉感知和记忆特性之间的相互作用.而用户观看长视频的时候,其质量评价需要动态评价,除了考虑感知要素外,还要引入记忆要素.为了更好地衡量长视频的质量评价,本文引入深度网络模型,深入探讨了视频感知和记忆特性对用户观看体验的影响,并基于两者特性提出长视频的动态质量评价模型.首先,本文设计主观实验,探究在不同视频播放模式下,视觉感知特性和人类记忆特性对用户体验质量的影响,构建了基于用户感知和记忆的视频质量数据库(Video Quality Database with Perception And Memory,PAM-VQD);其次,基于PAM-VQD数据库,采用深度学习的方法,结合视觉注意力机制,提取视频的深层感知特征,以精准评估感知对用户体验质量的影响;最后,将前端网络输出的感知质量分数、播放状态以及自卡顿间隔作为三个特征输入长短期记忆网络,以建立视觉感知和记忆特性之间的时间依赖关系.实验结果表明,所提出的质量评估模型在不同视频播放模式下均能准确预测用户体验质量,且泛化性能良好.展开更多
为了提高现有块压缩感知重构算法的性能,提出了基于全变分和混合变分模型的块压缩感知(简称BCS-TV和BCS-MV)算法。该方法以块为单位进行图像采样,以自然图像正则项的稀疏性为先验条件,通过变型的增广拉格朗日交替方向乘子法(ALM-ADMM),...为了提高现有块压缩感知重构算法的性能,提出了基于全变分和混合变分模型的块压缩感知(简称BCS-TV和BCS-MV)算法。该方法以块为单位进行图像采样,以自然图像正则项的稀疏性为先验条件,通过变型的增广拉格朗日交替方向乘子法(ALM-ADMM),在整幅图像范围内逼近目标函数来重构原始图像。与以前基于一致性块采样的压缩感知工作对比,该算法的PSNR约提高1.5 d B,SSIM约提高0.05,运行速度较稳定,特别适合具有固定传输时延的多媒体数据处理场合。展开更多
文摘由于网络环境的多变性,视频播放过程中容易出现卡顿、比特率波动等情况,严重影响了终端用户的体验质量.为优化网络资源分配并提升用户观看体验,准确评估视频质量至关重要.现有的视频质量评价方法主要针对短视频,普遍关注人眼视觉感知特性,较少考虑人类记忆特性对视觉信息的存储和表达能力,以及视觉感知和记忆特性之间的相互作用.而用户观看长视频的时候,其质量评价需要动态评价,除了考虑感知要素外,还要引入记忆要素.为了更好地衡量长视频的质量评价,本文引入深度网络模型,深入探讨了视频感知和记忆特性对用户观看体验的影响,并基于两者特性提出长视频的动态质量评价模型.首先,本文设计主观实验,探究在不同视频播放模式下,视觉感知特性和人类记忆特性对用户体验质量的影响,构建了基于用户感知和记忆的视频质量数据库(Video Quality Database with Perception And Memory,PAM-VQD);其次,基于PAM-VQD数据库,采用深度学习的方法,结合视觉注意力机制,提取视频的深层感知特征,以精准评估感知对用户体验质量的影响;最后,将前端网络输出的感知质量分数、播放状态以及自卡顿间隔作为三个特征输入长短期记忆网络,以建立视觉感知和记忆特性之间的时间依赖关系.实验结果表明,所提出的质量评估模型在不同视频播放模式下均能准确预测用户体验质量,且泛化性能良好.
文摘为了提高现有块压缩感知重构算法的性能,提出了基于全变分和混合变分模型的块压缩感知(简称BCS-TV和BCS-MV)算法。该方法以块为单位进行图像采样,以自然图像正则项的稀疏性为先验条件,通过变型的增广拉格朗日交替方向乘子法(ALM-ADMM),在整幅图像范围内逼近目标函数来重构原始图像。与以前基于一致性块采样的压缩感知工作对比,该算法的PSNR约提高1.5 d B,SSIM约提高0.05,运行速度较稳定,特别适合具有固定传输时延的多媒体数据处理场合。
