现代语音合成和音色转换系统产生的虚假语音对自动说话人识别系统构成了严重威胁。大多数现有的虚假语音检测系统对在训练中已知的攻击类型表现良好,但对实际应用中的未知攻击类型检测效果显著降低。因此,结合最近提出的双路径Res2Net(D...现代语音合成和音色转换系统产生的虚假语音对自动说话人识别系统构成了严重威胁。大多数现有的虚假语音检测系统对在训练中已知的攻击类型表现良好,但对实际应用中的未知攻击类型检测效果显著降低。因此,结合最近提出的双路径Res2Net(DP-Res2Net),提出一种基于时域波形的半监督端到端虚假语音检测方法。首先,为了解决训练数据集和测试数据集两者数据分布差异较大的问题,采用半监督学习进行领域迁移;然后,对于特征工程,直接将时域采样点输入DP-Res2Net中,增加局部的多尺度信息,并充分利用音频片段之间的依赖性;最后,输入特征经过浅层卷积模块、特征融合模块、全局平均池化模块得到嵌入张量,用来判别自然语音与虚假伪造语音。在公开可用的ASVspoof 2021 Speech Deep Fake评估集和VCC数据集上评估了所提出方法的性能,实验结果表明它的等错误率(EER)为19.97%,与官方最优基线系统相比降低了10.8%。基于时域波形的半监督端到端检测虚假语音检测方法面对未知攻击时是有效的,且具有更高的泛化能力。展开更多
提出了一种在粒子滤波框架下的结合在线外观模型(online appearance model,OAM)和柱状人头模型(cylinder head model,CHM)的人脸三维运动跟踪方案,具体包括:1)融合多种观测信息来降低OAM的光照敏感性和个体相关性;2)针对OAM适合跟踪局...提出了一种在粒子滤波框架下的结合在线外观模型(online appearance model,OAM)和柱状人头模型(cylinder head model,CHM)的人脸三维运动跟踪方案,具体包括:1)融合多种观测信息来降低OAM的光照敏感性和个体相关性;2)针对OAM适合跟踪局部运动但在大姿态下会跟踪失败的问题,将OAM与适合于大姿态下全局运动跟踪的CHM结合起来,在当前帧将CHM匹配得到的全局运动参数作为OAM匹配的初始值,将OAM匹配得到的人脸运动参数作为下一帧CHM匹配的初始值;3)基于局部优化和改进重采样来改进粒子运动滤波策略.实验表明:该系统在大姿态、表情剧烈变化、遮挡和强光照下能得到较好的跟踪效果,且OAM+CHM的跟踪正确率高于OAM的24%,OAM+CHM的姿态跟踪范围大于OAM的11%.主观实验表明:由跟踪得到的人脸运动参数合成的虚拟人脸具有较高的辨识度.展开更多
文摘现代语音合成和音色转换系统产生的虚假语音对自动说话人识别系统构成了严重威胁。大多数现有的虚假语音检测系统对在训练中已知的攻击类型表现良好,但对实际应用中的未知攻击类型检测效果显著降低。因此,结合最近提出的双路径Res2Net(DP-Res2Net),提出一种基于时域波形的半监督端到端虚假语音检测方法。首先,为了解决训练数据集和测试数据集两者数据分布差异较大的问题,采用半监督学习进行领域迁移;然后,对于特征工程,直接将时域采样点输入DP-Res2Net中,增加局部的多尺度信息,并充分利用音频片段之间的依赖性;最后,输入特征经过浅层卷积模块、特征融合模块、全局平均池化模块得到嵌入张量,用来判别自然语音与虚假伪造语音。在公开可用的ASVspoof 2021 Speech Deep Fake评估集和VCC数据集上评估了所提出方法的性能,实验结果表明它的等错误率(EER)为19.97%,与官方最优基线系统相比降低了10.8%。基于时域波形的半监督端到端检测虚假语音检测方法面对未知攻击时是有效的,且具有更高的泛化能力。
文摘提出了一种在粒子滤波框架下的结合在线外观模型(online appearance model,OAM)和柱状人头模型(cylinder head model,CHM)的人脸三维运动跟踪方案,具体包括:1)融合多种观测信息来降低OAM的光照敏感性和个体相关性;2)针对OAM适合跟踪局部运动但在大姿态下会跟踪失败的问题,将OAM与适合于大姿态下全局运动跟踪的CHM结合起来,在当前帧将CHM匹配得到的全局运动参数作为OAM匹配的初始值,将OAM匹配得到的人脸运动参数作为下一帧CHM匹配的初始值;3)基于局部优化和改进重采样来改进粒子运动滤波策略.实验表明:该系统在大姿态、表情剧烈变化、遮挡和强光照下能得到较好的跟踪效果,且OAM+CHM的跟踪正确率高于OAM的24%,OAM+CHM的姿态跟踪范围大于OAM的11%.主观实验表明:由跟踪得到的人脸运动参数合成的虚拟人脸具有较高的辨识度.
