基于消除语义特征的图像篡改定位模型对抗攻击

1

作者 蒋伟豪 刘波 《计算机科学》 北大核心 2025年第S2期839-845,共7页

目前,公众对于日新月异的图像篡改技术越来越担忧,因为它会引发伦理和安全问题。利用深度神经网络可以定位图像篡改区域。然而,随着深度神经网络的发展,针对它的对抗性攻击也层出不穷,这些攻击方法也促进了模型的鲁棒性研究。现有的对... 目前,公众对于日新月异的图像篡改技术越来越担忧,因为它会引发伦理和安全问题。利用深度神经网络可以定位图像篡改区域。然而,随着深度神经网络的发展,针对它的对抗性攻击也层出不穷,这些攻击方法也促进了模型的鲁棒性研究。现有的对抗攻击方法主要关注篡改痕迹特征,然而不同图像篡改定位模型关注的篡改痕迹特征有所不同,导致对抗攻击的迁移能力不足。由于卷积神经网络或Transformer网络也能够提取语义特征,而图像篡改定位模型往往将这些模型作为基线模型,因此模型在提取篡改特征时会不可避免地提取到部分语义特征。为了提高对抗样本的泛化能力,提出一种攻击方法,重点关注消除篡改图像的语义特征,训练一个语义分割网络作为攻击目标,提出一种攻击中间语义特征的损失函数,使得模型难以识别出图像篡改部分的语义信息。这种攻击方法具有较高的迁移能力,可以更好地隐藏扰动并生成更具攻击性的对抗样本,在多种实验下被证明可以攻击绝大多数现有模型并优于其他对抗攻击方法,并为图像篡改定位任务提供了更新颖的见解。 展开更多

关键词 对抗攻击 深度学习 图像篡改定位

在线阅读 下载PDF 职称材料

利用自适应光照初始化的弱光图像增强方法 被引量：12

2

作者 刘波 田广粮 +2 位作者 肖斌 马建峰 毕秀丽 《电子与信息学报》 EI CAS CSCD 北大核心 2024年第2期643-651,共9页

由于光照分量分解估计的高度不确定性,如何准确估计图像的光照分量一直是基于Retinex模型的图像增强方法需要解决的难题。该文提出一个简单有效的方法,准确估计图像的初始光照分量,进而实现弱光图像增强。具体地,首先根据输入图像得到... 由于光照分量分解估计的高度不确定性,如何准确估计图像的光照分量一直是基于Retinex模型的图像增强方法需要解决的难题。该文提出一个简单有效的方法,准确估计图像的初始光照分量,进而实现弱光图像增强。具体地,首先根据输入图像得到其对应的光照权重矩阵,以指导光照分量的自适应初始化估计;随后在光照结构约束下,对初始光照分量优化估计,并进一步执行非线性光照调整;最终结合Retinex模型得到增强结果。实验表明,该方法不仅能够实现准确的图像分解估计,而且与现有的弱光图像增强方法相比,该文所提方法在多个数据集上的主观视觉效果和客观评价指标都有更好的表现,同时也保持着良好的运行效率。 展开更多

关键词 弱光图像增强 Retinex模型 光照自适应估计

在线阅读 下载PDF 职称材料

基于Transformer的文物图像修复方法 被引量：4

3

作者 王真言 蒋胜丞 +3 位作者 宋奇鸿 刘波 毕秀丽 肖斌 《计算机研究与发展》 EI CSCD 北大核心 2024年第3期748-761,共14页

文物极易因为保存不当而导致部分结构或纹理缺失,而现有的图像修复技术由于受到先验信息和卷积操作的局限而无法直接应用于文物图像修复,为更合理地恢复文物图像原貌,提出了一种新的文物图像修复方法,将文物图像修复工作分为2个步骤:第... 文物极易因为保存不当而导致部分结构或纹理缺失,而现有的图像修复技术由于受到先验信息和卷积操作的局限而无法直接应用于文物图像修复,为更合理地恢复文物图像原貌,提出了一种新的文物图像修复方法,将文物图像修复工作分为2个步骤:第1步使用Transformer进行粗略的图像重建并恢复连贯的结构;第2步使用卷积神经网络将粗略的重建图像进行上采样并恢复缺失区域的精细纹理.考虑到目前国内外没有高质量的大型文物数据库,因此也提出了一个新的高质量大型文物图像数据库.最终实验结果表明,在符合现实场景的破损修复实验和大面积破损修复实验中,修复效果在主观和客观评估中均优于当前图像修复算法.同时,支持多元化输出,为修复人员提供多样化参考,极大地提升了文物修复效率. 展开更多

关键词 文物数据库 文物图像补全 TRANSFORMER 卷积神经网络 超分辨 虚拟修复

在线阅读 下载PDF 职称材料

基于全过程隐私保护的多智能体系统平均一致性 被引量：1

4

作者 纪良浩 唐少洪 +1 位作者 郭兴 解燕 《自动化学报》 北大核心 2025年第6期1359-1370,共12页

针对通信网络可能遭受多邻居联合窃听的多智能体系统,研究其基于全过程隐私保护的平均一致性问题,具体包括保护智能体的初始状态以及智能体在实现平均一致性整个过程中的实时状态.不同于现有的隐私保护平均一致性算法仅能保护智能体的... 针对通信网络可能遭受多邻居联合窃听的多智能体系统,研究其基于全过程隐私保护的平均一致性问题,具体包括保护智能体的初始状态以及智能体在实现平均一致性整个过程中的实时状态.不同于现有的隐私保护平均一致性算法仅能保护智能体的初始状态且无法抵御联合窃听,提出基于虚拟子网和非消失扰动的全过程隐私保护平均一致性算法.在所提算法下,即使智能体的所有信道都被窃听,仍然可以实现多智能体系统的平均一致性且智能体的状态可以得到全过程保护.最后,通过几个数值仿真实验验证了算法的有效性. 展开更多

关键词 多智能体系统 平均一致性 隐私保护 全过程隐私 联合窃听

在线阅读 下载PDF 职称材料

基于妆容风格补丁激活的对抗性人脸隐私保护

5

作者 袁霖 黄令 +4 位作者 郝凯乐 张家伟 朱明瑞 王楠楠 高新波 《计算机科学》 北大核心 2025年第6期405-413,共9页

人脸识别技术的飞速发展极大地便利了人们的生活,但也引发了大众对个人隐私的担忧。人们通过社交媒体和网络发布的人脸图像可能会遭到不法机构的收集,并被人脸识别系统识别出身份从而窃取与用户相关的隐私信息。因此,需要一种隐私保护机... 人脸识别技术的飞速发展极大地便利了人们的生活,但也引发了大众对个人隐私的担忧。人们通过社交媒体和网络发布的人脸图像可能会遭到不法机构的收集,并被人脸识别系统识别出身份从而窃取与用户相关的隐私信息。因此,需要一种隐私保护机制,使得用户通过公开媒体发布的人脸图像能够被正常观看,却可以防止人脸识别系统从中提取准确的身份信息。主流的基于对抗样本的方法在某种程度上能够解决这一问题,但难免会在图像中引入可被轻易察觉的噪声。人们通过社交媒体等平台分享个人照片时往往会加入一些美颜特效,因此,在为图像添加美化效果的同时巧妙地嵌入对抗性扰动,从而实现对图片的身份隐私保护是一种两全的选择。对此,提出了一种基于妆容风格补丁激活的人脸图像身份隐私保护方法。该方法将参考人脸图像的妆容风格,通过特征补丁的方式激活到原始人脸图像的特征中,再将激活后的特征重建为含妆容的对抗性人脸图像,同时利用身份隐私增强模块,通过迫使生成图像的身份特征逼近一个目标身份从而获得对抗性隐私保护能力。实验结果表明,该方法生成的人脸图像不仅具有更好的视觉效果和多样化的妆容风格,还能够有效防御多种黑盒人脸识别模型造成的隐私侵犯。 展开更多

关键词 面部隐私 妆容风格 特征补丁 身份隐私保护 黑盒人脸识别模型

在线阅读 下载PDF 职称材料

基于时空倍频程卷积模块的轻量级视频显著性预测模型

6

作者 戴怡萱 韩冰 +1 位作者 高新波 韩怡园 《计算机工程与应用》 北大核心 2025年第14期248-255,共8页

视频显著性预测是模拟人眼关注点的重要任务,对于视频编辑、虚拟现实和自动驾驶等应用至关重要。传统方法依赖于大型网络,限制了在资源受限设备上的应用。为解决上述问题,提出一种轻量级网络,通过设计轻量化的时空多尺度倍频程卷积模块... 视频显著性预测是模拟人眼关注点的重要任务,对于视频编辑、虚拟现实和自动驾驶等应用至关重要。传统方法依赖于大型网络,限制了在资源受限设备上的应用。为解决上述问题,提出一种轻量级网络,通过设计轻量化的时空多尺度倍频程卷积模块,减少参数和计算需求,保持性能的同时提高了效率。结果表明,轻量级网络在资源受限设备上取得了与传统方法相媲美甚至更好的性能,具有较低的计算开销和较快的推理速度,预测结果更符合真实的人类眼动行为。 展开更多

关键词 视频显著性预测 深度学习 轻量级模型 3D卷积

在线阅读 下载PDF 职称材料

基于残差编解码器的通道自适应超声图像去噪方法 被引量：8

7

作者 曾宪华 李彦澄 +1 位作者 高歌 赵雪婷 《电子与信息学报》 EI CSCD 北大核心 2022年第7期2547-2558,共12页

超声图像去噪对提高超声图像的视觉质量和完成其他相关的计算机视觉任务都至关重要。超声图像中的特征信息与斑点噪声信号较为相似,用已有的去噪方法对超声图像去噪,容易造成超声图像纹理特征丢失,这会对临床诊断的准确性产生严重的干... 超声图像去噪对提高超声图像的视觉质量和完成其他相关的计算机视觉任务都至关重要。超声图像中的特征信息与斑点噪声信号较为相似,用已有的去噪方法对超声图像去噪,容易造成超声图像纹理特征丢失,这会对临床诊断的准确性产生严重的干扰。因此,在去除斑点噪声的过程中,需尽量保留图像的边缘纹理信息才能更好地完成超声图像去噪任务。该文提出一种基于残差编解码器的通道自适应去噪模型(RED-SENet),能有效去除超声图像中的斑点噪声。在去噪模型的解码器部分引入注意力反卷积残差块,使本模型可以学习并利用全局信息,从而选择性地强调关键通道的内容特征,抑制无用特征,能提高模型去噪的性能。在2个私有数据集和2个公开数据集上对该模型进行定性评估和定量分析,与一些先进的方法相比,该模型的去噪性能有显著提升,并在噪声抑制以及结构保持方面具有良好的效果。 展开更多

关键词 图像去噪 超声图像 深度学习 通道自适应 注意力反卷积残差块

在线阅读 下载PDF 职称材料

边界加权的甲状腺癌病理图像细胞核分割方法 被引量：1

8

作者 韩冰 高路 +1 位作者 高新波 陈玮铭 《西安电子科技大学学报》 EI CAS CSCD 北大核心 2023年第5期75-86,共12页

甲状腺癌是实体癌中发病率增速最快的恶性肿瘤之一,病理学诊断是医生诊断肿瘤的黄金标准,而细胞核分割是病理图像自动分析的关键步骤。针对细胞核分割中细胞核边界位置难以分割问题,设计了边界加权模块使网络在训练时更多关注细胞核边... 甲状腺癌是实体癌中发病率增速最快的恶性肿瘤之一,病理学诊断是医生诊断肿瘤的黄金标准,而细胞核分割是病理图像自动分析的关键步骤。针对细胞核分割中细胞核边界位置难以分割问题,设计了边界加权模块使网络在训练时更多关注细胞核边界。另一方面,为了避免网络过分关注边界而忽视细胞核主体部分,导致一些染色较浅的细胞核分割失败,提出了前景增强分割网络;该网络通过在上采样的过程中添加前景增强模块不断增强前景并抑制背景,从而实现细胞核精准分割。在自建的甲状腺癌病理图像分割数据集VIP-TCHis-Seg上的相似系数(Dice)和像素准确率(PA)两个指标分别约为85.26%和95.89%,在公共细胞核分割数据集MoNuSeg上的相似系数(Dice)和像素准确率(PA)两个指标分别约为81.03%和94.63%。上述实验结果表明,提出的边界加权和前景增强模块的方法能有效提高网络在边界处的分割准确率。 展开更多

关键词 甲状腺乳头状癌 图像分割 UNet 边界加权 前景增强

在线阅读 下载PDF 职称材料

基于统计特征的图像直方图均衡化检测方法 被引量：34

9

作者 毕秀丽 邱雨檬 +2 位作者 肖斌 李伟生 马建峰 《计算机学报》 EI CSCD 北大核心 2021年第2期292-303,共12页

直方图均衡化作为图像对比度增强技术之一,在图像恶意篡改过程中经常被作为隐藏被篡改图像强度变化的手段.本文利用图像直方图和其累积分布函数曲线,提取直方图均衡化的痕迹特征,实现直方图均衡化篡改检测.本文提出的方法首先利用图像... 直方图均衡化作为图像对比度增强技术之一,在图像恶意篡改过程中经常被作为隐藏被篡改图像强度变化的手段.本文利用图像直方图和其累积分布函数曲线,提取直方图均衡化的痕迹特征,实现直方图均衡化篡改检测.本文提出的方法首先利用图像直方图累积分布函数的变化趋势自适应地选择提取特征的灰度范围,然后在该范围内分别提取累积分布函数与恒等函数的相似度和直方图的零值间隙数量作为分类特征,最后利用K最邻近(K-Nearest Neighbor,简称KNN)分类算法进行分类.实验结果表明,本文方法不仅适用于检测常规直方图均衡化操作,对小分辨率图像的直方图均衡化操作和均衡化图像经过压缩后处理情况都具有较强的鲁棒性,并且可以区分直方图均衡化和其他类型对比度增强操作. 展开更多

关键词 直方图均衡化检测 统计特征 累积分布函数 K最邻近分类

在线阅读 下载PDF 职称材料

基于不变特征的多源遥感图像舰船目标检测算法 被引量：12

10

作者 杨曦 张鑫 +2 位作者 郭浩远 王楠楠 高新波 《电子学报》 EI CAS CSCD 北大核心 2022年第4期887-899,共13页

由于域偏移的存在,多源图像舰船目标检测任务面临着不同源传感器带来的图像风格差异难题.另外,为特定数据源训练特定的检测模型会消耗大量的计算资源,严重限制了其在军民用领域的工程应用.因此,设计一个通用网络以有效检测来自不同源遥... 由于域偏移的存在,多源图像舰船目标检测任务面临着不同源传感器带来的图像风格差异难题.另外,为特定数据源训练特定的检测模型会消耗大量的计算资源,严重限制了其在军民用领域的工程应用.因此,设计一个通用网络以有效检测来自不同源遥感数据的舰船目标成了当下的研究热点.针对该需求,本文提出了一种基于不变特征的通用舰船目标检测方法,通过充分利用多源数据之间的共享知识实现通用遥感目标的网络检测.本方法由2部分组成:图像级的风格转换网络和特征级的域自适应网络.具体地,前者采用风格转换网络生成接近真实分布的伪多源图像,拉近多源数据之间的分布,在图像层面上学习多源数据的不变特征;为学习特征层面上多源数据的不变特征,后者通过适应网络对多源特征进行信息解耦,通过域注意力网络的自适应权重分配实现特征重组.本文在NWPU VHR-10,SSDD,HRSC和SAR-Ship-Dataset数据集上进行实验验证,结果表明:所提方法通过不变特征之间的信息互补,缓解了域偏移问题,可有效检测多源遥感数据.本文方法在上述多源数据集上的平均mAP为90.8%,相比现有主流舰船目标检测方法可以提高1.4%~10.6%. 展开更多

关键词 舰船检测 遥感图像 深度学习 风格转换 域自适应

在线阅读 下载PDF 职称材料

基于Shamir秘密共享方案的文件图像篡改检测和修复方法 被引量：7

11

作者 毕秀丽 闫武庆 +3 位作者 邱雨檬 肖斌 李伟生 马建峰 《计算机研究与发展》 EI CSCD 北大核心 2022年第6期1356-1369,共14页

提出了一种新的基于Shamir秘密共享方案的文件图像篡改检测和修复方法,该方法包含篡改保护生成和篡改检测修复2个过程.在篡改保护生成过程中,为了提高已有文件图像篡改检测和修复方法的篡改检测正确率和修复效果,首先提出了基于权重的... 提出了一种新的基于Shamir秘密共享方案的文件图像篡改检测和修复方法,该方法包含篡改保护生成和篡改检测修复2个过程.在篡改保护生成过程中,为了提高已有文件图像篡改检测和修复方法的篡改检测正确率和修复效果,首先提出了基于权重的篡改检测信号生成方法,对每个非重叠2×3图像块提取图像块特征,再利用Shamir秘密共享方案将块特征和块内容序列值生成用于块篡改检测和修复的共享信息,最后将块共享信息构成的α通道与原始图像组成可移植网络图形格式(portable network graphic format,PNG)的文件图像.在篡改检测过程中,α通道提取的共享信号可以判断图像块是否被篡改,并可以通过Shamir秘密共享方案反向操作修复篡改图像块的内容.实验表明所提方法不仅具有良好的篡改检测和修复效果,同时具有良好的鲁棒性,能抵抗图像裁剪、噪声攻击. 展开更多

关键词 图像认证 文件图像 图像篡改修复 Shamir秘密共享方案 PNG图像

在线阅读 下载PDF 职称材料

基于网格与超像素的图像重定向方法 被引量：1

12

作者 陈美颖 毕秀丽 刘波 《计算机科学》 CSCD 北大核心 2023年第S02期306-313,共8页

图像是人与人之间进行交流的重要媒介,在信息高速发展的今天,利用图像重定向技术使图像能满足各式各样的设备尺寸具有重要意义。基于网格的图像重定向算法首先对输入图像生成对应的规则矩形网格,然后根据该网格内的图像内容来评估图像... 图像是人与人之间进行交流的重要媒介,在信息高速发展的今天,利用图像重定向技术使图像能满足各式各样的设备尺寸具有重要意义。基于网格的图像重定向算法首先对输入图像生成对应的规则矩形网格,然后根据该网格内的图像内容来评估图像像素权重以此决定此网格的变形程度,对图像全局进行不断迭代直到图像重定向终止条件。此类算法仍存在对图像内容评估不全面的问题,进而导致输出图像结构扭曲、难以保持结果图像的对角线特征以及整体结构等问题。针对以上问题,提出了一种基于超像素、梯度以及显著性的图像重定向方法。首先利用超像素方法对输入图像做预处理,然后用超像素块作为后续处理单位,随后利用基于梯度和显著性的图像像素权重评估方法对超像素处理输出图像进行权重度量,输出一幅图像重定向权重热力图,最后根据此重定向权重热力图对网格进行迭代优化,实现对图像的重定向处理。实验结果表明,相比对比方法所提方法在6种无参考图像质量评估指标上都有一定优越性,在语义合理性、信息准确性和视觉自然性上都具有一定优势,在图像重定向领域有较大的应用价值。 展开更多

关键词 图像处理 图像重定向 图像显著性检测 超像素

在线阅读 下载PDF 职称材料

基于多尺度注意力机制的两阶段文物图像修复方法 被引量：1

13

作者 刘浩威 姚镜池 +2 位作者 刘波 毕秀丽 肖斌 《计算机科学》 CSCD 北大核心 2023年第S01期324-331,共8页

文物常因保存或物理修复手段不当而受到损坏,使用虚拟技术对其进行修复很重要,而现有传统图像修复技术和基于深度学习的修复方法主要针对结构纹理简单、破损区域较小的图像或是破损区域规则的自然图像,无法直接应用于文物图像。针对文... 文物常因保存或物理修复手段不当而受到损坏,使用虚拟技术对其进行修复很重要,而现有传统图像修复技术和基于深度学习的修复方法主要针对结构纹理简单、破损区域较小的图像或是破损区域规则的自然图像,无法直接应用于文物图像。针对文物图像结构纹理复杂、破损区域不规则及现存文物图像数据集较小等问题,以山水画图像修复为例提出了一种基于多尺度注意力机制的两阶段文物图像修复方法。首先基于全局注意力机制对文物图像的整体结构和基础色调进行粗粒度修复,然后使用局部注意力机制和残差模块对文物图像的小型结构和细节纹理进行局部细粒度修复,并在粗粒度修复的结果上使用上下文注意力机制从文物图像远距离精确借用信息,对图像的大型结构和纹理进行全局细粒度修复,最后将局部和全局的修复结果进行特征融合,实现文物图像的修复。针对文物图像特殊的破损类型,修复的文物图像伪迹较少,色彩均匀,结构纹理清晰,相比对比方法,在峰值信噪比上平均提高了3.76 dB,在结构相似性上平均提高了0.034。实验结果的主观和客观分析表明,与主流图像修复方法相比,在语义合理性、信息准确性和视觉自然性上都具有一定优势,在文物修复领域有较大应用价值。 展开更多

关键词 文物图像 图像修复 深度学习 两阶段模型 多尺度注意力机制

在线阅读 下载PDF 职称材料

基于注意力机制和循环域三元损失的域自适应目标检测 被引量：1

14

作者 周洋 韩冰 +2 位作者 高新波 杨铮 陈玮铭 《自动化学报》 EI CAS CSCD 北大核心 2024年第11期2188-2203,共16页

目前大多数深度学习算法都依赖于大量的标注数据并欠缺一定的泛化能力.无监督域自适应算法能提取到已标注数据和未标注数据间隐式共同特征,从而提高算法在未标注数据上的泛化性能.目前域自适应目标检测算法主要为两阶段目标检测器设计.... 目前大多数深度学习算法都依赖于大量的标注数据并欠缺一定的泛化能力.无监督域自适应算法能提取到已标注数据和未标注数据间隐式共同特征,从而提高算法在未标注数据上的泛化性能.目前域自适应目标检测算法主要为两阶段目标检测器设计.针对单阶段检测器中无法直接进行实例级特征对齐导致一定数量域不变特征的缺失,提出结合通道注意力机制的图像级域分类器加强域不变特征提取.此外,对于域自适应目标检测中存在类别特征的错误对齐引起的精度下降问题,通过原型学习构建类别中心,设计了一种基于原型的循环域三元损失(Cycle domain triplet loss,CDTL)函数,从而实现原型引导的精细类别特征对齐.以单阶段目标检测算法作为检测器,并在多种域自适应目标检测公共数据集上进行实验.实验结果证明该方法能有效提升原检测器在目标域的泛化能力,达到比其他方法更高的检测精度,并且对于单阶段目标检测网络具有一定的通用性. 展开更多

关键词 无监督域自适应 注意力机制 循环域三元损失函数 目标检测

在线阅读 下载PDF 职称材料

基于多边形特征池化与融合的复杂文本检测 被引量：1

15

作者 张相南 高新波 田春娜 《西安电子科技大学学报》 EI CAS CSCD 北大核心 2024年第3期113-123,共11页

文本检测在图像理解中发挥着重要的作用。基于深度学习的文本检测是当前的主流算法,包括单阶段方法和双阶段方法两类,而且后者的检测精度往往高于前者。双阶段的检测方法通常包含感兴趣区域特征池化操作,为进一步的检测和识别任务提供... 文本检测在图像理解中发挥着重要的作用。基于深度学习的文本检测是当前的主流算法,包括单阶段方法和双阶段方法两类,而且后者的检测精度往往高于前者。双阶段的检测方法通常包含感兴趣区域特征池化操作,为进一步的检测和识别任务提供特定维度的局部区域特征。然而对于弯曲文本等复杂文本区域来说,现有的基于矩形感兴趣区域的池化方法不再适用,而基于点特征替代区域特征的方法又损失了空间信息。针对该问题,提出了一种基于多边形特征池化和Transformer的复杂文本区域检测方法。首先,将复杂文本区域检测中感兴趣区域进行多边形特征池化,将池化操作的区域形状从矩形拓展到多边形并且不需要借助其他形状进行拟合,即可将多边形区域对应的特征池化为固定维度的特征序列,避免了拟合过程中出现误差。进而,将池化后的特征视为具有空间关系的序列,然后利用Transformer融合视觉特征之间的上下文关系,降低训练难度,提升检测精确度。在包含弯曲文本等复杂文本情况的ICDAR2015、MLT、Total Text和CTW1500数据集上的测试实验结果表明,提出的双阶段检测算法能更好地提取感兴趣区域特征,并取得了比现有方法更好的检测结果。 展开更多

关键词 文本检测 双阶段方法 多边形 特征池化 TRANSFORMER

在线阅读 下载PDF 职称材料

基于跟踪检测时序特征融合的视频遮挡目标分割方法

16

作者 郑申海 高茜 +1 位作者 刘鹏威 李伟生 《计算机科学》 CSCD 北大核心 2024年第S01期403-408,共6页

视频实例分割是近年来兴起的一项在图像实例分割基础上引入时序特性的视觉任务,旨在同时对每一帧的目标进行分割并实现帧间的目标跟踪。移动互联网和人工智能的迅猛发展产生了大量的视频数据,但由于拍摄角度、快速运动和部分遮挡等,视... 视频实例分割是近年来兴起的一项在图像实例分割基础上引入时序特性的视觉任务,旨在同时对每一帧的目标进行分割并实现帧间的目标跟踪。移动互联网和人工智能的迅猛发展产生了大量的视频数据,但由于拍摄角度、快速运动和部分遮挡等,视频中的物体往往会出现分裂或模糊的情况,使得从视频数据中准确地分割目标并对目标进行处理和分析面临着重大挑战。经查阅和实践发现,现有的视频实例分割方法在遮挡情况下的表现较差。针对上述问题,提出了一种改进的遮挡视频实例分割算法——通过融合Transformer和跟踪检测的时序特征来改善分割性能。为增强网络对空间位置信息的学习能力,该算法将时间维度引入Transformer网络中,并考虑到视频中目标检测、跟踪和分割之间的相互依赖和促进关系,提出了一种能够有效地聚合目标在视频中的跟踪偏移的融合跟踪模块和检测时序特征模块,提升了遮挡环境下的目标分割性能。通过在OVIS和YouTube-VIS数据集上进行的实验,验证了所提方法的有效性。相比当前的基准方法,该方法展现出了更好的分割精度,进一步证明了其优越性。 展开更多

关键词 视频实例分割 目标检测 目标跟踪 时序特征 遮挡目标

在线阅读 下载PDF 职称材料

深度二值卷积网络的人脸表情识别方法 被引量：7

17

作者 周丽芳 刘俊林 +2 位作者 李伟生 米建勋 雷帮军 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2022年第3期425-436,共12页

为解决人脸表情识别时存在的参数量大、速度低和表情区域特征表示力不足的问题,提出一种基于深度二值卷积网络的人脸表情识别方法.首先设计一个二值卷积与传统卷积并行运算的轻量化网络模型BRNet,以降低网络模型参数的复杂度,从而提升... 为解决人脸表情识别时存在的参数量大、速度低和表情区域特征表示力不足的问题,提出一种基于深度二值卷积网络的人脸表情识别方法.首先设计一个二值卷积与传统卷积并行运算的轻量化网络模型BRNet,以降低网络模型参数的复杂度,从而提升识别的速度;然后构建一个动态半径策略提取表情二值特征,并形成表情区域注意权重,实现表情局部特征与人脸全局特征的有效融合;最后设计交叉熵和L2损失,快速实现了表情图像的准确分类.实验结果表明,所提方法在常用的CK+和Oulu-CASIA表情库上的平均识别率分别达到99.25%和93.85%,皆优于同类轻量级卷积网络;网络参数量和计算量为5.0×10^(5)B和2.1×10^(5)B,而EfficientFace模型的计算量约为该方法的77倍,证明了所提方法在表情识别中的有效性和轻量性. 展开更多

关键词 二值卷积网络 局部二值模式 注意力机制 人脸表情识别

在线阅读 下载PDF 职称材料

基于一维卷积神经网络与循环神经网络串联的心音分析方法 被引量：8

18

作者 肖斌 陈嘉博 +4 位作者 毕秀丽 张俊辉 李伟生 王国胤 马旭 《电子学报》 EI CAS CSCD 北大核心 2022年第10期2425-2432,共8页

面向心脏疾病计算机辅助诊断,本文提出一种基于一维卷积神经网络和循环神经网络混合深度学习结构的心音分析方法.本结构首先利用卷积神经网络学习心脏病症在心音信号上的表征,然后通过循环神经网络处理心音信号中的时序信息进行分类,在... 面向心脏疾病计算机辅助诊断,本文提出一种基于一维卷积神经网络和循环神经网络混合深度学习结构的心音分析方法.本结构首先利用卷积神经网络学习心脏病症在心音信号上的表征,然后通过循环神经网络处理心音信号中的时序信息进行分类,在提升心音分类正确率的同时,大幅度降低了网络参数.为验证本深度学习结构所学特征的有效性,除已有的成人心音数据集外,本文还专门构建了一个面向婴幼儿先天性心脏病的心音数据集,并通过端到端的类别响应图证明了本方法在室缺诊断时学习到的心音信号特征符合临床医师的心音听诊经验.实验结果表明,本文方法能在3153例成人心音数据分类上达到92.56%的正确率,在528例婴幼儿心音数据分类上达到97.48%正确率,模型参数仅有0.05 M. 展开更多

关键词 心音听诊 一维卷积神经网络 循环神经网络 类别响应图

在线阅读 下载PDF 职称材料

基于IoU约束的孪生网络目标跟踪方法 被引量：4

19

作者 周丽芳 刘金兰 +3 位作者 李伟生 雷帮军 何宇 王一涵 《北京航空航天大学学报》 EI CAS CSCD 北大核心 2022年第8期1390-1398,共9页

基于孪生网络的跟踪方法通过离线训练跟踪模型,不需要对跟踪模型进行在线更新,兼顾了跟踪精度和速度。现有孪生网络目标跟踪方法使用固定阈值选择正负训练样本易造成训练样本漏选问题,且训练时分类分支和回归分支之间存在低相关性问题,... 基于孪生网络的跟踪方法通过离线训练跟踪模型,不需要对跟踪模型进行在线更新,兼顾了跟踪精度和速度。现有孪生网络目标跟踪方法使用固定阈值选择正负训练样本易造成训练样本漏选问题,且训练时分类分支和回归分支之间存在低相关性问题,不利于训练出高精度的跟踪模型。为此,提出了一种基于交并比(IoU)约束的孪生网络目标跟踪方法。通过使用动态阈值策略根据预定义锚框与目标真实框的相关统计特征,动态调整正负训练样本的界定阈值,提升跟踪精度。所提方法使用IoU质量评估分支代替分类分支,通过锚框与目标真实框之间的IoU反映目标位置,提升跟踪精度,降低模型的参数量。在数据集VOT2016、OTB-100、VOT2019、UAV123上进行了对比实验,所提方法均有较好的表现。在VOT2016数据集上,所提方法的跟踪精度比SiamRPN方法高0.017,期望平均重叠率为0.463,与SiamRPN++相比仅差0.001,实时运行速度可达220帧/s。 展开更多

关键词 目标跟踪 深度学习 孪生网络 交并比(IoU)约束 动态阈值

在线阅读 下载PDF 职称材料

基于多特征融合的人脸活体检测算法 被引量：8

20

作者 栾晓 李晓双 《计算机科学》 CSCD 北大核心 2021年第S02期409-415,共7页

近年来,随着人脸识别系统的不断发展,各种假冒合法用户的欺骗手段不断出现。基于单一差异线索进行的活体检测,已经不能满足当前复杂环境下提高人脸活体检测方法性能的需求。基于此,文中提出多特征融合的方法,使用卷积神经网络从人脸图... 近年来,随着人脸识别系统的不断发展,各种假冒合法用户的欺骗手段不断出现。基于单一差异线索进行的活体检测,已经不能满足当前复杂环境下提高人脸活体检测方法性能的需求。基于此,文中提出多特征融合的方法,使用卷积神经网络从人脸图像的不同线索中学习多个特征来进行活体检测,深度图在空间上能够区分真假人脸之间的深度信息;光流图在时间上能够区分真假人脸之间的动态信息;残差噪声图根据真人脸的一次成像和假冒人脸的二次成像噪声成分的不同进行区分。文中融合3种特征,不仅利用空间、时间多维度线索弥补了单一线索的不足,同时也提高了模型的泛化能力。相比现有的方法,所提方法无论是在同一个数据库还是跨数据库的情况下,均有较好的实验结果。具体而言,所提方法在CASIA数据集、REPLAY-ATTACK数据集和NUAA数据集上的错误率分别为0.11%,0.06%和0.45%。 展开更多

关键词 人脸识别 活体检测 多特征融合

在线阅读 下载PDF 职称材料