基于视角统一的手姿态估计优化方法

1

作者 曹忠锐 谢文军 +3 位作者 王冬 钮立超 王婷玉 刘晓平 《计算机应用研究》 北大核心 2025年第1期293-299,共7页

从深度图像中准确估计手的三维姿态是计算机视觉领域的重要任务。然而,由于手的自遮挡和关节自相似性,使得手姿态估计任务极具挑战性。为了克服这些困难,考察了深度图像采样视角对于估计精度的影响,提出了一种基于视角统一(UVP)的网络... 从深度图像中准确估计手的三维姿态是计算机视觉领域的重要任务。然而,由于手的自遮挡和关节自相似性,使得手姿态估计任务极具挑战性。为了克服这些困难,考察了深度图像采样视角对于估计精度的影响,提出了一种基于视角统一(UVP)的网络。该网络旨在将输入的深度图像重采样为更易于估计的“正面”视角,而后通过原始视角下的特征提高关节估计精度。首先,提出了视角转换模块,实现对输入的单张深度图像的视角旋转,提供作为补充的第二视角;然后,提出了视角统一损失函数,确保转换后的第二视角为“正面”视角,最大程度规避自遮挡问题;最后,通过改变卷积组合结构、降低网络深度等网络轻量化手段,进一步优化方法的性能。通过在三个公开的手姿态数据集(包括ICVL、NYU和MSRA)上进行实验,所提方法分别取得了4.92 mm、7.43 mm和7.02 mm的平均关节位置误差,且在搭载RTX3070的计算机上能以159.39 frame/s的速度运行。可见,转换深度图的采样视角,并融合双视角下的特征有利于提高手部姿态估计的精度。同时,所提方法具备自适应性,并表现出优秀的泛化能力,可以推广到大多数基于单深度图像的手部姿态估计模型,为深度学习在三维手姿态估计中的应用提供了有力支持。 展开更多

关键词 手部姿态估计 手关节自遮挡 视角统一 深度图像 点云变换

在线阅读 下载PDF 职称材料

基于扩散概率模型的去噪预测网络预测人体运动

2

作者 王婷玉 谢文军 +2 位作者 王冬 李琳 刘晓平 《小型微型计算机系统》 北大核心 2025年第4期883-891,共9页

近年来,深度学习方法在人体运动预测方面取得了良好的进展,目前单一阶段方法在预测的准确性和多样性上仍存在改进空间,而采用多阶段方式则导致难以端到端预测.为此,本文提出了一种基于扩散概率模型的去噪预测网络,旨在以端到端的方式去... 近年来,深度学习方法在人体运动预测方面取得了良好的进展,目前单一阶段方法在预测的准确性和多样性上仍存在改进空间,而采用多阶段方式则导致难以端到端预测.为此,本文提出了一种基于扩散概率模型的去噪预测网络,旨在以端到端的方式去预测出准确多样的人体运动.其中提出了一个基于Transformer的模块,包含一个无softmax的修正线性自注意力,提升了人体运动预测的准确性.此外,本文还提出了一种基于DPM-Solver++的扩散模型采样策略,预测出更加连续和多样性的人体运动姿态序列,并将预测出同一质量人体运动姿态序列的采样时间缩减至一半以下.最后,将本文方法在两个标准数据集Human3.6M和HumanEva-I上进行充分评估.实验结果表明,本文方法优于最先进的单一阶段的方法. 展开更多

关键词 人体运动预测 扩散概率模型 去噪预测网络 修正线性自注意力 DPM-Solver++

在线阅读 下载PDF 职称材料

基于BERT的校企合作场景下的专家推荐算法

3

作者 杨学志 尚楚涵 封军 《计算机工程与设计》 北大核心 2025年第9期2578-2585,共8页

针对当前高校专家推荐算法忽视专家研究主题变化、模型指标偏低的问题,提出一种基于预训练模型BERT的专家推荐算法。使用隐含狄利克雷分布(LDA)提取专家变化的研究主题;构建基于BERT的企业需求编码器与专家编码器,深层编码相关信息的同... 针对当前高校专家推荐算法忽视专家研究主题变化、模型指标偏低的问题,提出一种基于预训练模型BERT的专家推荐算法。使用隐含狄利克雷分布(LDA)提取专家变化的研究主题;构建基于BERT的企业需求编码器与专家编码器,深层编码相关信息的同时利用多头注意力捕获专家研究主题的动态变化,通过特征融合与降维计算二者匹配度获得推荐结果。在真实数据集上进行了多组实验,结果表明性能指标与实际推荐效果均优于目前主流专家推荐算法。 展开更多

关键词 专家推荐 深度学习 注意力机制 校企合作 文本挖掘 特征提取 双向神经网络

在线阅读 下载PDF 职称材料

WEID:一种基于信息量差加权集成的Android恶意软件检测方法 被引量：4

4

作者 张高峰 鲍旭丹 +2 位作者 刘敬 夏雪晗 郑利平 《计算机应用与软件》 北大核心 2022年第9期332-338,共7页

Android恶意软件的爆炸式增长给用户带来了严重的危害,而现有的应对方法普遍侧重于提升检测的正确率,较少考虑误报和漏检这两类误判情况。针对上述问题,提出一种基于信息量差加权集成的Android恶意软件检测方法。提取样本中权限和Inten... Android恶意软件的爆炸式增长给用户带来了严重的危害,而现有的应对方法普遍侧重于提升检测的正确率,较少考虑误报和漏检这两类误判情况。针对上述问题,提出一种基于信息量差加权集成的Android恶意软件检测方法。提取样本中权限和Intent这两类静态特征构造多组特征集;基于Stacking分层策略,将正负样本分类正确事件和分类错误事件的信息量差作为贡献度量,根据度量值指导基学习器加权集成,以获得最佳分类效果。实验结果表明,在由Drebin和Contagio构成的恶意样本集中,该方法的检测正确率在0.951~0.985之间,误报率和漏检率低至0.008和0.004,对比其他检测方法具有明显的优势。 展开更多

关键词 Android恶意软件 静态特征 STACKING 信息量差 加权集成

在线阅读 下载PDF 职称材料

融合Kinect和IMU多模态数据的多阶段运动去噪网络 被引量：1

5

作者 郭奇涵 谢文军 +2 位作者 王冬 程景铭 刘晓平 《小型微型计算机系统》 CSCD 北大核心 2024年第1期16-22,共7页

运动数据去噪在影视特效、游戏和康复医疗等动作捕捉应用中起着重要作用.为提高低成本动作捕捉设备的精确度和鲁棒性,提出一种融合Kinect和惯性测量单元(IMU)两种模态运动数据的多阶段去噪网络MMCapNet,利用特征提取器从两种模态数据中... 运动数据去噪在影视特效、游戏和康复医疗等动作捕捉应用中起着重要作用.为提高低成本动作捕捉设备的精确度和鲁棒性,提出一种融合Kinect和惯性测量单元(IMU)两种模态运动数据的多阶段去噪网络MMCapNet,利用特征提取器从两种模态数据中提取并融合运动特征,使用关节位置估计器分阶段预测关键关节、身体关节和手部关节坐标位置.为了提高方法的泛化能力,在现有2180332帧多模态数据的基础上,采集了227160帧包含高噪声的多模态运动数据集.实验结果表明,在日常运动和高噪声多模态数据集上输出结果的关节点位置精度均有提升.与BRA、DIP和STTrans方法相比,在日常运动数据集上全身估计误差分别降低78.5%、87.1%和31%,在高噪声数据上的估计结果更加合理.本文通过特征提取,融合多模态数据和多阶段预测,在降低位置估计误差的同时增强了对高噪声数据的处理能力. 展开更多

关键词 运动数据去噪 深度学习 多模态 动作捕捉 多阶段

在线阅读 下载PDF 职称材料

基于权重优化卷积神经网络的非接触心率检测

6

作者 王盼孺 杨学志 +2 位作者 刘雪南 李龙伟 王定良 《合肥工业大学学报（自然科学版）》 CAS 北大核心 2024年第4期479-487,共9页

心率是反映人体健康状况和运动状态的重要指标。针对传统心率检测的局限性,近年来提出了许多非接触式的检测方法,其在配合条件下的效果较好,但是在有运动干扰时准确率明显下降。针对该问题,文章结合计算机视觉与深度学习前沿理论,提出... 心率是反映人体健康状况和运动状态的重要指标。针对传统心率检测的局限性,近年来提出了许多非接触式的检测方法,其在配合条件下的效果较好,但是在有运动干扰时准确率明显下降。针对该问题,文章结合计算机视觉与深度学习前沿理论,提出一种基于权重优化卷积神经网络的非接触心率检测方法,通过优化卷积神经网络的结构,提高网络的抗噪性能,获得更准确的心率值。首先输入相对稳定的面部视频,然后将输入的面部视频逐帧按行取像素平均值并时域扩展得到各行子脉搏波,再使用主成分分析(principal component analysis,PCA)法与带通滤波器对各行子脉搏波组成的脉搏矩阵进行处理,最后将所得特征矩阵输入权重优化卷积神经网络学习,预测心率值。为了验证该方法的性能优势,使用自采数据集中的2200份人脸视频样本进行实验分析,实验结果表明,文中所提方法与现有的非接触心率检测方法相比,具有更高的准确率、更强的鲁棒性。 展开更多

关键词 非接触 主成分分析(PCA) 权重优化 卷积神经网络 心率

在线阅读 下载PDF 职称材料

改进的元启发式优化算法及其在图像分割中的应用 被引量：18

7

作者 霍星 张飞 +1 位作者 邵堃 檀结庆 《软件学报》 EI CSCD 北大核心 2021年第11期3452-3467,共16页

元启发式算法自20世纪60年代提出以后,由于其具有可以有效地减少计算量、提高优化效率等优点而得到了广泛应用.该类算法以模仿自然界中各类运行机制为特点,具有自我调节的特征,解决了诸如梯度法、牛顿法和共轭下降法等这些传统优化算法... 元启发式算法自20世纪60年代提出以后,由于其具有可以有效地减少计算量、提高优化效率等优点而得到了广泛应用.该类算法以模仿自然界中各类运行机制为特点,具有自我调节的特征,解决了诸如梯度法、牛顿法和共轭下降法等这些传统优化算法计算效率低、收敛性差等缺点,在组合优化、生产调度、图像处理等方面均有很好的效果.提出了一种改进的元启发式优化算法——NBAS算法.该算法通过将传统天牛须算法(BAS)离散化得到二进制离散天牛须算法(BBAS),并与原始天牛须算法进行混合得出.算法平衡了局部与全局搜索,有效地弥补了算法容易陷入局部最优的不足.为了验证NBAS算法的有效性,将NBAS算法与二维K熵算法结合,提出了一种快速、准确的NBAS-K熵图像分割算法.该方法解决了优化图像阈值分割函数的优化算法易陷入局部最优、算法寻优个体数多、设计复杂度高所导致的计算量大、耗时长等问题.NBAS-K熵算法与BAS-K熵算法、BBAS-K熵算法、遗传K熵算法(GA-K熵)、粒子群K熵算法(PSO-K熵)和蚱蜢K熵算法(GOA-K熵)在Berkeley数据集、人工加噪图像以及遥感图像上的实验结果表明,该分割方法不仅具有较好的抗噪性能,而且具有较高的精度和鲁棒性,能够较为有效地实现复杂图像分割. 展开更多

关键词 图像分割 阈值 Kaniadakis熵 天牛须搜索算法 粒子群优化算法 遗传算法 蚱蜢优化算法

在线阅读 下载PDF 职称材料

深度学习在驾驶员安全带检测中的应用 被引量：10

8

作者 霍星 费志伟 +1 位作者 赵峰 邵堃 《计算机科学》 CSCD 北大核心 2019年第B06期182-187,共6页

安全带是保障驾驶员安全最有效的措施之一,我国法律明文规定驾驶员驾驶车辆时必须佩带安全带。目前,驾驶过程中安全带佩带的识别以人工筛查为主。随着汽车数量的飞速增加,传统的检测方式已无法满足交通管理的需求,实现安全带检测的自动... 安全带是保障驾驶员安全最有效的措施之一,我国法律明文规定驾驶员驾驶车辆时必须佩带安全带。目前,驾驶过程中安全带佩带的识别以人工筛查为主。随着汽车数量的飞速增加,传统的检测方式已无法满足交通管理的需求,实现安全带检测的自动化处理已成为当前交通系统亟需解决的问题之一。文中设计了一种驾驶人是否佩带安全带的识别系统。首先,通过车牌与车窗位置之间的几何关系进行车窗粗定位;其次,利用霍夫变换检测车窗的上下沿,并利用积分投影变换检测车窗的左右边界,将检测到的图片对半划分,得到驾驶员的粗略位置;最后,基于加入空间变换层的深度卷积神经元网络方法进行安全带的识别分析。针对10000张不同卡口、不同时段实时采集的图片进行实验,结果表明该方法能有效地识别驾驶人是否按规定佩带安全带,且综合识别率相比现有方法有显著提高。 展开更多

关键词 深度学习 安全带检测 空间变换神经网络 车窗边缘检测

在线阅读 下载PDF 职称材料

一种改进的DIQaM_FR/NR图像质量评价模型 被引量：2

9

作者 谢瑞 邵堃 +1 位作者 霍星 MITHUN Md Masud Parvej 《计算机工程》 CAS CSCD 北大核心 2020年第8期258-263,270,共7页

图像质量评价模型通过提取并分析与人类视觉系统相一致的图像特征来达到评价图像质量的目的。随着深度学习技术的发展,很多基于深度学习的图像质量评价模型相继出现,但是多数模型在小数据量环境下容易出现过拟合问题。为此,通过对DIQaM_... 图像质量评价模型通过提取并分析与人类视觉系统相一致的图像特征来达到评价图像质量的目的。随着深度学习技术的发展,很多基于深度学习的图像质量评价模型相继出现,但是多数模型在小数据量环境下容易出现过拟合问题。为此,通过对DIQaM_FR/NR模型进行改进,建立一种Res-DIQaM_FR/NR图像质量评价模型。采用迁移学习方法,利用预训练的ResNet50网络替代DIQaM_FR/NR的特征提取层以进行图像特征提取,使用全局平均池化层取代DIQaM_FR/NR中的全连接层FC-512从而对提取的特征进行回归学习。实验结果表明,该模型在降低DIQaM_FR/NR模型复杂度的同时能够深化其网络结构,在小数据量环境下也能较好地模拟人类视觉系统并准确评价图像质量。 展开更多

关键词 图像质量评价 特征提取 迁移学习 深度学习 ResNet50网络

在线阅读 下载PDF 职称材料

基于视觉转换器和图卷积网络的光学遥感场景分类 被引量：10

10

作者 王嘉楠 高越 +1 位作者 史骏 刘子琦 《光子学报》 EI CAS CSCD 北大核心 2021年第11期306-313,共8页

当前基于卷积神经网络的光学遥感图像场景分类方法大多是全局特征学习,忽略了场景局部特征,从而难以较好地解决类内差异大和类间相似性高的问题,因此,提出一种基于视觉转换器和图卷积网络双分支结构的光学遥感图像场景分类方法。该方法... 当前基于卷积神经网络的光学遥感图像场景分类方法大多是全局特征学习,忽略了场景局部特征,从而难以较好地解决类内差异大和类间相似性高的问题,因此,提出一种基于视觉转换器和图卷积网络双分支结构的光学遥感图像场景分类方法。该方法首先对场景图像进行分块,再利用位置编码和视觉转换器进行特征编码,从而挖掘图像内部的长距离依赖关系。另一方面,对遥感图像进行超像素分割,将每个超像素对应的卷积神经网络特征进行池化处理并作为图结构中的结点,利用图卷积网络对场景内部图结构进行建模,感知场景内部的空间拓扑关系。最终融合两个分支产生的特征形成场景内容的最终特征表示并用于分类。在光学遥感图像数据集上的实验验证了所提方法在遥感场景分类中的有效性。 展开更多

关键词 遥感 场景分类 卷积神经网络 视觉转换器 图卷积网络

在线阅读 下载PDF 职称材料

基于双分支卷积神经网络的SAR与多光谱图像融合实验 被引量：7

11

作者 吴佼华 杨学志 +1 位作者 方帅 董张玉 《地理与地理信息科学》 CSCD 北大核心 2021年第2期22-30,共9页

针对合成孔径雷达(Synthetic Aperture Radar,SAR)和多光谱(Multi-Spectral,MS)融合图像中存在的空间细节模糊和颜色失真问题,该文兼顾光谱监督和空间细节监督,设计光谱损失函数和空间细节损失函数,提出一种基于双分支卷积神经网络(Conv... 针对合成孔径雷达(Synthetic Aperture Radar,SAR)和多光谱(Multi-Spectral,MS)融合图像中存在的空间细节模糊和颜色失真问题,该文兼顾光谱监督和空间细节监督,设计光谱损失函数和空间细节损失函数,提出一种基于双分支卷积神经网络(Convolution Neural Network,CNN)的SAR和MS图像融合算法。该算法网络框架包含光谱保持和细节提升两个分支:光谱保持分支通过上采样MS图像连接到网络的输出,直接将光谱信息传递到融合图像中;细节提升分支对SAR和MS图像通过高通滤波提取高频细节信息,然后应用CNN对细节信息进行特征提取、特征融合及重建,最后将重建的细节信息叠加到上采样的MS图像,得到融合结果。以哨兵-1B GRD级别的SAR图像和Landsat8卫星多光谱图像为实验数据,通过与传统融合算法和深度学习算法RSIFNN进行对比,结果表明,该文算法在定性和定量评价方面效果更好,能够在保持光谱信息的基础上增强多光谱图像的空间细节信息,有利于后续地物分类和目标识别等工作的开展。 展开更多

关键词 合成孔径雷达图像 多光谱图像 图像融合 空间细节信息 卷积神经网络

在线阅读 下载PDF 职称材料

基于相位一致性与PCNN的SAR和多光谱图像融合算法 被引量：5

12

作者 余艳 杨学志 +1 位作者 方帅 董张玉 《合肥工业大学学报（自然科学版）》 CAS 北大核心 2022年第3期324-331,共8页

针对合成孔径雷达(synthetic aperture radar,SAR)和多光谱图像融合结果易出现空间细节信息丢失问题,文章提出一种相位一致性和脉冲耦合神经网络(pulse coupled neural network,PCNN)相结合的图像融合方法。利用强度-色调-饱和度(intens... 针对合成孔径雷达(synthetic aperture radar,SAR)和多光谱图像融合结果易出现空间细节信息丢失问题,文章提出一种相位一致性和脉冲耦合神经网络(pulse coupled neural network,PCNN)相结合的图像融合方法。利用强度-色调-饱和度(intensity-hue-saturation,IHS)变换和非下采样shearlet变换(non-subsampled shearlet transform,NSST),将SAR和多光谱图像分别分解为低频系数和高频系数。从图像的空间结构和纹理特征入手,在低频中采用相位一致性融合规则,根据相位一致性提取的图像特征信息选择低频融合系数;在高频中采用PCNN的融合规则,有效保持图像的边缘纹理等细节信息。最后对融合后的高低频系数进行NSST逆变换和IHS逆变换,得到融合图像。针对哨兵1号SAR图像和Landsat-8多光谱图像进行实验结果表明,该方法在主观评价和客观评价方面均有明显提升,在保持光谱信息的同时,更好地提高了图像的空间细节表现能力。 展开更多

关键词 图像融合 相位一致性 脉冲耦合神经网络(PCNN) 非下采样shearlet变换(NSST) 强度-色调-饱和度(IHS)变换

在线阅读 下载PDF 职称材料

多模态人体运动同步数据集 被引量：2

13

作者 程景铭 谢文军 +2 位作者 沈子祺 李琳 刘晓平 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2022年第11期1713-1722,共10页

人体运动数据集是运动数据去噪、运动编辑及运动合成等研究的重要基础.为支撑更具通用性的多模态数据融合研究,设计并采集一套公开的多模态人体运动数据集是亟待解决的问题.首先设计基于传感器的动作捕捉设备采集精准的运动数据、基于... 人体运动数据集是运动数据去噪、运动编辑及运动合成等研究的重要基础.为支撑更具通用性的多模态数据融合研究,设计并采集一套公开的多模态人体运动数据集是亟待解决的问题.首先设计基于传感器的动作捕捉设备采集精准的运动数据、基于体感设备采集的粗糙运动数据、基于惯性测量单元采集的局部惯性数据的采集环境;然后基于网络时间协议实现设备间时序同步,以及多模态数据间的空间同步;最后分类采集了全身运动多模态数据集(HFUT multimodal motion dataset,HFUT-MMD),包含12位采集者进行6类运动的总计6971568帧数据.利用已有算法在HFUT-MMD数据集上的实验结果表明,低精度运动数据经过模型优化能够得到与精准的运动数据相近的运动数据,佐证了各模态数据间的一致性. 展开更多

关键词 人体运动数据 多模态运动数据 动作捕捉 体感设备 惯性测量单元

在线阅读 下载PDF 职称材料

基于卷积神经网络的Leap Motion运动数据优化网络 被引量：2

14

作者 张欣天 谢文军 +1 位作者 李书杰 刘晓平 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2021年第3期439-447,共9页

为提高Leap Motion设备的采集精准度,解决自遮挡、采样频率不稳定等设备固有问题,首先,设计了使用Leap Motion和动作捕捉设备的手部多模态同步运动采集方案,采集了日常动作数据集;其次,提出了基于卷积神经网络(convolutional neural net... 为提高Leap Motion设备的采集精准度,解决自遮挡、采样频率不稳定等设备固有问题,首先,设计了使用Leap Motion和动作捕捉设备的手部多模态同步运动采集方案,采集了日常动作数据集;其次,提出了基于卷积神经网络(convolutional neural network,CNN)的Leap Motion手部运动数据优化方法,使用日常动作数据集训练Leap Motion数据到动作捕捉数据的映射网络;最后,提出手指平面约束,确保网络输出数据保持稳定的手部骨骼结构.通过15名志愿者采集了6类动作共967550帧的同步运动数据集,进行了手指平面约束有效性、动作一致性实验,并与双向循环自编码器(bidirectional recurrent autoencoder,BRA)、双向编解码器(encoder-bidirectional-decoder,EBD)方法进行了精度对比.结果表明,文中方法支持使用Leap Motion获取固定采样频率且近似动捕设备精度的手部运动数据,效果较BRA和EBD更加稳定平滑.将文中方法应用于康复游戏中,明显减少了交互动作识别的错误次数. 展开更多

关键词 运动数据优化 Leap Motion 卷积神经网络 多模态数据集 自遮挡

在线阅读 下载PDF 职称材料

基于视频的自动Fugl-Meyer评估方法研究 被引量：19

15

作者 沈子祺 谢文军 刘晓平 《电子测量与仪器学报》 CSCD 北大核心 2022年第2期1-11,共11页

Fugl-Meyer量表是目前临床使用最多的脑卒中感知运动损伤评定方法之一,但由于Fugl-Meyer量表的动作指导和评分都需要专业的康复师参与,Fugl-Meyer评估难以在居家条件下进行。为此,提出了一种基于视频的Fugl-Meyer评估系统。该系统由运... Fugl-Meyer量表是目前临床使用最多的脑卒中感知运动损伤评定方法之一,但由于Fugl-Meyer量表的动作指导和评分都需要专业的康复师参与,Fugl-Meyer评估难以在居家条件下进行。为此,提出了一种基于视频的Fugl-Meyer评估系统。该系统由运动数据获取模块和Fugl-Meyer评估模块两个模块组成。运动数据获取模块可以从视频中获取欧拉角格式的运动数据;Fugl-Meyer评估模块会根据运动数据获取模块输出的数据与Fugl-Meyer量表评分形成的映射关系给出评估结果。该系统允许用户使用最常见的相机进行居家Fugl-Meyer评估。在Human 3.6M数据集上进行了实验,实验结果表明本文系统评估准确且能覆盖Fugl-Meyer量表中的绝大多数测试项目。 展开更多

关键词 深度学习 人体姿态估计 Fugl-Meyer评估

在线阅读 下载PDF 职称材料

结构增强型生成对抗网络SAR图像超分辨率重建 被引量：10

16

作者 闵锐 杨学志 +1 位作者 董张玉 陈鲸 《地理与地理信息科学》 CSCD 北大核心 2021年第2期47-53,共7页

针对利用生成对抗网络模型(Generative Adversarial Network,GAN)重建SAR(Synthetic Aperture Radar)图像存在边缘细节信息不足和“伪影”(artifacts)现象,该文基于增强型超分辨率生成对抗网络(Enhanced Super-Resolution Generative Ad... 针对利用生成对抗网络模型(Generative Adversarial Network,GAN)重建SAR(Synthetic Aperture Radar)图像存在边缘细节信息不足和“伪影”(artifacts)现象,该文基于增强型超分辨率生成对抗网络(Enhanced Super-Resolution Generative Adversarial Networks,ESRGAN)光学模型,重新设计生成网络上采样重建模块和结构损失函数,提出一种结构增强型生成对抗网络SAR图像超分辨率重建算法,包括特征提取、特征增强和上采样重建3个模块:在特征提取模块采用小尺度卷积层对输入SAR图像进行低层次特征提取;在特征增强模块采用多个级联残差密集块(Residual-in-Residual Dense Block,RRDB)和卷积层提取输入特征;在上采样重建模块交替使用最近邻插值(Nearest Neighbor Interpolation,NNI)和亚像素卷积(Sub-Pixel Convolution,SPC)对特征进行放大重建,使特征信息交互融合。与传统插值算法和经典深度学习重建算法相比,该算法在视觉效果和定量评价方面均有显著提升,能够在保持原网络模型重建图像内容信息不丢失的基础上,增强重建图像边缘细节信息和减缓“伪影”现象,有利于后续目标识别和灾害监测等工作开展。 展开更多

关键词 生成对抗网络 超分辨率重建 合成孔径雷达图像 结构损失 残差密集块

在线阅读 下载PDF 职称材料

一种适用于微型无人机的移动MUAV-MTP协议 被引量：4

17

作者 邓嘉辉 薄焕仕 +1 位作者 姚悦 霍星 《计算机工程》 CAS CSCD 北大核心 2018年第5期66-70,共5页

现有Mav Link协议的设计主要面向低速率、大数据量的消息传输,存在移动通信信道特性差、环境干扰因素多等问题。为此,提出一种新型的MUAV-MTP协议,用于微型无人机移动传输身份验证、路线以及控制信息。借鉴现有的移动MavLink通信协议,... 现有Mav Link协议的设计主要面向低速率、大数据量的消息传输,存在移动通信信道特性差、环境干扰因素多等问题。为此,提出一种新型的MUAV-MTP协议,用于微型无人机移动传输身份验证、路线以及控制信息。借鉴现有的移动MavLink通信协议,将原协议转换为面向微型无人机的远程移动控制协议,通过简短的指令包完成无人机的巡航移动控制,并使其同时支持TCP、UDP协议。实验结果表明,MUAV-MTP协议具有操作简便、接口通用,具有良好的扩展性及鲁棒性,可用于基于Pixhawk飞控组装无人机的测试开发。 展开更多

关键词 微型无人机 MUAV-MTP协议 移动通信 MavLink协议 远程控制

在线阅读 下载PDF 职称材料

基于分层压缩激励的ASPP网络单目深度估计 被引量：5

18

作者 廖志伟 金兢 +1 位作者 张超凡 杨学志 《图学学报》 CSCD 北大核心 2022年第2期214-222,共9页

场景深度估计是场景理解的一项基本任务,其准确率反映了计算机对场景的理解程度。传统的深度估计利用金字塔池化(ASPP)模块可以在不改变图像分辨率的情况下处理不同像素特征,但该模块未考虑不同像素特征之间的关系,导致场景特征提取不... 场景深度估计是场景理解的一项基本任务,其准确率反映了计算机对场景的理解程度。传统的深度估计利用金字塔池化(ASPP)模块可以在不改变图像分辨率的情况下处理不同像素特征,但该模块未考虑不同像素特征之间的关系,导致场景特征提取不准确。针对 ASPP 模块在深度估计中出现的弊端,提出了一种改进型的 ASPP 模块,解决了该模块在图像处理中存在的失真问题。首先在卷积核后添加基于分层压缩激励的ASPP 结构块,结合各像素特征之间的关系,让网络自适应学习感兴趣部分;再通过构造差值矩阵解决网络层次优化问题;最后在室内公共数据集 NYU-Depthv2 上进行深度估计网络模型的搭建。与当前主流算法相比,文中算法在定性、定量指标上均有良好表现。在相同的评估指标下,δ;阈值精度提升近 3%,均方误差(RMSE)、绝对误差(Abs Rel)下降 1.7%,对数域误差(lg)下降约 0.3%。该方法所训练的网络模型,解决了传统 ASPP 模块未考虑不同像素特征之间关系的问题,特征提取能力增强,场景深度估计的结果更加准确。 展开更多

关键词 深度学习 卷积神经网络 深度估计 空洞空间金字塔池化 分层设计

在线阅读 下载PDF 职称材料

采用自注意力抗干扰网络的视频房颤检测 被引量：1

19

作者 陈静 杨学志 +1 位作者 陈鲸 刘雪南 《图学学报》 CSCD 北大核心 2023年第2期313-323,共11页

房颤的早期发现与诊断是降低房颤以及并发症风险的关键。视频光电体积描记术(VPPG)技术为房颤筛查提供了新途径,但易受到现实场景中运动干扰。现有VPPG房颤检测方法存在运动干扰时会造成脉冲信号失真,从而发生误判。为解决以上问题,提... 房颤的早期发现与诊断是降低房颤以及并发症风险的关键。视频光电体积描记术(VPPG)技术为房颤筛查提供了新途径,但易受到现实场景中运动干扰。现有VPPG房颤检测方法存在运动干扰时会造成脉冲信号失真,从而发生误判。为解决以上问题,提出一种抗干扰视频房颤检测模型。该模型使用注意力编码器网络,从包含运动干扰的脉冲信号中提取鲁棒的脉冲潜在特征,径向基分类网络根据潜在特征实现房颤检测。注意力编码器将复杂脉冲信号映射到高维子空间,重点关注有效信息,提取稳健潜在特征。径向基分类网络在房颤标签监督下提高房颤识别能力,输出可靠结果。在200名测试者参与的自建数据集上进行实验,结果表明该模型在各类场景中均表现优异。在静态场景中,检测精度较最优对比算法提高了8.1%,敏感性提高了7.5%。在动态场景中,对比算法准确度均大幅下降,所提模型精度相比提升了16.5%,特异性提升了18.3%。模型具有良好的抗运动干扰能力,可有效地消除运动干扰影响,提高现实场景中视频房颤检测精度。 展开更多

关键词 视频光电体积描记术 房颤检测 抗运动干扰 注意力编码器 潜在特征

在线阅读 下载PDF 职称材料

抗相机运动干扰的欧拉视频振动检测 被引量：1

20

作者 辛宜曈 曹文霞 +3 位作者 陈鲸 杨学志 吴克伟 沈晶 《计算机工程与应用》 CSCD 北大核心 2022年第17期277-284,共8页

相机运动的干扰是造成视频振动检测误差的重要原因。针对该问题,提出一种互抑制一致采样方法,对视频中的振动信号和相机运动信号实现有效分离,从而提高视频振动检测的可靠性。通过SURF(加速稳健特征)算法提取候选的特征点,并设计了振动... 相机运动的干扰是造成视频振动检测误差的重要原因。针对该问题,提出一种互抑制一致采样方法,对视频中的振动信号和相机运动信号实现有效分离,从而提高视频振动检测的可靠性。通过SURF(加速稳健特征)算法提取候选的特征点,并设计了振动与相机运动的互抑制测度,对候选的特征点进行分离,以获得相机运动的特征点。根据相机运动特征点对视频图像进行配准,以获得去除相机运动干扰的视频序列。对稳定相机的视频序列,采用欧拉视频振动检测方法获得振动频率。自行采集了不同相机运动下的视频,并针对互抑制测度的参数进行估计。通过对测试集数据进行验证,得到的振动频率准确率优于现有的非接触振动检测方法。 展开更多

关键词 视觉测量 频率检测 互抑制一致采样算法 图像配准

在线阅读 下载PDF 职称材料