基于多层掩码Transformer的服装兼容性预测

1

作者 彭涛 邢欢 +3 位作者 黄俊杰 胡新荣 何儒汉 张俊杰 《计算机应用与软件》 北大核心 2025年第3期55-60,126,共7页

针对服装兼容方法不能很好融合套装内部单品间复杂关系特征,导致准确度不高的问题,提出一种多层掩码Transformer模型(MLMT)来解决服装兼容问题。提出一种基于Transformer的编码器来融合套装内部所有单品的风格信息;提出一种掩码模型通... 针对服装兼容方法不能很好融合套装内部单品间复杂关系特征,导致准确度不高的问题,提出一种多层掩码Transformer模型(MLMT)来解决服装兼容问题。提出一种基于Transformer的编码器来融合套装内部所有单品的风格信息;提出一种掩码模型通过比较单品间的相关性进而判断服装的兼容性。在polyvore-T公开数据集上进行验证,并通过实验与现有方法进行了比较,证明了该方法的有效性。 展开更多

关键词 服装兼容性 服装推荐 掩码模型

在线阅读 下载PDF 职称材料

基于改进外观流网络的跨体态虚拟试衣

2

作者 罗瑞奇 常大顺 +4 位作者 胡新荣 梁金星 彭涛 陈佳 李丽 《纺织学报》 北大核心 2025年第6期203-211,共9页

现有虚拟试衣研究大都局限于简单姿态下的单件衣物试穿,其效果依赖衣物正面图像,实际应用受限。相较而言,跨体态虚拟试衣将完整服装迁移至目标人物,实用性显著提升,但受服装与姿态影响,试穿效果面临挑战。为解决姿态差异较大时跨体态试... 现有虚拟试衣研究大都局限于简单姿态下的单件衣物试穿,其效果依赖衣物正面图像,实际应用受限。相较而言,跨体态虚拟试衣将完整服装迁移至目标人物,实用性显著提升,但受服装与姿态影响,试穿效果面临挑战。为解决姿态差异较大时跨体态试衣效果不佳的问题,提出了一种改进外观流网络来实现跨体态虚拟试衣技术。首先,引入Co-Attention注意力模块,通过特征之间的交互强化风格向量的特征表达;其次,利用通道注意力对服装特征信息进行加权,确保重要信息得到有效传递;最后,提出了全局外观流优化模块,采用可变形卷积替换模块中的传统卷积细化流估计。结果表明,基于改进的外观流网络能够在跨体态虚拟试衣场景下实现合理的服装形变,且结构相似性指标SSIM和Frechet起始距离FID相较于FS-VTON模型分别提升了4.8%和23.5%,实现了较好的试衣效果。 展开更多

关键词 虚拟试衣 注意力机制 外观流 跨体态 可变卷积

在线阅读 下载PDF 职称材料

面向安卓热更新的dex注入漏洞的自动化检测系统

3

作者 彭涛 吕星航 +5 位作者 汤俊伟 张自力 刘军平 胡新荣 何儒汉 吴忠华 《计算机应用与软件》 北大核心 2025年第3期363-370,391,共9页

安卓应用热更新推送补丁包过程中,由于没有添加数字签名,攻击者可以劫持篡改dex文件,导致dex注入,造成严重后果。针对上述问题,提出一种基于mitmproxy的自动化检测系统Homide,该系统首先利用mitmproxy获取客户端与服务端之间交互的所有... 安卓应用热更新推送补丁包过程中,由于没有添加数字签名,攻击者可以劫持篡改dex文件,导致dex注入,造成严重后果。针对上述问题,提出一种基于mitmproxy的自动化检测系统Homide,该系统首先利用mitmproxy获取客户端与服务端之间交互的所有数据包,同时定位dex文件,然后向dex注入代码并采用中间人攻击的方式推送给客户端执行,最后通过应用输出的日志信息来验证是否存在dex注入漏洞。针对应用市场中的513个应用,Homide成功检测出新的17个存在dex注入的应用,实验结果表明,Homide能有效检测出真实世界中因热更新导致dex注入的应用。 展开更多

关键词 漏洞检测 中间人攻击 自动化检测 mitmproxy dex注入

在线阅读 下载PDF 职称材料

基于深度学习的织物疵点检测研究进展 被引量：30

4

作者 王斌 李敏 +1 位作者 雷承霖 何儒汉 《纺织学报》 EI CAS CSCD 北大核心 2023年第1期219-227,共9页

为提高疵点检测的准确性和通用性,实现使用简洁而有效的形式对织物图像的特点和疵点的本质特征进行综合表达,首先,介绍了深度学习技术,对引入了深度学习的疵点检测方法进行综述,同时对深度学习与疵点检测的内在关系进行阐述;然后,分析... 为提高疵点检测的准确性和通用性,实现使用简洁而有效的形式对织物图像的特点和疵点的本质特征进行综合表达,首先,介绍了深度学习技术,对引入了深度学习的疵点检测方法进行综述,同时对深度学习与疵点检测的内在关系进行阐述;然后,分析总结了深度学习的概念及代表性的计算模型,并对引入深度学习的疵点检测方法进行归纳、总结和分类;最后,对典型的方法进行了分析,讨论了各种方法的优缺点,并对未来的研究趋势进行了展望。指出:随着深度学习的发展,探索更加通用的检测方法是推进深度学习在织物疵点检测领域应用的努力方向。 展开更多

关键词 深度学习 疵点检测 纺织品 神经网络 图像分割 机器视觉

在线阅读 下载PDF 职称材料

基于改进Deeplab v3+的服装图像分割网络 被引量：9

5

作者 胡新荣 龚闯 +3 位作者 张自力 朱强 彭涛 何儒汉 《计算机工程》 CAS CSCD 北大核心 2022年第7期284-291,共8页

在服装图像分割领域,现有算法存在服装边缘分割粗糙、分割精度差和服装深层语义特征提取不够充分等问题。将Coordinate Attention机制和语义特征增强模块(SFEM)嵌入到语义分割性能较好的Deeplab v3+网络,设计一种用于服装图像分割领域的... 在服装图像分割领域,现有算法存在服装边缘分割粗糙、分割精度差和服装深层语义特征提取不够充分等问题。将Coordinate Attention机制和语义特征增强模块(SFEM)嵌入到语义分割性能较好的Deeplab v3+网络,设计一种用于服装图像分割领域的CA_SFEM_Deeplab v3+网络。为了加强服装图像有效特征的学习,在Deeplab v3+网络的主干网络resnet101中嵌入Coordinate Attention机制,并将经过带空洞卷积池化金字塔网络的特征图输入到语义特征增强模块中进行特征增强处理,从而提高分割的准确率。实验结果表明,CA_SFEM_Deeplab v3+网络在DeepFashion2数据集上的平均交并比与平均像素准确率分别为0.557、0.671,相较于Deeplab v3+网络分别提高2.1%、2.3%,其所得分割服装轮廓更为精细,具有较好的分割性能。 展开更多

关键词 服装图像 语义分割 Deeplab v3+网络 Coordinate Attention机制 语义特征增强模块

在线阅读 下载PDF 职称材料

基于多模态融合的个性化服装搭配推荐 被引量：3

6

作者 刘军平 张伏红 +4 位作者 胡新荣 彭涛 李丽 朱强 张俊杰 《纺织学报》 EI CAS CSCD 北大核心 2023年第3期176-186,共11页

为提高服装的匹配度且实现高精度推荐,从而满足消费者对个性化服装搭配推荐的巨大需求,研究了从服装颜色到类别的高度非线性复杂属性交互,并以服装搭配的匹配度量化标准为基础,构建了单品潜在特征表示空间的嵌入模型,通过构建融合多模... 为提高服装的匹配度且实现高精度推荐,从而满足消费者对个性化服装搭配推荐的巨大需求,研究了从服装颜色到类别的高度非线性复杂属性交互,并以服装搭配的匹配度量化标准为基础,构建了单品潜在特征表示空间的嵌入模型,通过构建融合多模态信息的矩阵分解框架模型,进一步分析了现有多模态特征融合算法的不足,刻画了不同用户的服装风格偏好,通过特征提取、多模态特征融合、匹配度计算等手段建立个性化服装搭配方案。实验结果表明:该模型计算出的服装匹配度达到了0.81,相较于传统方法提高了1.25%,实现了更高准确度和推荐精度的个性化服装推荐。 展开更多

关键词 服装搭配 个性化推荐 多模态 特征提取 特征融合 匹配度

在线阅读 下载PDF 职称材料

基于背景自适应学习的行人重识别算法研究 被引量：3

7

作者 何儒汉 熊捷繁 熊明福 《计算机工程与应用》 CSCD 北大核心 2023年第7期126-133,共8页

现有的基于语义分割的行人重识别研究大多还是停留在人体语义信息的提取本身,忽视了人体自身语义信息之间以及人体与环境语义信息之间的相互关系,为了解决这一问题,此项研究提出了基于背景自适应学习的人体语义空间关系模型。该模型主... 现有的基于语义分割的行人重识别研究大多还是停留在人体语义信息的提取本身,忽视了人体自身语义信息之间以及人体与环境语义信息之间的相互关系,为了解决这一问题,此项研究提出了基于背景自适应学习的人体语义空间关系模型。该模型主要分为语义分离,特征粗提取以及空间关系学习三部分,语义分离主要用于区分人体语义信息和环境语义信息,特征粗提取则是用于提取不同语义信息的浅层特征,空间关系学习主要是对上述的浅层特征进行空间关系维度的特征关联。通过广泛的实验证明,该方法在两组公开数据集中(DukeMTMC-reID、CUHK-03)均取得了较好的效果。 展开更多

关键词 行人重识别 语义分割 空间关系

在线阅读 下载PDF 职称材料

基于CPM及亲和度向量的服装关键点检测方法

8

作者 汤启凡 黄晋 +2 位作者 何儒汉 彭涛 陈佳 《郑州大学学报（理学版）》 北大核心 2022年第4期78-85,共8页

服装关键点检测是时尚大数据分析和应用的关键技术之一,受到工业界和学术界的共同关注。对多类别、姿态复杂、遮挡等服装关键点检测难点进行了研究,使用目标检测方法对服装分类并消除背景干扰,提出基于亲和度向量的卷积姿态机实现服装... 服装关键点检测是时尚大数据分析和应用的关键技术之一,受到工业界和学术界的共同关注。对多类别、姿态复杂、遮挡等服装关键点检测难点进行了研究,使用目标检测方法对服装分类并消除背景干扰,提出基于亲和度向量的卷积姿态机实现服装关键点检测,利用关键点间空间约束以提高检测的准确度,实现了一个两阶段的服装关键点检测框架。实验表明,该框架能够更准确地检测服装关键点,并对服装关键点分散性、遮挡和重叠都具有较强鲁棒性。 展开更多

关键词 服装关键点检测 卷积姿态机 亲和度向量 目标检测

在线阅读 下载PDF 职称材料

基于YOLOv5n的轻量级织物疵点检测算法 被引量：4

9

作者 李洋 李敏 +2 位作者 黄政 董雄伟 朱立成 《毛纺科技》 CAS 北大核心 2024年第5期87-97,共11页

针对轻量级模型在检测织物疵点时精确率低的问题,在YOLOv5n的基础上提出一种上下文增强与混合感受野的织物疵点检测算法。首先,为主干网络设计了一种轻量扩张卷积空间金字塔模块,并将主干网络的下采样比增加至64,在增强上下文信息的同... 针对轻量级模型在检测织物疵点时精确率低的问题,在YOLOv5n的基础上提出一种上下文增强与混合感受野的织物疵点检测算法。首先,为主干网络设计了一种轻量扩张卷积空间金字塔模块,并将主干网络的下采样比增加至64,在增强上下文信息的同时提取更深层的语义信息,提高模型识别性能;其次,为颈部网络设计了一种混合感受野融合模块代替原C3模块并进行特征融合,提高极端长宽比目标的检测精度。实验表明:该算法在基于天池织物数据集上的IOU阈值为0.5时的平均精度均值mAP 50、精确率、召回率分别达到了93.1%、91.6%、89.1%,相较于原YOLOv5n算法分别提高了4.9%、7.3%、5.0%,且模型文件大小仅6.28 MB,更适用于织物疵点检测领域。 展开更多

关键词 疵点检测 深度学习 YOLOv5n 空间金字塔 感受野融合

在线阅读 下载PDF 职称材料

基于改进超像素采样的立体匹配网络

10

作者 徐海东 张自力 +2 位作者 胡新荣 彭涛 张俊 《计算机科学》 CSCD 北大核心 2024年第S02期514-520,共7页

针对立体匹配中细节丢失、有遮挡,以及无纹理区域匹配精度低的问题,提出了一种基于改进超像素采样的立体匹配方法。首先,利用改进的超像素采样方法对用于立体匹配的高分辨率输入图像进行下采样,随后,将下采样后的图像对输入到立体匹配... 针对立体匹配中细节丢失、有遮挡,以及无纹理区域匹配精度低的问题,提出了一种基于改进超像素采样的立体匹配方法。首先,利用改进的超像素采样方法对用于立体匹配的高分辨率输入图像进行下采样,随后,将下采样后的图像对输入到立体匹配网络中,利用权值共享的卷积网络进行特征提取,使用3D卷积获取特征融合后的Cost Volume并生成视差图,再将输出的视差图进行上采样还原为最终的视差图。针对超像素采样过程中容易丢失细节从而影响后续立体匹配精度的问题,引入特征金字塔注意力模块(Feature Pyramid Attention,FPA)和改进的残差结构。根据上述两个方面的创新,提出了基于超像素采样的立体匹配网络FPSMnet(Feature Pyramid Stereo Matching Network),并选取、划分图像数据集BSDS500和NYUv2作为超像素采样的训练、验证和测试的数据集。立体匹配实验结果表明,与基准方法相比,所提算法在SceneFlow和HR-VS数据集上的平均像素误差分别下降了0.25和0.52,在不影响运行时间的前提下提高了匹配精度。 展开更多

关键词 深度学习 超像素 立体匹配 注意力机制

在线阅读 下载PDF 职称材料

基于自适应网格划分的针织物仿真 被引量：3

11

作者 胡新荣 汪卓 +3 位作者 刘军平 彭涛 李敏 李丽 《现代纺织技术》 北大核心 2022年第5期21-30,59,共11页

为了提高针织物仿真效率并保证仿真效果的真实性,提出一种利用纱线模型周期性的方法。该方法首先建立网格与纱线模型之间的对应关系,然后对网格模型与纱线模型分别进行仿真。在整体形变效果方面以网格仿真为主,为了加快网格仿真速度、... 为了提高针织物仿真效率并保证仿真效果的真实性,提出一种利用纱线模型周期性的方法。该方法首先建立网格与纱线模型之间的对应关系,然后对网格模型与纱线模型分别进行仿真。在整体形变效果方面以网格仿真为主,为了加快网格仿真速度、提高低分辨率网格下的形变效果,仿真过程中使用自适应网格划分技术,根据形变的程度适当地细分与粗化相应位置的网格模型,并计算网格面的应变。在微观形变细节方面,使用不同的应变参数的输入对纱线最小重复单元进行仿真,得到该重复单元的输入应变参数与能量密度之间的关系。最后通过网格模型中得到的应变参数输入,将仿真结果映射到经过网格仿真输出的网格模型上。对5种不同针法的织物进行仿真实验,结果表明该方法比起传统网格仿真方法有更接近真实的形变效果,仿真过程中使用的模型顶点与网格数量相比输入网格减少20%~30%,并且在时间效率上最多能够提升39.7%。 展开更多

关键词 自适应网格划分 纱线模型 弹簧质点模型 针织物仿真

在线阅读 下载PDF 职称材料

基于多步态特征融合的情感识别 被引量：1

12

作者 彭涛 唐经 +3 位作者 何凯 胡新荣 刘军平 何儒汉 《广西师范大学学报（自然科学版）》 CAS 北大核心 2022年第3期104-111,共8页

在情感计算、心理治疗、机器人、监视和观众理解等方面,基于步态特征的情感识别有着广泛的应用前景。已有方法表明,考虑手势位置等上下文信息可以显著提高情绪识别性能,且时空信息能显著提高情绪识别精度。但是单纯使用骨骼空间信息无... 在情感计算、心理治疗、机器人、监视和观众理解等方面,基于步态特征的情感识别有着广泛的应用前景。已有方法表明,考虑手势位置等上下文信息可以显著提高情绪识别性能,且时空信息能显著提高情绪识别精度。但是单纯使用骨骼空间信息无法充分表达步态中的情绪信息。为了充分利用步态特征,本文提出自适应融合的方法,将骨骼时空信息与骨骼旋转角度结合,提升了现有模型的情感识别精度。本文模型利用自编码器,学习人类行走时的骨骼旋转信息,利用时空图卷积神经网络提取骨骼点时空信息,将骨骼旋转信息与时空信息输入自适应融合网络,得到最终特征进行分类。模型在Emotion-Gait数据集上测试,实验结果显示:悲伤、愤怒和中立情绪的AP值比最新HAP方法分别提升5、8、5个百分点;总体分类的平均MAP值提高了5个百分点。 展开更多

关键词 步态特征 时空图卷积神经网络 特征融合 情感识别 自编码器

在线阅读 下载PDF 职称材料

基于多头软注意力图卷积网络的行人轨迹预测

13

作者 彭涛 康亚龙 +5 位作者 余锋 张自力 刘军平 胡新荣 何儒汉 李丽 《计算机应用》 CSCD 北大核心 2023年第3期736-743,共8页

行人间交互作用的复杂性给行人轨迹预测带来了挑战,且现有算法难以捕获行人间有意义的交互信息,不能直观地建模行人间的交互作用。针对以上问题,提出多头软注意力图卷积网络。首先利用多头软注意力(MS ATT)结合内卷网络Involution分别... 行人间交互作用的复杂性给行人轨迹预测带来了挑战,且现有算法难以捕获行人间有意义的交互信息,不能直观地建模行人间的交互作用。针对以上问题,提出多头软注意力图卷积网络。首先利用多头软注意力(MS ATT)结合内卷网络Involution分别从空间图和时间图输入中提取稀疏空间和稀疏时间邻接矩阵,生成稀疏空间和稀疏时间有向图;然后,利用图卷积网络(GCN)从稀疏空间和稀疏时间有向图中学习交互作用与运动趋势特征;最后,将学习到的轨迹特征输入时间卷积网络(TCN)以预测双高斯分布参数,生成行人预测轨迹。在ETH和UCY数据集上的实验结果表明:相较于空时社交关系池化行人轨迹预测模型(SOPM),所提算法的平均位移误差(ADE)降低了2.78%;相较于稀疏图卷积网络(SGCN),所提算法的最终位移误差(FDE)降低了16.92%。 展开更多

关键词 多头软注意力 通道注意力 空间注意力 内卷 图卷积网络 行人轨迹预测

在线阅读 下载PDF 职称材料

基于改进Inception结构的知识图谱嵌入模型 被引量：6

14

作者 余晓鹏 何儒汉 +2 位作者 黄晋 张俊杰 胡新荣 《计算机应用》 CSCD 北大核心 2022年第4期1065-1071,共7页

知识图谱嵌入(KGE)将实体和关系映射到低维连续向量空间中,以利用机器学习方法实现关系数据的应用,如知识分析、推理、补全等。以ConvE为代表将卷积神经网络(CNN)应用于知识图谱嵌入中,以捕捉实体和关系的交互信息,但其标准卷积捕捉特... 知识图谱嵌入(KGE)将实体和关系映射到低维连续向量空间中,以利用机器学习方法实现关系数据的应用,如知识分析、推理、补全等。以ConvE为代表将卷积神经网络(CNN)应用于知识图谱嵌入中,以捕捉实体和关系的交互信息,但其标准卷积捕捉特征交互信息能力不足,特征表达能力低下。针对特征交互能力不足问题,提出了一种改进的Inception结构,在此基础上构建一个知识图谱嵌入模型InceE。首先,该结构使用混合空洞卷积替代标准卷积,以提高特征交互信息捕捉能力;其次,使用残差网络结构,以减少特征信息丢失。实验使用基准数据集Kinship、FB15k、WN18验证InceE链接预测有效性。在Kinship、FB15k数据集上,相较于ArcE和QuatRE模型,InceE的Hit@1分别提升了1.6和1.5个百分点;在三个数据集上,与ConvE对比,InceE的Hit@1分别提升了6.3、20.8和1.0个百分点。实验结果表明InceE具有更强的特征交互信息捕捉能力。 展开更多

关键词 知识图谱嵌入 特征交互 INCEPTION 混合空洞卷积 残差学习 链接预测

在线阅读 下载PDF 职称材料

基于多模态表示学习的情感分析框架 被引量：5

15

作者 胡新荣 陈志恒 +3 位作者 刘军平 彭涛 叶鹏 朱强 《计算机科学》 CSCD 北大核心 2022年第S02期631-636,共6页

在多模态表示对整体损失的学习过程中,重构损失对模型的依赖性相对较小,导致隐含表示无法有效捕捉它们各自模态的细节。文中提出了一个基于多模态表示学习的多子空间情感分析框架。首先将每个模态投射到模态不变和模态特定两种不同的话... 在多模态表示对整体损失的学习过程中,重构损失对模型的依赖性相对较小,导致隐含表示无法有效捕捉它们各自模态的细节。文中提出了一个基于多模态表示学习的多子空间情感分析框架。首先将每个模态投射到模态不变和模态特定两种不同的话语表示中,在模态不变表示中构建主共享子空间以及帮助该子空间减少模态差距的辅助共享子空间,在模态特定表示中构建私有子空间以捕获每个模态独有的特征,将所有子空间中的隐藏向量作为解码函数的输入并重构模态向量,以实现对重构损失的优化。然后,在融合阶段对每个模态表示执行基于Transformer的自注意力,使每个表示能从对整体情感取向具有协同作用的其他跨模态表示中获取潜在信息。最后,通过串联生成联合向量并利用全连接层生成任务预测。在两个公开数据集MOSI和MOSEI上的实验结果表明,该框架在大多数评价指标上都优于基线模型。 展开更多

关键词 多模态表示 情感分析 TRANSFORMER 自注意力 跨模态

在线阅读 下载PDF 职称材料

基于SGD的决策级融合维度情感识别方法 被引量：3

16

作者 胡新荣 陈志恒 +3 位作者 刘军平 彭涛 何儒汉 何凯 《郑州大学学报（理学版）》 北大核心 2022年第4期49-54,共6页

在双模态维度情感识别中,存在由于信息不全面而导致预测性能不高的缺陷,且使用决策级融合方法进行融合大多依赖支持向量回归算法,但该算法无法有效处理大样本情况。为了解决以上问题,在语音和文本模态的基础上增加动作捕捉(motion captu... 在双模态维度情感识别中,存在由于信息不全面而导致预测性能不高的缺陷,且使用决策级融合方法进行融合大多依赖支持向量回归算法,但该算法无法有效处理大样本情况。为了解决以上问题,在语音和文本模态的基础上增加动作捕捉(motion capture,Mocap)数据,并针对该多模态数据提出一种基于随机梯度下降(stochastic gradient descent,SGD)的决策级融合维度情感识别方法。结合多任务学习机制,利用不同的深度学习模型分别对语音、文本和Mocap特征进行训练,并基于决策级融合方法实现多模态维度情感识别。在IEMOCAP数据集上的实验结果表明,Mocap数据更有助于提高效价维的值,结合更多情感数据有助于提升维度情感识别的预测性能,基于SGD进行决策级融合得到的一致性相关系数均值高于其他回归算法。 展开更多

关键词 随机梯度下降 多模态 维度情感识别 特征融合 动作捕捉数据 多任务学习

在线阅读 下载PDF 职称材料

基于EfficientNetV2和物体上下文表示的胃癌图像分割方法 被引量：2

17

作者 周迪 张自力 +3 位作者 陈佳 胡新荣 何儒汉 张俊 《计算机应用》 CSCD 北大核心 2023年第9期2955-2962,共8页

针对U-Net上采样过程容易丢失细节信息,以及胃癌病理图像数据集普遍偏小,容易出现过拟合的问题,提出一种基于改进U-Net的自动分割胃癌病理图像模型EOU-Net。EOU-Net在U-Net模型的基础上,将EfficientNetV2作为骨干特征提取网络,以增强网... 针对U-Net上采样过程容易丢失细节信息,以及胃癌病理图像数据集普遍偏小,容易出现过拟合的问题,提出一种基于改进U-Net的自动分割胃癌病理图像模型EOU-Net。EOU-Net在U-Net模型的基础上,将EfficientNetV2作为骨干特征提取网络,以增强网络编码器的特征提取能力。在解码阶段,基于物体上下文表示(OCR)探究细胞像素间的关系,并使用改进后的OCR模块解决上采样图像的细节丢失问题;然后,使用验证阶段增强(TTA)后处理对输入图像进行翻转和不同角度旋转后分别预测这些图像,再通过特征融合的方式将多个输入图像预测结果进行合并,进一步优化网络的输出结果,从而有效解决医学数据集较小的问题。在SEED、BOT以及PASCAL VOC 2012数据集上的实验结果表明,与OCRNet相比,EOU-Net的平均交并比(MIoU)分别提高了1.8、0.6以及4.5个百分点。可见EOU-Net能得到更准确的胃癌图像分割结果。 展开更多

关键词 语义分割 U-Net EfficientNetV2 物体上下文表示 胃癌

在线阅读 下载PDF 职称材料

基于时空特征融合的语音情感识别 被引量：2

18

作者 彭涛 郑传锟 +3 位作者 张自力 刘军平 胡新荣 何儒汉 《郑州大学学报（理学版）》 北大核心 2022年第4期42-48,共7页

语音情感识别在人机交互中有重要的作用。在语音情感识别领域中,通常使用迁移学习解决语音情感数据难获取的问题,但忽略了语音数据的时序信息和空间信息。考虑到AlexNet网络中的参数来自图像数据集,不能完全表现语音数据的空间信息,并... 语音情感识别在人机交互中有重要的作用。在语音情感识别领域中,通常使用迁移学习解决语音情感数据难获取的问题,但忽略了语音数据的时序信息和空间信息。考虑到AlexNet网络中的参数来自图像数据集,不能完全表现语音数据的空间信息,并且不包含时序信息,因此提出通过膨胀卷积网络提取语音频谱图的空间信息,添加双向长短期记忆神经网络提取时序信息,并进行时空特征融合;针对语音中含有大量与情感无关的特征,通过将对数梅尔频谱图的三个通道作为输入,减少情感无关因素的影响,并添加注意力机制,选取情感权重大的时域信号。用公开数据集实验证明了方法的有效性,在WAR和UAR上都有提升。 展开更多

关键词 语音情感识别 膨胀卷积网络 长短期记忆神经网络 注意力机制

在线阅读 下载PDF 职称材料

基于GRU与自注意力网络的声源到达方向估计 被引量：2

19

作者 何儒汉 陈一帆 +1 位作者 余永升 姜艾森 《计算机科学》 CSCD 北大核心 2023年第S02期986-992,共7页

基于神经网络的声源定位近年来受到广泛的关注,但如何缓解隐含DOA位置信息丢失、小样本数据等问题仍然是目前面临的挑战,因此提出了一种基于GRU和自注意力网络的声源到达方向估计方法。该方法采用对小型数据集效果较好的GRU作为骨干网络... 基于神经网络的声源定位近年来受到广泛的关注,但如何缓解隐含DOA位置信息丢失、小样本数据等问题仍然是目前面临的挑战,因此提出了一种基于GRU和自注意力网络的声源到达方向估计方法。该方法采用对小型数据集效果较好的GRU作为骨干网络,弥补了纯净的声音数据采集困难的问题;同时,该方法使用多声道录音的声源形成训练集,经过短时傅里叶变换特征提取得到梅尔频谱图和声学强度矢量,进而形成由多通道语谱图以及归一化的主特征向量叠加的输入特征,避免了对语谱图与GCC-PHAT特征结合的隐式DOA信息的破坏,有效缓解了隐含DOA位置信息丢失问题;将其作为输入进入卷积循环神经网络模型进行监督学习获得模型参数。模型输出使用三维笛卡尔积坐标回归获得DOA位置估计,并增加自注意力网络在模型训练时进行参数回传,使得网络在训练的同时计算损失并预测关联矩阵,以解决预测定位和参考定位之间的最优分配。实验结果表明,该网络在不同混响条件和信噪比的环境下,均具有较高的定位准确率和鲁棒性。 展开更多

关键词 声源到达方向估计 GRU 卷积神经网络 循环神经网络 自注意力

在线阅读 下载PDF 职称材料

基于用户兴趣感知的多关系推荐模型 被引量：2

20

作者 胡新荣 邓杰文 +3 位作者 罗瑞奇 刘军平 朱强 彭涛 《计算机工程与应用》 CSCD 北大核心 2023年第11期231-240,共10页

由于图卷积网络(GCN)能够利用高阶邻居的协作信号来更好地学习用户和项目的嵌入,它已经广泛应用于推荐系统。但在当前基于GCN的多关系推荐模型中用户节点的嵌入学习会受到与之兴趣不相似的高阶相邻用户的干扰,导致拥有不同兴趣的用户经... 由于图卷积网络(GCN)能够利用高阶邻居的协作信号来更好地学习用户和项目的嵌入,它已经广泛应用于推荐系统。但在当前基于GCN的多关系推荐模型中用户节点的嵌入学习会受到与之兴趣不相似的高阶相邻用户的干扰,导致拥有不同兴趣的用户经过多层图卷积后会得到相似的嵌入,从而产生了过度平滑问题。因此针对上述问题提出了一个基于用户兴趣感知的多关系推荐模型(IMRRM)。该模型会在用户项目异构交互图中利用轻量化的图卷积网络得到每个用户的图形结构信息。子图生成模块利用用户的图结构信息和初始特征有效地识别出兴趣相似的用户,并将相似用户及其交互项目组成一个子图。通过在子图中进行深层嵌入学习来防止兴趣不相关的高阶邻居传播更多的负面信息从而得到更精确的用户嵌入。因此IMRRM模型减少了噪声信息对用户节点嵌入学习的影响,有效地缓解了过度平滑问题来更加准确地进行多关系推荐。通过在Beibei和Taobao这两个公共数据集上实验来验证IMRRM的有效性和鲁棒性。实验结果表明,IMRRM模型在HR10上分别提高了1.98%和1.49%,在NDCG10上分别提高了1.58%和1.81%,具有较好的性能。 展开更多

关键词 图卷积网络 多关系推荐 子图 兴趣感知

在线阅读 下载PDF 职称材料