-
题名融合多头自注意力的标签语义嵌入联邦类增量学习方法
- 1
-
-
作者
王虎
王晓峰
李可
马云洁
-
机构
北方民族大学计算机科学与工程学院
图形图像智能处理国家民委重点实验室(北方民族大学)
北方民族大学数学与信息科学学院
-
出处
《计算机应用》
北大核心
2025年第10期3083-3090,共8页
-
基金
宁夏自然科学基金资助项目(2024AAC03165,2024AAC03169)
宁夏青年拔尖人才项目(2021)。
-
文摘
灾难性遗忘对联邦类增量学习(FCIL)构成了显著挑战,导致进行FCIL持续任务时性能下降的问题。针对此问题,提出一种融合多头自注意力(MHSA)的标签语义嵌入(LSE)的FCIL方法——ATTLSE(ATTention Label Semantic Embedding)。首先,融合MHSA的LSE和生成器;其次,在无数据知识蒸馏(DFKD)阶段,依靠融合MHSA的生成器生成更多有意义的数据样本,以指导用户端模型的训练,并降低灾难性遗忘问题在FCIL中的影响。实验结果表明,在CIFAR-100和Tiny_ImageNet数据集上,与LANDER(Label Text Centered Data-Free Knowledge Transfer)方法相比,ATTLSE的平均准确率提升了0.06~6.45个百分点,缓解了持续任务在联邦类增量学习上的灾难性遗忘问题。
-
关键词
灾难性遗忘
联邦类增量学习
多头自注意力
标签语义嵌入
无数据知识蒸馏
-
Keywords
catastrophic forgetting
Federated Class-Incremental Learning(FCIL)
Multi-Head Self-Attention(MHSA)
Label Semantic Embedding(LSE)
Data-Free Knowledge Distillation(DFKD)
-
分类号
TP181
[自动化与计算机技术—控制理论与控制工程]
-
-
题名基于视频多帧融合的医学超声图像超分辨率重建方法
被引量：4
- 2
-
-
作者
赵冉
袁家斌
范利利
-
机构
南京航空航天大学计算机科学与技术学院
-
出处
《计算机科学》
CSCD
北大核心
2023年第7期143-151,共9页
-
基金
国家重点研发计划(2017YFB0802303)
国家自然科学基金(62076127)。
-
文摘
医学超声成像是临床诊断中应用最广泛的成像方式之一。目前超声图像普遍存在分辨率和对比度较低的问题,并且成像过程易受噪声污染。图像超分辨率重建技术被广泛用于改善超声图像的质量。然而,已有的研究工作缺乏对超声视频帧之间互补信息的充分利用,因此效果并不理想。针对此问题,提出了一种基于视频多帧融合的医学超声图像超分辨率重建方法。首先,构建了一个基于卷积神经网络的无监督多帧融合模型,该模型通过对连续的多帧图像进行特征融合,得到具有丰富信息的融合特征图像;然后,建立一个基于无数据知识蒸馏的轻量级图像超分辨率重建模型,通过训练融合特征图像得到教师超分辨率网络,利用训练好的教师网络和生成对抗网络获取的训练数据得到轻量级学生超分网络,最终得到高质量的医学超声图像;最后,在大型超声数据集上进行实验,采用两种图像客观评价指标以及图像分类任务进行评估。结果表明,所提方法与8种已有的图像超分辨率重建方法相比,在提高超声图像分辨率的同时,获得了包含更多信息且具有更高对比度的超声图像。此外,所提方法得到的超分辨率图像在分类网络的识别准确率可达到97.30%,明显优于其他方法,可提高临床诊断效率与准确性。
-
关键词
医学超声图像
多帧融合
超分辨率重建
无数据知识蒸馏
卷积神经网络
-
Keywords
Medical ultrasound image
Multi-frame fusion
Super-resolution reconstruction
Data-free knowledge distillation
Convolutional neural network
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
