鉴于Transformer的Self-Attention机制具有优秀的表征能力,许多研究者提出了基于Self-Attention机制的图像处理模型,并取得了巨大成功。然而,基于Self-Attention的传统图像分类网络无法兼顾全局信息和计算复杂度,限制了Self-Attention...鉴于Transformer的Self-Attention机制具有优秀的表征能力,许多研究者提出了基于Self-Attention机制的图像处理模型,并取得了巨大成功。然而,基于Self-Attention的传统图像分类网络无法兼顾全局信息和计算复杂度,限制了Self-Attention的广泛应用。文中提出了一种有效的、可扩展的注意力模块Local Neighbor Global Self-Attention(LNG-SA),该模块在任意时期都能进行局部信息、邻居信息和全局信息的交互。通过重复级联LNG-SA模块,设计了一个全新的网络,称为LNG-Transformer。该网络整体采用层次化结构,具有优秀的灵活性,其计算复杂度与图像分辨率呈线性关系。LNG-SA模块的特性使得LNG-Transformer即使在早期的高分辨率阶段,也可以进行局部信息、邻居信息和全局信息的交互,从而带来更高的效率、更强的学习能力。实验结果表明,LNG-Transformer在图像分类任务中具有良好的性能。展开更多
结合胃镜超声和白光内镜可以更准确地识别胃肠道间质瘤.但是现有的多模态方法往往仅关注于图像特征,忽略了诊断文本信息中所包含的语义信息对于精确理解和诊断医学图像的重要性.为此,本文提出一种新的基于文本引导下的多模态医学图像分...结合胃镜超声和白光内镜可以更准确地识别胃肠道间质瘤.但是现有的多模态方法往往仅关注于图像特征,忽略了诊断文本信息中所包含的语义信息对于精确理解和诊断医学图像的重要性.为此,本文提出一种新的基于文本引导下的多模态医学图像分析算法框架(Text-guided Multi-modal Medical image analysis framework,TMM-Net).TMM-Net使用多阶段的诊断文本来引导模型学习,以提取图像中的关键诊断信息特征,然后通过交叉模态注意力机制促进多模态特征之间的交互.值得注意的是,TMM-Net通过预测病变属性来模拟临床诊断过程,从而增强了可解释性.验证实验在两个中心包含10 025个模态数据对的数据集上进行.结果表明,该方法相比目前最优的GISTs诊断方法精度提升7.7%,同时获得了最高的(Area Under the Curve,AUC)值:0.927,其可解释性可以更好地适合临床需求.展开更多
交通智能(IC)卡可以记录居民的移动出行,反映居民的源-目的地(OD)信息;但智能卡记录的OD流数据规模大,直接可视化空间分布容易导致视觉杂乱,并且多元数据类型多,更难以和流数据结合对比分析。首先,针对直接可视化大规模OD数据的空间分...交通智能(IC)卡可以记录居民的移动出行,反映居民的源-目的地(OD)信息;但智能卡记录的OD流数据规模大,直接可视化空间分布容易导致视觉杂乱,并且多元数据类型多,更难以和流数据结合对比分析。首先,针对直接可视化大规模OD数据的空间分布容易视觉遮挡的问题,提出基于正交非负矩阵分解(ONMF)的流聚类方法。所提方法对源-目的地数据聚类后再可视化,可以减少不必要的遮挡。然后,针对多元时空数据类型多难以结合对比分析的问题,设计了公交站点多元时序数据视图。该可视化方法将公交站点的流量大小和空气质量、空气温度、相对湿度、降雨量这四类多元数据在同一时间序列上编码,提高了视图的空间利用率并且可以对比分析。再次,为了辅助用户探索分析,开发了基于OD流和多元数据的交互式可视分析系统,并设计了多种交互操作提升用户探索效率。最后,基于新加坡交通智能卡数据集,从聚类效果和运行时间对该聚类方法评估。结果显示,在用轮廓系数评估聚类效果上,所提方法比原始方法提升了0.028,比用K均值聚类方法提升了0.253;在运行时间上比聚类效果较好的ONMFS(ONMF through Subspace exploration)方法少了254 s。通过案例分析和系统功能对比验证了系统的有效性。展开更多
组播在支持日益增长的多媒体应用方面具有广阔的应用前景,面向组播的虚拟网络功能放置是网络功能虚拟化中不可避免的研究趋势.然而,对于该问题的大多数研究都聚焦于静态网络环境,难以应对网络中的各种资源随着时间动态变化,组播服务功能...组播在支持日益增长的多媒体应用方面具有广阔的应用前景,面向组播的虚拟网络功能放置是网络功能虚拟化中不可避免的研究趋势.然而,对于该问题的大多数研究都聚焦于静态网络环境,难以应对网络中的各种资源随着时间动态变化,组播服务功能链(Service Function Chaining,SFC)请求动态到达的真实场景.本文提出一种基于组播SFC请求预测的足球联赛竞争算法,以Informer模型为基础,预测即将到达的组播SFC请求.基于足球联赛竞争的组播虚拟网络功能放置算法,设计多维个体编码策略,一次性求解所有活动组播组的SFC映射方案,提前部署预测的请求.针对预测结果与真实结果不一致的情况,提出一种由正向搜索与反向搜索组成的快速修复策略以完成对请求的快速响应.仿真结果表明,对比其它两种预测模型,Informer在组播SFC请求预测上取得了更低的均方误差与平均绝对误差.此外,与七种经典的启发式算法和深度强化学习算法相比,提出的算法在端到端时延和计算资源消耗方面达到更优性能的同时,取得了更低的组播SFC请求响应时间.展开更多
文摘鉴于Transformer的Self-Attention机制具有优秀的表征能力,许多研究者提出了基于Self-Attention机制的图像处理模型,并取得了巨大成功。然而,基于Self-Attention的传统图像分类网络无法兼顾全局信息和计算复杂度,限制了Self-Attention的广泛应用。文中提出了一种有效的、可扩展的注意力模块Local Neighbor Global Self-Attention(LNG-SA),该模块在任意时期都能进行局部信息、邻居信息和全局信息的交互。通过重复级联LNG-SA模块,设计了一个全新的网络,称为LNG-Transformer。该网络整体采用层次化结构,具有优秀的灵活性,其计算复杂度与图像分辨率呈线性关系。LNG-SA模块的特性使得LNG-Transformer即使在早期的高分辨率阶段,也可以进行局部信息、邻居信息和全局信息的交互,从而带来更高的效率、更强的学习能力。实验结果表明,LNG-Transformer在图像分类任务中具有良好的性能。
文摘结合胃镜超声和白光内镜可以更准确地识别胃肠道间质瘤.但是现有的多模态方法往往仅关注于图像特征,忽略了诊断文本信息中所包含的语义信息对于精确理解和诊断医学图像的重要性.为此,本文提出一种新的基于文本引导下的多模态医学图像分析算法框架(Text-guided Multi-modal Medical image analysis framework,TMM-Net).TMM-Net使用多阶段的诊断文本来引导模型学习,以提取图像中的关键诊断信息特征,然后通过交叉模态注意力机制促进多模态特征之间的交互.值得注意的是,TMM-Net通过预测病变属性来模拟临床诊断过程,从而增强了可解释性.验证实验在两个中心包含10 025个模态数据对的数据集上进行.结果表明,该方法相比目前最优的GISTs诊断方法精度提升7.7%,同时获得了最高的(Area Under the Curve,AUC)值:0.927,其可解释性可以更好地适合临床需求.
文摘交通智能(IC)卡可以记录居民的移动出行,反映居民的源-目的地(OD)信息;但智能卡记录的OD流数据规模大,直接可视化空间分布容易导致视觉杂乱,并且多元数据类型多,更难以和流数据结合对比分析。首先,针对直接可视化大规模OD数据的空间分布容易视觉遮挡的问题,提出基于正交非负矩阵分解(ONMF)的流聚类方法。所提方法对源-目的地数据聚类后再可视化,可以减少不必要的遮挡。然后,针对多元时空数据类型多难以结合对比分析的问题,设计了公交站点多元时序数据视图。该可视化方法将公交站点的流量大小和空气质量、空气温度、相对湿度、降雨量这四类多元数据在同一时间序列上编码,提高了视图的空间利用率并且可以对比分析。再次,为了辅助用户探索分析,开发了基于OD流和多元数据的交互式可视分析系统,并设计了多种交互操作提升用户探索效率。最后,基于新加坡交通智能卡数据集,从聚类效果和运行时间对该聚类方法评估。结果显示,在用轮廓系数评估聚类效果上,所提方法比原始方法提升了0.028,比用K均值聚类方法提升了0.253;在运行时间上比聚类效果较好的ONMFS(ONMF through Subspace exploration)方法少了254 s。通过案例分析和系统功能对比验证了系统的有效性。
文摘组播在支持日益增长的多媒体应用方面具有广阔的应用前景,面向组播的虚拟网络功能放置是网络功能虚拟化中不可避免的研究趋势.然而,对于该问题的大多数研究都聚焦于静态网络环境,难以应对网络中的各种资源随着时间动态变化,组播服务功能链(Service Function Chaining,SFC)请求动态到达的真实场景.本文提出一种基于组播SFC请求预测的足球联赛竞争算法,以Informer模型为基础,预测即将到达的组播SFC请求.基于足球联赛竞争的组播虚拟网络功能放置算法,设计多维个体编码策略,一次性求解所有活动组播组的SFC映射方案,提前部署预测的请求.针对预测结果与真实结果不一致的情况,提出一种由正向搜索与反向搜索组成的快速修复策略以完成对请求的快速响应.仿真结果表明,对比其它两种预测模型,Informer在组播SFC请求预测上取得了更低的均方误差与平均绝对误差.此外,与七种经典的启发式算法和深度强化学习算法相比,提出的算法在端到端时延和计算资源消耗方面达到更优性能的同时,取得了更低的组播SFC请求响应时间.
