Based on the optimal fusion algorithm weighted by matrices in the linear minimum variance (LMV) sense, a distributed full-order optimal fusion Kalman filter (DFFKF) is given for discrete-time stochastic singular syste...Based on the optimal fusion algorithm weighted by matrices in the linear minimum variance (LMV) sense, a distributed full-order optimal fusion Kalman filter (DFFKF) is given for discrete-time stochastic singular systems with multiple sensors, which involves the inverse of a high-dimension matrix to compute matrix weights. To reduce the computational burden, a distributed reduced-order fusion Kalman filter (DRFKF) is presented, which involves in parallel the inverses of two relatively low-dimension matrices to compute matrix weights. A simulation example shows the effectiveness.展开更多
社交媒体上图像和文本数据的快速增长导致人们对多模态讽刺检测问题的关注不断提高。然而,现有基于特征提取融合的检测方法存在一些缺陷:一是大多数方法缺乏多模态检测所需的底层模态对齐能力,二是模态融合过程忽视了模态间的动态关系,...社交媒体上图像和文本数据的快速增长导致人们对多模态讽刺检测问题的关注不断提高。然而,现有基于特征提取融合的检测方法存在一些缺陷:一是大多数方法缺乏多模态检测所需的底层模态对齐能力,二是模态融合过程忽视了模态间的动态关系,三是未能充分利用模态互补性。为此,提出一种基于单模态监督对比学习、多模态融合和多视图聚合预测的检测模型。以CLIP(contrastive language image pre-training)模型作为编码器来增强图像和文本底层编码的对齐效果。结合单模态监督对比学习方法,通过单模态预测来指导模态间的动态关系。然后,设计了全局-局部跨模态融合方法,利用每种模态的语义级表示作为全局多模态上下文与局部单模态特征进行交互,通过多个跨模态融合层提高模态融合效果,并减少了以往局部-局部跨模态融合方法的时间和空间成本。采用多视图聚合预测方法充分利用图像、文本和图文视图的互补性。总之,该模型能有效捕捉多模态讽刺数据的跨模态语义不一致性,在公开数据集MSD上取得了比现有最好方法DMSD-Cl更好的结果。展开更多
针对去雾图像边缘细节不够清晰,以及现有U-Net去雾网络大多对频域信息的挖掘不够充分、忽略了不同通道之间的信息交流从而导致结构模糊的问题,提出了频域特征蒸馏的双尺度融合网络来实现单幅图像的有效去雾。在粗尺度特征提取子网中采...针对去雾图像边缘细节不够清晰,以及现有U-Net去雾网络大多对频域信息的挖掘不够充分、忽略了不同通道之间的信息交流从而导致结构模糊的问题,提出了频域特征蒸馏的双尺度融合网络来实现单幅图像的有效去雾。在粗尺度特征提取子网中采用大尺度的卷积核提取图像的纹理信息,利用残差注意力机制增强与雾霾相关的特征。在细尺度高频融合子网中,设计了高频特征蒸馏模块用来细化提取到的结构和边缘信息,并逐步恢复清晰的图像;同时采用交叉融合策略对不同通道的特征进行融合。实验结果表明,与MSTN(Efficient and Accurate Multi-Scale Topological Network)算法相比,在室外图像数据集上的峰值信噪比和结构相似度分别提高了9.98%和4.77%。在不同数据集上的实验结果均表明所提出的方法表现出了更良好的去雾性能。该方法可以有效提高去雾的效果,保留更多的结构信息,具有更好的颜色细节恢复能力。展开更多
基金Supported by National Natural Science Foundation of P. R. China (60504034) Youth Foundation of Heilongjiang Province (QC04A01) Outstanding Youth Foundation of Heilongjiang University (JC200404)
文摘Based on the optimal fusion algorithm weighted by matrices in the linear minimum variance (LMV) sense, a distributed full-order optimal fusion Kalman filter (DFFKF) is given for discrete-time stochastic singular systems with multiple sensors, which involves the inverse of a high-dimension matrix to compute matrix weights. To reduce the computational burden, a distributed reduced-order fusion Kalman filter (DRFKF) is presented, which involves in parallel the inverses of two relatively low-dimension matrices to compute matrix weights. A simulation example shows the effectiveness.
文摘社交媒体上图像和文本数据的快速增长导致人们对多模态讽刺检测问题的关注不断提高。然而,现有基于特征提取融合的检测方法存在一些缺陷:一是大多数方法缺乏多模态检测所需的底层模态对齐能力,二是模态融合过程忽视了模态间的动态关系,三是未能充分利用模态互补性。为此,提出一种基于单模态监督对比学习、多模态融合和多视图聚合预测的检测模型。以CLIP(contrastive language image pre-training)模型作为编码器来增强图像和文本底层编码的对齐效果。结合单模态监督对比学习方法,通过单模态预测来指导模态间的动态关系。然后,设计了全局-局部跨模态融合方法,利用每种模态的语义级表示作为全局多模态上下文与局部单模态特征进行交互,通过多个跨模态融合层提高模态融合效果,并减少了以往局部-局部跨模态融合方法的时间和空间成本。采用多视图聚合预测方法充分利用图像、文本和图文视图的互补性。总之,该模型能有效捕捉多模态讽刺数据的跨模态语义不一致性,在公开数据集MSD上取得了比现有最好方法DMSD-Cl更好的结果。
文摘针对去雾图像边缘细节不够清晰,以及现有U-Net去雾网络大多对频域信息的挖掘不够充分、忽略了不同通道之间的信息交流从而导致结构模糊的问题,提出了频域特征蒸馏的双尺度融合网络来实现单幅图像的有效去雾。在粗尺度特征提取子网中采用大尺度的卷积核提取图像的纹理信息,利用残差注意力机制增强与雾霾相关的特征。在细尺度高频融合子网中,设计了高频特征蒸馏模块用来细化提取到的结构和边缘信息,并逐步恢复清晰的图像;同时采用交叉融合策略对不同通道的特征进行融合。实验结果表明,与MSTN(Efficient and Accurate Multi-Scale Topological Network)算法相比,在室外图像数据集上的峰值信噪比和结构相似度分别提高了9.98%和4.77%。在不同数据集上的实验结果均表明所提出的方法表现出了更良好的去雾性能。该方法可以有效提高去雾的效果,保留更多的结构信息,具有更好的颜色细节恢复能力。
