社交媒体上图像和文本数据的快速增长导致人们对多模态讽刺检测问题的关注不断提高。然而,现有基于特征提取融合的检测方法存在一些缺陷:一是大多数方法缺乏多模态检测所需的底层模态对齐能力,二是模态融合过程忽视了模态间的动态关系,...社交媒体上图像和文本数据的快速增长导致人们对多模态讽刺检测问题的关注不断提高。然而,现有基于特征提取融合的检测方法存在一些缺陷:一是大多数方法缺乏多模态检测所需的底层模态对齐能力,二是模态融合过程忽视了模态间的动态关系,三是未能充分利用模态互补性。为此,提出一种基于单模态监督对比学习、多模态融合和多视图聚合预测的检测模型。以CLIP(contrastive language image pre-training)模型作为编码器来增强图像和文本底层编码的对齐效果。结合单模态监督对比学习方法,通过单模态预测来指导模态间的动态关系。然后,设计了全局-局部跨模态融合方法,利用每种模态的语义级表示作为全局多模态上下文与局部单模态特征进行交互,通过多个跨模态融合层提高模态融合效果,并减少了以往局部-局部跨模态融合方法的时间和空间成本。采用多视图聚合预测方法充分利用图像、文本和图文视图的互补性。总之,该模型能有效捕捉多模态讽刺数据的跨模态语义不一致性,在公开数据集MSD上取得了比现有最好方法DMSD-Cl更好的结果。展开更多
服装已经成为网络购物的重要商品之一,实现精准的符合用户个性化审美的服装推荐系统,已经成为热门研究内容。针对提取用户的细粒度兴趣特征不全面,导致推荐系统的准确性低问题,提出融合长短期偏好的服装推荐算法;针对数据稀疏以及数据...服装已经成为网络购物的重要商品之一,实现精准的符合用户个性化审美的服装推荐系统,已经成为热门研究内容。针对提取用户的细粒度兴趣特征不全面,导致推荐系统的准确性低问题,提出融合长短期偏好的服装推荐算法;针对数据稀疏以及数据单一性,导致推荐结果个性化、多样性低的问题,利用跨模态数据和注意力机制使模型学习出更为精准的差异性用户特征。在真实数据集Clothing Shoes and Jewelry上,将所设计的模型(PCR)与经典的循环神经网络RNN、基于矩阵分解MF-BPR模型以及改进的矩阵分解TARMF模型进行性能比对,PCR模型在关键性能评价指标NDCG、Precision@K和Recall@K均有提升。实验结果表明该模型在服装推荐系统中是可行与有效的。展开更多
多特征模态融合时存在噪声的叠加,而为减小模态间的差异采用的级联方式的结构也未充分利用模态间的特征信息,因此设计一种跨模态双流交替交互网络(DAINet)方法。首先,构建双流交替增强(DAE)模块,以交互双分支形式融合模态特征,并通过学...多特征模态融合时存在噪声的叠加,而为减小模态间的差异采用的级联方式的结构也未充分利用模态间的特征信息,因此设计一种跨模态双流交替交互网络(DAINet)方法。首先,构建双流交替增强(DAE)模块,以交互双分支形式融合模态特征,并通过学习模态数据的映射关系,以红外-可见光-红外(IR-VIS-IR)和可见光-红外-可见光(VIS-IR-VIS)的双向反馈调节实现模态间噪声的交叉抑制;然后,构建跨模态特征交互(CMFI)模块,并引入残差结构将红外-可见光模态内以及模态间的低层特征和高层特征进行有效融合,从而减小模态间的差异并充分利用模态间的特征信息;最后,在自建红外-可见光多模态台风数据集及RGB-NIR多模态公开场景数据集上进行实验,以验证DAE模块和CMFI模块的有效性。实验结果表明,与简单级联融合方法相比,所提的基于DAINet的特征融合方法在自建台风数据集上的红外模态和可见光模态上的总体分类精度分别提高了6.61和3.93个百分点,G-mean值分别提高了6.24和2.48个百分点,表明所提方法在类别不均衡分类任务上的通用性;所提方法在RGB-NIR数据集上的2种测试模态下的总体分类精度分别提高了13.47和13.90个百分点。同时,所提方法在2个数据集上分别与IFCNN(general Image Fusion framework based on Convolutional Neural Network)和DenseFuse方法进行对比的实验结果表明,所提方法在自建台风数据集上的2种测试模态下的总体分类精度分别提高了9.82、6.02和17.38、1.68个百分点。展开更多
如今,区块链技术被应用到包含电子证照、人脸图像等政府数据共享领域,但当前的大型区块链系统普遍面临低带宽和高存储成本的问题.本文提出了一种适用于政务区块链的跨模态人脸生成模型,将人脸图像转换为文本模态存储在链上,用户可使用...如今,区块链技术被应用到包含电子证照、人脸图像等政府数据共享领域,但当前的大型区块链系统普遍面临低带宽和高存储成本的问题.本文提出了一种适用于政务区块链的跨模态人脸生成模型,将人脸图像转换为文本模态存储在链上,用户可使用文本与掩膜生成指定人的人脸图像.首先利用多任务学习方法训练基于ResNet-18网络结构的人脸分类器,将人脸图像转换为身份代号文本存储在链上.然后设计了区域感知码本和基于Transformer结构的混合专家采样器,采样器采用扩散模型的方法从码本中采样索引,采样结果由一个可学习的解码器转换成细粒度的人脸图像.在进行数据增强后的Casia Face V5数据集上的实验表明,模型在人脸分类任务中准确率可达95%以上,压缩效果达到了传统图像压缩方法1/10000的持久化时间与1/200的文件大小,与其他先进人脸图像生成方法相比,此模型可以可控地生成高保真度的指定人的人脸图像,并以1/20的参数量达到与大型预训练模型相近的人脸生成效果.展开更多
文摘社交媒体上图像和文本数据的快速增长导致人们对多模态讽刺检测问题的关注不断提高。然而,现有基于特征提取融合的检测方法存在一些缺陷:一是大多数方法缺乏多模态检测所需的底层模态对齐能力,二是模态融合过程忽视了模态间的动态关系,三是未能充分利用模态互补性。为此,提出一种基于单模态监督对比学习、多模态融合和多视图聚合预测的检测模型。以CLIP(contrastive language image pre-training)模型作为编码器来增强图像和文本底层编码的对齐效果。结合单模态监督对比学习方法,通过单模态预测来指导模态间的动态关系。然后,设计了全局-局部跨模态融合方法,利用每种模态的语义级表示作为全局多模态上下文与局部单模态特征进行交互,通过多个跨模态融合层提高模态融合效果,并减少了以往局部-局部跨模态融合方法的时间和空间成本。采用多视图聚合预测方法充分利用图像、文本和图文视图的互补性。总之,该模型能有效捕捉多模态讽刺数据的跨模态语义不一致性,在公开数据集MSD上取得了比现有最好方法DMSD-Cl更好的结果。
文摘服装已经成为网络购物的重要商品之一,实现精准的符合用户个性化审美的服装推荐系统,已经成为热门研究内容。针对提取用户的细粒度兴趣特征不全面,导致推荐系统的准确性低问题,提出融合长短期偏好的服装推荐算法;针对数据稀疏以及数据单一性,导致推荐结果个性化、多样性低的问题,利用跨模态数据和注意力机制使模型学习出更为精准的差异性用户特征。在真实数据集Clothing Shoes and Jewelry上,将所设计的模型(PCR)与经典的循环神经网络RNN、基于矩阵分解MF-BPR模型以及改进的矩阵分解TARMF模型进行性能比对,PCR模型在关键性能评价指标NDCG、Precision@K和Recall@K均有提升。实验结果表明该模型在服装推荐系统中是可行与有效的。
文摘多特征模态融合时存在噪声的叠加,而为减小模态间的差异采用的级联方式的结构也未充分利用模态间的特征信息,因此设计一种跨模态双流交替交互网络(DAINet)方法。首先,构建双流交替增强(DAE)模块,以交互双分支形式融合模态特征,并通过学习模态数据的映射关系,以红外-可见光-红外(IR-VIS-IR)和可见光-红外-可见光(VIS-IR-VIS)的双向反馈调节实现模态间噪声的交叉抑制;然后,构建跨模态特征交互(CMFI)模块,并引入残差结构将红外-可见光模态内以及模态间的低层特征和高层特征进行有效融合,从而减小模态间的差异并充分利用模态间的特征信息;最后,在自建红外-可见光多模态台风数据集及RGB-NIR多模态公开场景数据集上进行实验,以验证DAE模块和CMFI模块的有效性。实验结果表明,与简单级联融合方法相比,所提的基于DAINet的特征融合方法在自建台风数据集上的红外模态和可见光模态上的总体分类精度分别提高了6.61和3.93个百分点,G-mean值分别提高了6.24和2.48个百分点,表明所提方法在类别不均衡分类任务上的通用性;所提方法在RGB-NIR数据集上的2种测试模态下的总体分类精度分别提高了13.47和13.90个百分点。同时,所提方法在2个数据集上分别与IFCNN(general Image Fusion framework based on Convolutional Neural Network)和DenseFuse方法进行对比的实验结果表明,所提方法在自建台风数据集上的2种测试模态下的总体分类精度分别提高了9.82、6.02和17.38、1.68个百分点。
文摘如今,区块链技术被应用到包含电子证照、人脸图像等政府数据共享领域,但当前的大型区块链系统普遍面临低带宽和高存储成本的问题.本文提出了一种适用于政务区块链的跨模态人脸生成模型,将人脸图像转换为文本模态存储在链上,用户可使用文本与掩膜生成指定人的人脸图像.首先利用多任务学习方法训练基于ResNet-18网络结构的人脸分类器,将人脸图像转换为身份代号文本存储在链上.然后设计了区域感知码本和基于Transformer结构的混合专家采样器,采样器采用扩散模型的方法从码本中采样索引,采样结果由一个可学习的解码器转换成细粒度的人脸图像.在进行数据增强后的Casia Face V5数据集上的实验表明,模型在人脸分类任务中准确率可达95%以上,压缩效果达到了传统图像压缩方法1/10000的持久化时间与1/200的文件大小,与其他先进人脸图像生成方法相比,此模型可以可控地生成高保真度的指定人的人脸图像,并以1/20的参数量达到与大型预训练模型相近的人脸生成效果.
