深度学习是解决时间序列分类(Time series classification,TSC)问题的主要途径之一.然而,基于深度学习的TSC模型易受到对抗样本攻击,从而导致模型分类准确率大幅度降低.为此,研究了TSC模型的对抗攻击防御问题,设计了集成对抗训练(Advers...深度学习是解决时间序列分类(Time series classification,TSC)问题的主要途径之一.然而,基于深度学习的TSC模型易受到对抗样本攻击,从而导致模型分类准确率大幅度降低.为此,研究了TSC模型的对抗攻击防御问题,设计了集成对抗训练(Adversarial training,AT)防御方法.首先,设计了一种针对TSC模型的集成对抗训练防御框架,通过多种TSC模型和攻击方式生成对抗样本,并用于训练目标模型.其次,在生成对抗样本的过程中,设计了基于Shapelets的局部扰动算法,并结合动量迭代的快速梯度符号法(Momentum iterative fast gradient sign method,MI-FGSM),实现了有效的白盒攻击.同时,使用知识蒸馏(Knowledge distillation,KD)和基于沃瑟斯坦距离的生成对抗网络(Wasserstein generative adversarial network,WGAN)设计了针对替代模型的黑盒对抗攻击方法,实现了攻击者对目标模型未知时的有效攻击.在此基础上,在对抗训练损失函数中添加Kullback-Leibler(KL)散度约束,进一步提升了模型鲁棒性.最后,在多变量时间序列分类数据集UEA上验证了所提方法的有效性.展开更多
文本-图像行人检索(text-based person retrieval)作为多模态智能监控系统的核心任务,旨在通过自由形式的文本描述从大规模数据库中识别目标行人图像,在公共安全与视频取证领域具有关键应用价值,如刑事侦查中的嫌疑人追踪及跨摄像头取...文本-图像行人检索(text-based person retrieval)作为多模态智能监控系统的核心任务,旨在通过自由形式的文本描述从大规模数据库中识别目标行人图像,在公共安全与视频取证领域具有关键应用价值,如刑事侦查中的嫌疑人追踪及跨摄像头取证分析.传统方法通常基于图像-文本对完美对齐的理想化假设,忽视了实际场景中普遍存在的复杂噪声数据问题,即视觉实例与其文本标注间因人工标注偏差、网络爬取噪声,或局部视觉属性与全局文本语境间的语义粒度失配而产生的错误或歧义性关联.为弥补这一缺陷,提出了一种语义感知噪声关联学习框架,通过双重创新机制系统性地实现噪声辨识与鲁棒学习.首先,语义感知噪声辨识准则融合模态内语义一致性与跨模态交互信号,基于自适应阈值判定精准区分噪声关联;其次,噪声鲁棒互补学习范式实施差异化优化策略:对于可靠子集采用对比损失进行正向学习以增强特征判别性,而对噪声子集则通过反向学习以抑制过拟合.在3个公开基准数据集上的大量实验表明,该方法在合成噪声数据与真实噪声数据场景中均展现出优越性能.展开更多
机器阅读理解(MRC)是自然语言处理领域的一个具有挑战性的任务,其目标是在给定文章中预测出相关问题的答案.随着深度学习和预训练语言模型的发展,许多端到端的机器阅读理解模型展现出优秀的性能,但是这些模型普遍存在鲁棒性不足的问题,...机器阅读理解(MRC)是自然语言处理领域的一个具有挑战性的任务,其目标是在给定文章中预测出相关问题的答案.随着深度学习和预训练语言模型的发展,许多端到端的机器阅读理解模型展现出优秀的性能,但是这些模型普遍存在鲁棒性不足的问题,当文本中存在干扰句时,它们的表现便显著下降.本文从人类做阅读理解任务的角度来解决这个问题,提出了一种端到端的多任务学习框架ASMI(Answer-Span Context Prediction and Mutual Information Estimation and Maximization)来提高MRC模型的鲁棒性.ASMI在预训练语言模型下游微调,包含两种辅助任务:(i)答案上下文预测;(ii)答案与上下文之间的互信息估计.本文设计了一种上下文注意力机制来预测答案上下文软标签,从而强化上下文对于问答任务的指导作用,并降低干扰句对模型的影响.本文还提出了一种新的负样本生成策略,并结合基于JS散度的互信息估计器来估计互信息,从而有效辨析答案上下文和干扰句之间的语义差异,使得模型学习到更加鲁棒的表示.在3个阅读理解基准数据集上的实验结果表明,本文提出的ASMI模型在EM和F1指标上均优于对比模型.展开更多
文摘文本-图像行人检索(text-based person retrieval)作为多模态智能监控系统的核心任务,旨在通过自由形式的文本描述从大规模数据库中识别目标行人图像,在公共安全与视频取证领域具有关键应用价值,如刑事侦查中的嫌疑人追踪及跨摄像头取证分析.传统方法通常基于图像-文本对完美对齐的理想化假设,忽视了实际场景中普遍存在的复杂噪声数据问题,即视觉实例与其文本标注间因人工标注偏差、网络爬取噪声,或局部视觉属性与全局文本语境间的语义粒度失配而产生的错误或歧义性关联.为弥补这一缺陷,提出了一种语义感知噪声关联学习框架,通过双重创新机制系统性地实现噪声辨识与鲁棒学习.首先,语义感知噪声辨识准则融合模态内语义一致性与跨模态交互信号,基于自适应阈值判定精准区分噪声关联;其次,噪声鲁棒互补学习范式实施差异化优化策略:对于可靠子集采用对比损失进行正向学习以增强特征判别性,而对噪声子集则通过反向学习以抑制过拟合.在3个公开基准数据集上的大量实验表明,该方法在合成噪声数据与真实噪声数据场景中均展现出优越性能.
文摘机器阅读理解(MRC)是自然语言处理领域的一个具有挑战性的任务,其目标是在给定文章中预测出相关问题的答案.随着深度学习和预训练语言模型的发展,许多端到端的机器阅读理解模型展现出优秀的性能,但是这些模型普遍存在鲁棒性不足的问题,当文本中存在干扰句时,它们的表现便显著下降.本文从人类做阅读理解任务的角度来解决这个问题,提出了一种端到端的多任务学习框架ASMI(Answer-Span Context Prediction and Mutual Information Estimation and Maximization)来提高MRC模型的鲁棒性.ASMI在预训练语言模型下游微调,包含两种辅助任务:(i)答案上下文预测;(ii)答案与上下文之间的互信息估计.本文设计了一种上下文注意力机制来预测答案上下文软标签,从而强化上下文对于问答任务的指导作用,并降低干扰句对模型的影响.本文还提出了一种新的负样本生成策略,并结合基于JS散度的互信息估计器来估计互信息,从而有效辨析答案上下文和干扰句之间的语义差异,使得模型学习到更加鲁棒的表示.在3个阅读理解基准数据集上的实验结果表明,本文提出的ASMI模型在EM和F1指标上均优于对比模型.
