深度学习是解决时间序列分类(Time series classification,TSC)问题的主要途径之一.然而,基于深度学习的TSC模型易受到对抗样本攻击,从而导致模型分类准确率大幅度降低.为此,研究了TSC模型的对抗攻击防御问题,设计了集成对抗训练(Advers...深度学习是解决时间序列分类(Time series classification,TSC)问题的主要途径之一.然而,基于深度学习的TSC模型易受到对抗样本攻击,从而导致模型分类准确率大幅度降低.为此,研究了TSC模型的对抗攻击防御问题,设计了集成对抗训练(Adversarial training,AT)防御方法.首先,设计了一种针对TSC模型的集成对抗训练防御框架,通过多种TSC模型和攻击方式生成对抗样本,并用于训练目标模型.其次,在生成对抗样本的过程中,设计了基于Shapelets的局部扰动算法,并结合动量迭代的快速梯度符号法(Momentum iterative fast gradient sign method,MI-FGSM),实现了有效的白盒攻击.同时,使用知识蒸馏(Knowledge distillation,KD)和基于沃瑟斯坦距离的生成对抗网络(Wasserstein generative adversarial network,WGAN)设计了针对替代模型的黑盒对抗攻击方法,实现了攻击者对目标模型未知时的有效攻击.在此基础上,在对抗训练损失函数中添加Kullback-Leibler(KL)散度约束,进一步提升了模型鲁棒性.最后,在多变量时间序列分类数据集UEA上验证了所提方法的有效性.展开更多
机器阅读理解(MRC)是自然语言处理领域的一个具有挑战性的任务,其目标是在给定文章中预测出相关问题的答案.随着深度学习和预训练语言模型的发展,许多端到端的机器阅读理解模型展现出优秀的性能,但是这些模型普遍存在鲁棒性不足的问题,...机器阅读理解(MRC)是自然语言处理领域的一个具有挑战性的任务,其目标是在给定文章中预测出相关问题的答案.随着深度学习和预训练语言模型的发展,许多端到端的机器阅读理解模型展现出优秀的性能,但是这些模型普遍存在鲁棒性不足的问题,当文本中存在干扰句时,它们的表现便显著下降.本文从人类做阅读理解任务的角度来解决这个问题,提出了一种端到端的多任务学习框架ASMI(Answer-Span Context Prediction and Mutual Information Estimation and Maximization)来提高MRC模型的鲁棒性.ASMI在预训练语言模型下游微调,包含两种辅助任务:(i)答案上下文预测;(ii)答案与上下文之间的互信息估计.本文设计了一种上下文注意力机制来预测答案上下文软标签,从而强化上下文对于问答任务的指导作用,并降低干扰句对模型的影响.本文还提出了一种新的负样本生成策略,并结合基于JS散度的互信息估计器来估计互信息,从而有效辨析答案上下文和干扰句之间的语义差异,使得模型学习到更加鲁棒的表示.在3个阅读理解基准数据集上的实验结果表明,本文提出的ASMI模型在EM和F1指标上均优于对比模型.展开更多
文摘机器阅读理解(MRC)是自然语言处理领域的一个具有挑战性的任务,其目标是在给定文章中预测出相关问题的答案.随着深度学习和预训练语言模型的发展,许多端到端的机器阅读理解模型展现出优秀的性能,但是这些模型普遍存在鲁棒性不足的问题,当文本中存在干扰句时,它们的表现便显著下降.本文从人类做阅读理解任务的角度来解决这个问题,提出了一种端到端的多任务学习框架ASMI(Answer-Span Context Prediction and Mutual Information Estimation and Maximization)来提高MRC模型的鲁棒性.ASMI在预训练语言模型下游微调,包含两种辅助任务:(i)答案上下文预测;(ii)答案与上下文之间的互信息估计.本文设计了一种上下文注意力机制来预测答案上下文软标签,从而强化上下文对于问答任务的指导作用,并降低干扰句对模型的影响.本文还提出了一种新的负样本生成策略,并结合基于JS散度的互信息估计器来估计互信息,从而有效辨析答案上下文和干扰句之间的语义差异,使得模型学习到更加鲁棒的表示.在3个阅读理解基准数据集上的实验结果表明,本文提出的ASMI模型在EM和F1指标上均优于对比模型.
