近年来,小样本图异常检测在各个领域中引起了广泛的研究兴趣,其旨在在少量有标记训练节点(支持集)的引导下去检测出大量无标记测试节点(查询集)中的异常行为。然而,现有的小样本图异常检测算法通常假设其可以从具有大量有标记节点的训...近年来,小样本图异常检测在各个领域中引起了广泛的研究兴趣,其旨在在少量有标记训练节点(支持集)的引导下去检测出大量无标记测试节点(查询集)中的异常行为。然而,现有的小样本图异常检测算法通常假设其可以从具有大量有标记节点的训练任务(元训练任务)中学习,从而有效地推广到具有少量标记节点的测试任务(元测试任务),这一假设并不符合真实世界的应用条件。在实际应用中,用于小样本图异常检测训练的元训练任务通常只包含极其有限的有标记节点,其标签占比通常不超过0.1%,甚至更低。由于元训练和元测试任务之间存在的巨大任务差异,现有的小样本图异常检测算法很容易出现模型的过拟合问题。除此之外,现有的小样本图异常检测算法仅利用节点间的一阶邻域(局部结构信息)来学习节点的低维特征嵌入,反而忽略了节点间的长距离依赖关系(全局结构信息),进而导致学习到的低维特征嵌入的不准确性和失真问题。针对上述挑战,本文提出了极其弱监督场景下的小样本图异常检测算法——EWSFSGAD。具体来说,该方法首先提出了一个简单且有效的图神经网络框架——GLN(Global and Local Network),其能够同时有效地利用节点间的全局和局部结构信息,并进一步引入注意力机制实现节点间的信息交互,从而更加有效地学习节点鲁棒的低维特征嵌入;该方法还引入了图对比学习中的自监督重建损失,使得节点原始视图与其增强视图之间低维特征嵌入的互信息尽可能一致,为EWS-FSGAD模型的优化提供更多有效的自监督信息,进而提升模型的泛化性;为了提升模型在真实场景中小样本图异常检测任务的快速适应性,该方法引入跨网络元学习训练机制,从多个辅助网络学习可迁移元知识,为模型提供良好的参数初始化,从而能够通过在仅有很少甚至一个标记节点的目标网络上进行微调并有效泛化。在三个真实世界的数据集(Flickr、PubMed、Yelp)上的大量实验结果表明,本文所提方法的性能明显优于现有的图异常检测算法。特别是在PubMed数据集上,AUC-PR提升了28.8%~35.4%。这些实验结果强有力地证明了在极其有限标记的元训练任务引导下,本文所提方法能够更好地学习到异常节点本质特征,从而提升小样本图异常检测任务的有效性。展开更多
医疗关系抽取可以识别医疗文本中实体间的关系,在医疗领域中发挥了积极作用。然而现有的关系抽取模型没有充分利用文本的全部特征,如文本的层次结构信息。该文提出了一种多特征融合模型(Multi Feature Fusion model,MFF),在使用实体类...医疗关系抽取可以识别医疗文本中实体间的关系,在医疗领域中发挥了积极作用。然而现有的关系抽取模型没有充分利用文本的全部特征,如文本的层次结构信息。该文提出了一种多特征融合模型(Multi Feature Fusion model,MFF),在使用实体类型标记方法处理文本中的主体和客体的基础上,使用BERT获取语义信息,并使用双向长短时记忆网络(Bidirectional Long Short Term Memory,BiLSTM)获取上下文信息,通过图卷积网络(Graph Convolutional Network,GCN)提取多种剪枝策略下的句法依存树中的层次结构信息,最后将获取的多种特征进行融合后完成关系抽取任务。在两个中文医疗实体关系抽取数据集CMeIE和TCM上进行实验,与其他先进模型相比,其F1值有所提高,证明了模型的有效性。该文的代码开源到https://github.com/zzhdbw/RE_MFF,供复现与参考。展开更多
文摘近年来,小样本图异常检测在各个领域中引起了广泛的研究兴趣,其旨在在少量有标记训练节点(支持集)的引导下去检测出大量无标记测试节点(查询集)中的异常行为。然而,现有的小样本图异常检测算法通常假设其可以从具有大量有标记节点的训练任务(元训练任务)中学习,从而有效地推广到具有少量标记节点的测试任务(元测试任务),这一假设并不符合真实世界的应用条件。在实际应用中,用于小样本图异常检测训练的元训练任务通常只包含极其有限的有标记节点,其标签占比通常不超过0.1%,甚至更低。由于元训练和元测试任务之间存在的巨大任务差异,现有的小样本图异常检测算法很容易出现模型的过拟合问题。除此之外,现有的小样本图异常检测算法仅利用节点间的一阶邻域(局部结构信息)来学习节点的低维特征嵌入,反而忽略了节点间的长距离依赖关系(全局结构信息),进而导致学习到的低维特征嵌入的不准确性和失真问题。针对上述挑战,本文提出了极其弱监督场景下的小样本图异常检测算法——EWSFSGAD。具体来说,该方法首先提出了一个简单且有效的图神经网络框架——GLN(Global and Local Network),其能够同时有效地利用节点间的全局和局部结构信息,并进一步引入注意力机制实现节点间的信息交互,从而更加有效地学习节点鲁棒的低维特征嵌入;该方法还引入了图对比学习中的自监督重建损失,使得节点原始视图与其增强视图之间低维特征嵌入的互信息尽可能一致,为EWS-FSGAD模型的优化提供更多有效的自监督信息,进而提升模型的泛化性;为了提升模型在真实场景中小样本图异常检测任务的快速适应性,该方法引入跨网络元学习训练机制,从多个辅助网络学习可迁移元知识,为模型提供良好的参数初始化,从而能够通过在仅有很少甚至一个标记节点的目标网络上进行微调并有效泛化。在三个真实世界的数据集(Flickr、PubMed、Yelp)上的大量实验结果表明,本文所提方法的性能明显优于现有的图异常检测算法。特别是在PubMed数据集上,AUC-PR提升了28.8%~35.4%。这些实验结果强有力地证明了在极其有限标记的元训练任务引导下,本文所提方法能够更好地学习到异常节点本质特征,从而提升小样本图异常检测任务的有效性。
文摘医疗关系抽取可以识别医疗文本中实体间的关系,在医疗领域中发挥了积极作用。然而现有的关系抽取模型没有充分利用文本的全部特征,如文本的层次结构信息。该文提出了一种多特征融合模型(Multi Feature Fusion model,MFF),在使用实体类型标记方法处理文本中的主体和客体的基础上,使用BERT获取语义信息,并使用双向长短时记忆网络(Bidirectional Long Short Term Memory,BiLSTM)获取上下文信息,通过图卷积网络(Graph Convolutional Network,GCN)提取多种剪枝策略下的句法依存树中的层次结构信息,最后将获取的多种特征进行融合后完成关系抽取任务。在两个中文医疗实体关系抽取数据集CMeIE和TCM上进行实验,与其他先进模型相比,其F1值有所提高,证明了模型的有效性。该文的代码开源到https://github.com/zzhdbw/RE_MFF,供复现与参考。
