针对小样本学习过程中样本数量不足导致的性能下降问题,基于原型网络(Prototype network,ProtoNet)的小样本学习方法通过实现查询样本与支持样本原型特征间的距离度量,从而达到很好的分类性能.然而,这种方法直接将支持集样本均值视为类...针对小样本学习过程中样本数量不足导致的性能下降问题,基于原型网络(Prototype network,ProtoNet)的小样本学习方法通过实现查询样本与支持样本原型特征间的距离度量,从而达到很好的分类性能.然而,这种方法直接将支持集样本均值视为类原型,在一定程度上加剧了对样本数量稀少情况下的敏感性.针对此问题,提出了基于自适应原型特征类矫正的小样本学习方法(Few-shot learning based on class rectification via adaptive prototype features,CRAPF),通过自适应生成原型特征来缓解方法对数据细微变化的过度响应,并同步实现类边界的精细化调整.首先,使用卷积神经网络构建自适应原型特征生成模块,该模块采用非线性映射获取更为稳健的原型特征,有助于减弱异常值对原型构建的影响;然后,通过对原型生成过程的优化,提升不同类间原型表示的区分度,进而强化原型特征对类别表征的整体效能;最后,在3个广泛使用的基准数据集上的实验结果显示,该方法提升了小样本学习任务的表现.展开更多
当深度神经网络(DNN)遇到训练时未遇见的类别的样本时,不能准确地拒绝未知类样本,而开集识别能在准确分类已知类样本同时拒绝未知类样本。目前在开集识别领域,原型学习方法广为应用,然而这些方法都无法同时保证样本分布内的紧凑性和样...当深度神经网络(DNN)遇到训练时未遇见的类别的样本时,不能准确地拒绝未知类样本,而开集识别能在准确分类已知类样本同时拒绝未知类样本。目前在开集识别领域,原型学习方法广为应用,然而这些方法都无法同时保证样本分布内的紧凑性和样本分布间的分离性。因此,提出开放生成与特征优化的开集识别方法(OGFO)。首先,提出开放点的概念,原型点通过DNN学习对应类别样本的固有特征而开放点是各类别原型点的均值。开放点代表未知类的固有特征且占据特征空间的中心区域。特征空间中心区域为未知类样本分布的开放空间;其次,提出基于开放点的特征优化算法(FOA),从而利用开放点强迫相同类别样本内部的分布更加紧凑并且迫使不同类别样本间的分布更加分离;最后,提出基于开放点的生成方法 OGAN(Open Generative Adversarial Network),并使用DNN迫使OGAN生成的未知类样本分布在开放点占据的开放空间中。实验结果表明,相较于基于对抗性反向点学习的开集识别方法(ARPL),OGFO在MNIST、SVHN、CIFAR10和TinyImageNet数据集上的AUROC(Area Under the Receiver Operating Characteristic curve)提升明显,尤其在TinyImageNet数据集上的AUROC上至少提升了3个百分点,在准确率和OSCR(Open Set Classification Rate)上分别至少提升6和5个百分点。可见,OGFO解决了其他方法无法兼顾样本分布内的紧凑性和样本分布间的分离性的问题。展开更多
针对样本稀缺条件下声学特征提取不充分的问题,提出一种基于通道和空间压缩的小样本声音事件检测方法.该方法通过构建双压缩注意力机制,在通道维度进行特征筛选,在空间维度实现特征聚焦,有效提升了原型网络在小样本场景下的特征判别能力...针对样本稀缺条件下声学特征提取不充分的问题,提出一种基于通道和空间压缩的小样本声音事件检测方法.该方法通过构建双压缩注意力机制,在通道维度进行特征筛选,在空间维度实现特征聚焦,有效提升了原型网络在小样本场景下的特征判别能力.实验结果表明,该方法在数据集DCASE(detection and classification of acoustic scenes and events)上的F1达66.84%,相比原型网络方法提升4.11个百分点,为野生动物监测和生态环境评估等实际应用提供了更可靠的技术支持.展开更多
原型网络直接应用于小样本命名实体识别(few-shot named entity recognition,FEW-NER)时存在以下问题:非实体之间不具有较强的语义关系,对实体和非实体都采用相同的方式构造原型将会造成非实体原型不能准确表示非实体的语义特征;仅使用...原型网络直接应用于小样本命名实体识别(few-shot named entity recognition,FEW-NER)时存在以下问题:非实体之间不具有较强的语义关系,对实体和非实体都采用相同的方式构造原型将会造成非实体原型不能准确表示非实体的语义特征;仅使用平均实体向量表示作为原型的计算方式将难以捕捉语义特征相差较大的同类实体.针对上述问题,提出基于细粒度原型网络的小样本命名实体识别(FEW-NER based on fine-grained prototypical networks,FNFP)方法,有助于提高小样本命名实体识别的标注效果.首先,为不同的查询集样本构造不同的非实体原型,捕捉句子中关键的非实体语义特征,得到更为细粒度的原型,提升模型对非实体的识别效果;然后,设计一个不一致性度量模块以衡量同类实体之间的不一致性,对实体与非实体采用不同的度量函数,从而减小同类样本之间的特征表示,提升原型的特征表示能力;最后,引入维特比解码器捕捉标签转换关系,优化最终的标注序列.实验结果表明,采用基于细粒度原型网络的小样本命名实体识别方法,在大规模小样本命名实体识别数据集FEW-NERD上,较基线方法获得提升;同时在跨领域数据集上验证所提方法在不同领域场景下的泛化能力.展开更多
文摘针对小样本学习过程中样本数量不足导致的性能下降问题,基于原型网络(Prototype network,ProtoNet)的小样本学习方法通过实现查询样本与支持样本原型特征间的距离度量,从而达到很好的分类性能.然而,这种方法直接将支持集样本均值视为类原型,在一定程度上加剧了对样本数量稀少情况下的敏感性.针对此问题,提出了基于自适应原型特征类矫正的小样本学习方法(Few-shot learning based on class rectification via adaptive prototype features,CRAPF),通过自适应生成原型特征来缓解方法对数据细微变化的过度响应,并同步实现类边界的精细化调整.首先,使用卷积神经网络构建自适应原型特征生成模块,该模块采用非线性映射获取更为稳健的原型特征,有助于减弱异常值对原型构建的影响;然后,通过对原型生成过程的优化,提升不同类间原型表示的区分度,进而强化原型特征对类别表征的整体效能;最后,在3个广泛使用的基准数据集上的实验结果显示,该方法提升了小样本学习任务的表现.
文摘当深度神经网络(DNN)遇到训练时未遇见的类别的样本时,不能准确地拒绝未知类样本,而开集识别能在准确分类已知类样本同时拒绝未知类样本。目前在开集识别领域,原型学习方法广为应用,然而这些方法都无法同时保证样本分布内的紧凑性和样本分布间的分离性。因此,提出开放生成与特征优化的开集识别方法(OGFO)。首先,提出开放点的概念,原型点通过DNN学习对应类别样本的固有特征而开放点是各类别原型点的均值。开放点代表未知类的固有特征且占据特征空间的中心区域。特征空间中心区域为未知类样本分布的开放空间;其次,提出基于开放点的特征优化算法(FOA),从而利用开放点强迫相同类别样本内部的分布更加紧凑并且迫使不同类别样本间的分布更加分离;最后,提出基于开放点的生成方法 OGAN(Open Generative Adversarial Network),并使用DNN迫使OGAN生成的未知类样本分布在开放点占据的开放空间中。实验结果表明,相较于基于对抗性反向点学习的开集识别方法(ARPL),OGFO在MNIST、SVHN、CIFAR10和TinyImageNet数据集上的AUROC(Area Under the Receiver Operating Characteristic curve)提升明显,尤其在TinyImageNet数据集上的AUROC上至少提升了3个百分点,在准确率和OSCR(Open Set Classification Rate)上分别至少提升6和5个百分点。可见,OGFO解决了其他方法无法兼顾样本分布内的紧凑性和样本分布间的分离性的问题。
文摘针对样本稀缺条件下声学特征提取不充分的问题,提出一种基于通道和空间压缩的小样本声音事件检测方法.该方法通过构建双压缩注意力机制,在通道维度进行特征筛选,在空间维度实现特征聚焦,有效提升了原型网络在小样本场景下的特征判别能力.实验结果表明,该方法在数据集DCASE(detection and classification of acoustic scenes and events)上的F1达66.84%,相比原型网络方法提升4.11个百分点,为野生动物监测和生态环境评估等实际应用提供了更可靠的技术支持.
文摘原型网络直接应用于小样本命名实体识别(few-shot named entity recognition,FEW-NER)时存在以下问题:非实体之间不具有较强的语义关系,对实体和非实体都采用相同的方式构造原型将会造成非实体原型不能准确表示非实体的语义特征;仅使用平均实体向量表示作为原型的计算方式将难以捕捉语义特征相差较大的同类实体.针对上述问题,提出基于细粒度原型网络的小样本命名实体识别(FEW-NER based on fine-grained prototypical networks,FNFP)方法,有助于提高小样本命名实体识别的标注效果.首先,为不同的查询集样本构造不同的非实体原型,捕捉句子中关键的非实体语义特征,得到更为细粒度的原型,提升模型对非实体的识别效果;然后,设计一个不一致性度量模块以衡量同类实体之间的不一致性,对实体与非实体采用不同的度量函数,从而减小同类样本之间的特征表示,提升原型的特征表示能力;最后,引入维特比解码器捕捉标签转换关系,优化最终的标注序列.实验结果表明,采用基于细粒度原型网络的小样本命名实体识别方法,在大规模小样本命名实体识别数据集FEW-NERD上,较基线方法获得提升;同时在跨领域数据集上验证所提方法在不同领域场景下的泛化能力.
