传统的基于表示学习的知识推理方法只能用于封闭世界的知识推理,有效进行开放世界的知识推理是目前的热点问题。因此,提出一种基于路径和增强三元组文本的开放世界知识推理模型PEOR(Path and Enhanced triplet text for Open world know...传统的基于表示学习的知识推理方法只能用于封闭世界的知识推理,有效进行开放世界的知识推理是目前的热点问题。因此,提出一种基于路径和增强三元组文本的开放世界知识推理模型PEOR(Path and Enhanced triplet text for Open world knowledge Reasoning)。首先,使用由实体对间结构生成的多条路径和单个实体周围结构生成的增强三元组,其中路径文本通过拼接路径中的三元组文本得到,而增强三元组文本通过拼接头实体邻域文本、关系文本和尾实体邻域文本得到;其次,使用BERT(Bidirectional Encoder Representations from Transformers)分别编码路径文本和增强三元组文本;最后,使用路径向量和三元组向量计算语义匹配注意力,再使用语义匹配注意力聚合多条路径的语义信息。在3个开放世界知识图谱数据集WN18RR、FB15k-237和NELL-995上的对比实验结果表明,与次优模型BERTRL(BERT-based Relational Learning)相比,所提模型的命中率(Hits@10)指标分别提升了2.6、2.3和8.5个百分点,验证了所提模型的有效性。展开更多
图像分类需要收集大量的图片进行模型训练与优化,但收集过程会不可避免地带来噪声标签。为了应对这一挑战,鲁棒性分类方法应运而生。在目前的鲁棒性分类方法中,超参数的设置需要手动调节,对人力物力带来了大量的损耗。因此,提出元超参...图像分类需要收集大量的图片进行模型训练与优化,但收集过程会不可避免地带来噪声标签。为了应对这一挑战,鲁棒性分类方法应运而生。在目前的鲁棒性分类方法中,超参数的设置需要手动调节,对人力物力带来了大量的损耗。因此,提出元超参数调节器(MHA),采用双层嵌套循环优化的方法自适应地学习噪声感知的超参数组合,并提出Meta-FPL(Feature Pseudo-Label adaptive learning based on Meta learning)算法。此外,为了解决元训练阶段的反向传播过程耗费大量GPU算力的问题,提出选择激活元模型层(SAML)策略。该策略通过比较虚拟训练阶段反向传播的平均梯度与元梯度的大小,限制部分元模型层的更新,从而有效提升模型的训练效率。在4个基准数据集和1个真实数据集上的实验结果表明,与MLC(Meta Label Correction for noisy label learning)、CTRR(ConTrastive RegulaRization)和FPL(Feature Pseudo-Label)算法相比,Meta-FPL算法的分类准确率较高。此外,引入SAML策略后,在元训练阶段的反向传播过程训练时长缩短了79.52%。可见,Meta-FPL算法能在较短的训练时间内有效提升分类测试准确率。展开更多
针对命名实体识别(NER)任务中相关模型通常仅对字符及相关词汇进行建模,未充分利用汉字特有的字形结构信息和实体类型信息的问题,提出一种融合先验知识和字形特征的命名实体识别模型。首先,采用结合高斯注意力机制的Transformer对输入...针对命名实体识别(NER)任务中相关模型通常仅对字符及相关词汇进行建模,未充分利用汉字特有的字形结构信息和实体类型信息的问题,提出一种融合先验知识和字形特征的命名实体识别模型。首先,采用结合高斯注意力机制的Transformer对输入序列进行编码,并从中文维基百科中获取实体类型的中文释义,采用双向门控循环单元(BiGRU)编码实体类型信息作为先验知识,利用注意力机制将它与字符表示进行组合;其次,采用双向长短时记忆(BiLSTM)网络编码输入序列的远距离依赖关系,通过字形编码表获得繁体的仓颉码和简体的现代五笔码,采用卷积神经网络(CNN)提取字形特征表示,并根据不同权重组合繁体与简体字形特征,利用门控机制将它与经过BiLSTM编码后的字符表示进行组合;最后,使用条件随机场(CRF)解码,得到命名实体标注序列。在偏口语化的数据集Weibo、小型数据集Boson和大型数据集PeopleDaily上的实验结果表明,与基线模型MECT(Multi-metadata Embedding based Cross-Transformer)相比,所提模型的F1值别提高了2.47、1.20和0.98个百分点,验证了模型的有效性。展开更多
文摘传统的基于表示学习的知识推理方法只能用于封闭世界的知识推理,有效进行开放世界的知识推理是目前的热点问题。因此,提出一种基于路径和增强三元组文本的开放世界知识推理模型PEOR(Path and Enhanced triplet text for Open world knowledge Reasoning)。首先,使用由实体对间结构生成的多条路径和单个实体周围结构生成的增强三元组,其中路径文本通过拼接路径中的三元组文本得到,而增强三元组文本通过拼接头实体邻域文本、关系文本和尾实体邻域文本得到;其次,使用BERT(Bidirectional Encoder Representations from Transformers)分别编码路径文本和增强三元组文本;最后,使用路径向量和三元组向量计算语义匹配注意力,再使用语义匹配注意力聚合多条路径的语义信息。在3个开放世界知识图谱数据集WN18RR、FB15k-237和NELL-995上的对比实验结果表明,与次优模型BERTRL(BERT-based Relational Learning)相比,所提模型的命中率(Hits@10)指标分别提升了2.6、2.3和8.5个百分点,验证了所提模型的有效性。
文摘图像分类需要收集大量的图片进行模型训练与优化,但收集过程会不可避免地带来噪声标签。为了应对这一挑战,鲁棒性分类方法应运而生。在目前的鲁棒性分类方法中,超参数的设置需要手动调节,对人力物力带来了大量的损耗。因此,提出元超参数调节器(MHA),采用双层嵌套循环优化的方法自适应地学习噪声感知的超参数组合,并提出Meta-FPL(Feature Pseudo-Label adaptive learning based on Meta learning)算法。此外,为了解决元训练阶段的反向传播过程耗费大量GPU算力的问题,提出选择激活元模型层(SAML)策略。该策略通过比较虚拟训练阶段反向传播的平均梯度与元梯度的大小,限制部分元模型层的更新,从而有效提升模型的训练效率。在4个基准数据集和1个真实数据集上的实验结果表明,与MLC(Meta Label Correction for noisy label learning)、CTRR(ConTrastive RegulaRization)和FPL(Feature Pseudo-Label)算法相比,Meta-FPL算法的分类准确率较高。此外,引入SAML策略后,在元训练阶段的反向传播过程训练时长缩短了79.52%。可见,Meta-FPL算法能在较短的训练时间内有效提升分类测试准确率。
文摘针对命名实体识别(NER)任务中相关模型通常仅对字符及相关词汇进行建模,未充分利用汉字特有的字形结构信息和实体类型信息的问题,提出一种融合先验知识和字形特征的命名实体识别模型。首先,采用结合高斯注意力机制的Transformer对输入序列进行编码,并从中文维基百科中获取实体类型的中文释义,采用双向门控循环单元(BiGRU)编码实体类型信息作为先验知识,利用注意力机制将它与字符表示进行组合;其次,采用双向长短时记忆(BiLSTM)网络编码输入序列的远距离依赖关系,通过字形编码表获得繁体的仓颉码和简体的现代五笔码,采用卷积神经网络(CNN)提取字形特征表示,并根据不同权重组合繁体与简体字形特征,利用门控机制将它与经过BiLSTM编码后的字符表示进行组合;最后,使用条件随机场(CRF)解码,得到命名实体标注序列。在偏口语化的数据集Weibo、小型数据集Boson和大型数据集PeopleDaily上的实验结果表明,与基线模型MECT(Multi-metadata Embedding based Cross-Transformer)相比,所提模型的F1值别提高了2.47、1.20和0.98个百分点,验证了模型的有效性。
