针对文本特征提取时缺乏考虑句子的上下文判别性特征以及未能充分利用实例和关系标签之间的关联信息的问题,提出一种结合语义增强和感知注意力的关系抽取方法(SPRE)。首先,在句子特征编码阶段,构建语义增强机制(SEM)提取句子的显著性语...针对文本特征提取时缺乏考虑句子的上下文判别性特征以及未能充分利用实例和关系标签之间的关联信息的问题,提出一种结合语义增强和感知注意力的关系抽取方法(SPRE)。首先,在句子特征编码阶段,构建语义增强机制(SEM)提取句子的显著性语义特征,通过实体感知词嵌入和显著特征感知(SFP)得到显著信息增强的句子表示;其次,设计感知注意力机制(PAM)整合句子特征,通过感知句子与关系标签之间的语义信息、句子的实体类型与对应关系的实体类型之间的一致性信息,以及句子之间的相似性信息评估句子与关系标签的匹配程度,充分利用包中实例与关系标签的依赖关系,进一步提高方法的降噪能力;最后,利用分类器进行关系预测并根据预测结果与实际结果的交叉熵调整网络参数。在NYT-10(New York Times 10)和GDS(Google Distant Supervision)数据集上的实验结果表明,在NYT-10数据集上,与基于BERT(Bidirectional Encoder Representations from Transformers)的关系抽取方法PARE(Passage-Attended Relation Extraction)相比,所提方法在曲线下面积(AUC)上提升了2.1个百分点,在按置信度降序排列后前100、200和300条数据精确率Precision@N(P@N)的平均值P@M上提升了2.4个百分点;在GDS数据集上,所提方法的AUC和P@M分别达到了90.5%和97.8%。所提方法在上述2个数据集上均明显优于主流的远程监督关系抽取方法,验证了该方法的有效性。可见,在主流的远程监督关系抽取任务中,所提方法能有效地提升模型对数据特征的学习能力。展开更多
针对现有基于伪点云的3D目标检测算法精度远低于基于真实激光雷达(Light Detection and ranging,LiDar)点云的3D目标检测,本文研究伪点云重构,并提出适合伪点云的3D目标检测网络.考虑到由图像深度转换得到的伪点云稠密且随深度增大逐渐...针对现有基于伪点云的3D目标检测算法精度远低于基于真实激光雷达(Light Detection and ranging,LiDar)点云的3D目标检测,本文研究伪点云重构,并提出适合伪点云的3D目标检测网络.考虑到由图像深度转换得到的伪点云稠密且随深度增大逐渐稀疏,本文提出深度相关伪点云稀疏化方法,在减少后续计算量的同时保留中远距离更多的有效伪点云,实现伪点云重构.本文提出LiDar点云指导下特征分布趋同与语义关联的3D目标检测网络,在网络训练时引入LiDar点云分支来指导伪点云目标特征的生成,使生成的伪点云特征分布趋同于LiDar点云特征分布,从而降低数据源不一致造成的检测性能损失;针对RPN(Region Proposal Network)网络获取的3D候选框内的伪点云间语义关联不足的问题,设计注意力感知模块,在伪点云特征表示中通过注意力机制嵌入点间的语义关联关系,提升3D目标检测精度.在KITTI 3D目标检测数据集上的实验结果表明:现有的3D目标检测网络采用重构后的伪点云,检测精度提升了2.61%;提出的特征分布趋同与语义关联的3D目标检测网络,将基于伪点云的3D目标检测精度再提升0.57%,相比其他优秀的3D目标检测方法在检测精度上也有提升.展开更多
文摘针对文本特征提取时缺乏考虑句子的上下文判别性特征以及未能充分利用实例和关系标签之间的关联信息的问题,提出一种结合语义增强和感知注意力的关系抽取方法(SPRE)。首先,在句子特征编码阶段,构建语义增强机制(SEM)提取句子的显著性语义特征,通过实体感知词嵌入和显著特征感知(SFP)得到显著信息增强的句子表示;其次,设计感知注意力机制(PAM)整合句子特征,通过感知句子与关系标签之间的语义信息、句子的实体类型与对应关系的实体类型之间的一致性信息,以及句子之间的相似性信息评估句子与关系标签的匹配程度,充分利用包中实例与关系标签的依赖关系,进一步提高方法的降噪能力;最后,利用分类器进行关系预测并根据预测结果与实际结果的交叉熵调整网络参数。在NYT-10(New York Times 10)和GDS(Google Distant Supervision)数据集上的实验结果表明,在NYT-10数据集上,与基于BERT(Bidirectional Encoder Representations from Transformers)的关系抽取方法PARE(Passage-Attended Relation Extraction)相比,所提方法在曲线下面积(AUC)上提升了2.1个百分点,在按置信度降序排列后前100、200和300条数据精确率Precision@N(P@N)的平均值P@M上提升了2.4个百分点;在GDS数据集上,所提方法的AUC和P@M分别达到了90.5%和97.8%。所提方法在上述2个数据集上均明显优于主流的远程监督关系抽取方法,验证了该方法的有效性。可见,在主流的远程监督关系抽取任务中,所提方法能有效地提升模型对数据特征的学习能力。
基金the National Natural Science Foundation of China(62001478,61972435)Aviation Science Foundation Project Contract(ASFC-20165188004)+1 种基金Shanghai Aerospace Science and Technology Innovation Fund(SAST2021-035)Independent Research Fund of Key Laboratory of Military Scientific Research。
