中文司法领域的实体和关系抽取技术在提高办案效率方面具有重要作用,但现有的关系抽取模型缺乏领域知识且难以处理重叠实体,造成难以准确区分和提取实体与关系等问题.通过引入领域知识,提出一种法律信息增强模块,增强了用所提法律潜在...中文司法领域的实体和关系抽取技术在提高办案效率方面具有重要作用,但现有的关系抽取模型缺乏领域知识且难以处理重叠实体,造成难以准确区分和提取实体与关系等问题.通过引入领域知识,提出一种法律信息增强模块,增强了用所提法律潜在关系与全局对应(legal potential relationship and global correspondence,LPRGC)模型理解法律文本中术语、规则和上下文信息的能力,从而提高了实体和关系的识别准确性,进而提升了实体和关系抽取算法的性能.为解决重叠实体问题,设计了一种基于潜在关系和实体对齐的关系抽取方法.通过精确标注实体位置,筛选潜在关系,并利用全局矩阵对齐实体,解决重叠实体的关系抽取问题,能够更准确地捕捉到重叠实体之间的关系,并有效地将其映射到正确的实体对上,从而提高抽取结果的准确性.在中国法律智能技术评测数据集上进行实体和关系抽取实验,结果表明,LPRGC模型的准确率、召回率和F_(1)值分别为85.21%、81.19%和83.15%,均优于对比模型,特别是在处理实体重叠问题时,LPRGC模型在单实体重叠类型的抽取中,F_(1)值达到了81.45%;在多实体重叠类型的抽取中,F_(1)值达80.67%.LPRGC模型在实体和关系抽取的准确性上较现有方法有明显改进,在处理复杂法律文本中的实体重叠问题上取得了显著效果.展开更多
近期语言模型领域的进展显示,采用Transformer架构的大型预训练模型在自然语言处理应用中表现出优异的技术能力。然而,受限于GPU内存,训练大语言模型(large language models,LLMs)成为了一项挑战。张量并行方法要求单个GPU存储所有激活...近期语言模型领域的进展显示,采用Transformer架构的大型预训练模型在自然语言处理应用中表现出优异的技术能力。然而,受限于GPU内存,训练大语言模型(large language models,LLMs)成为了一项挑战。张量并行方法要求单个GPU存储所有激活值,难以突破内存瓶颈。为解决GPU内存对大语言模型训练的制约并提升训练效率,本文提出一种二维张量并行方法(2D tensor parallelism,TP2D)。2D张量并行将输入数据和参数矩阵分割并分配至4个GPU;采用分布式通信,进行GPU间数据的高速交互,实现真正的分布式并行训练。以GPT-2模型作为基准模型,测试了两种训练方法的软扩展(soft scaling)效率和训练效率。实验表明,当使用4块GPU时,2D张量并行的训练速度是张量并行的1.84倍,软扩展效率达到86%,并降低了内存占用。展开更多
文摘中文司法领域的实体和关系抽取技术在提高办案效率方面具有重要作用,但现有的关系抽取模型缺乏领域知识且难以处理重叠实体,造成难以准确区分和提取实体与关系等问题.通过引入领域知识,提出一种法律信息增强模块,增强了用所提法律潜在关系与全局对应(legal potential relationship and global correspondence,LPRGC)模型理解法律文本中术语、规则和上下文信息的能力,从而提高了实体和关系的识别准确性,进而提升了实体和关系抽取算法的性能.为解决重叠实体问题,设计了一种基于潜在关系和实体对齐的关系抽取方法.通过精确标注实体位置,筛选潜在关系,并利用全局矩阵对齐实体,解决重叠实体的关系抽取问题,能够更准确地捕捉到重叠实体之间的关系,并有效地将其映射到正确的实体对上,从而提高抽取结果的准确性.在中国法律智能技术评测数据集上进行实体和关系抽取实验,结果表明,LPRGC模型的准确率、召回率和F_(1)值分别为85.21%、81.19%和83.15%,均优于对比模型,特别是在处理实体重叠问题时,LPRGC模型在单实体重叠类型的抽取中,F_(1)值达到了81.45%;在多实体重叠类型的抽取中,F_(1)值达80.67%.LPRGC模型在实体和关系抽取的准确性上较现有方法有明显改进,在处理复杂法律文本中的实体重叠问题上取得了显著效果.
