随着大数据、人工智能技术的不断发展,大语言模型(Large Language Model,LLM)在知识挖掘、文档整合等领域显示出巨大的潜力。该文通过知识图谱构建、文本分类、信息检索等方法,对大语言模型的架构及其在不同场景下的应用进行探讨,并对...随着大数据、人工智能技术的不断发展,大语言模型(Large Language Model,LLM)在知识挖掘、文档整合等领域显示出巨大的潜力。该文通过知识图谱构建、文本分类、信息检索等方法,对大语言模型的架构及其在不同场景下的应用进行探讨,并对知识的提炼和整合进行深入探讨。研究如何提高多文档协同处理的效率,通过标准化的结构和语义的融合技术。并结合实际案例分析,展示大语言模型在复杂知识体系中的应用效果,以供实际运用大语言模型时参考。展开更多
课堂行为识别需要模型具有较快的推理速度、较少的参数量以及较好的模型鲁棒性。现有轻量化模型虽然达到了不错的实时性能,但其在面对课堂复杂场景时准确率较低,难以达到实际要求。针对此问题,提出了聚焦线性注意力姿态估计网络FLAPose(...课堂行为识别需要模型具有较快的推理速度、较少的参数量以及较好的模型鲁棒性。现有轻量化模型虽然达到了不错的实时性能,但其在面对课堂复杂场景时准确率较低,难以达到实际要求。针对此问题,提出了聚焦线性注意力姿态估计网络FLAPose(focused linear attention pose,FLAPose),重新设计的分组注意力(sectionalization attention,SA)增强了模型捕捉局部信息的能力,然后使用聚焦线性注意力(focused linear attention,FLA)设计增强模型学习骨架信息的效果,最后通过骨骼损失对模型辅助监督,增强模型对遮挡重叠区域的学习能力。实验表明:与基线网络RTMPose相比,FLAPose在更少参数和计算量的情况下,COCO数据集上的平均准确率提升了1.7%,CS-Dataset数据集上平均准确率提升4.8%。此外,模型通过TensorRT加速后部署在推理服务器中,测量了模型在GPU上的每秒帧数(frames per second,FPS),FLAPose的FPS在GPU上超过764.460,在CPU上超过215.63,高于其他所有网络。展开更多
在文旅领域智能问答中,用户问句文本表征稀疏、口语化表达、一词多义及特定领域词汇的识别困难使得常见的匹配模型难以将用户问句与标准问句进行精准匹配。针对此问题,本文构建了文旅客服问句匹配数据集和相应的领域词典,在此基础上提...在文旅领域智能问答中,用户问句文本表征稀疏、口语化表达、一词多义及特定领域词汇的识别困难使得常见的匹配模型难以将用户问句与标准问句进行精准匹配。针对此问题,本文构建了文旅客服问句匹配数据集和相应的领域词典,在此基础上提出一种融合领域词典的文旅问句匹配模型SBIDD(Improved SBERT Model for Integrating Domain Dictionaries)。模型利用Sentence-BERT对问句进行向量化表示,在孪生网络模型中融入领域词典,增强问句的领域词权重,使得模型对领域词汇的识别能力大幅提升。在自建数据集和公开数据集ATEC 2018 NLP上分别进行实验。结果表明,构建的模型与5种经典文本匹配模型DSSM、BiMPM、ESIM、IMAF、TSFR-RM及基线模型SBERT相比效果更优,F1值达到95.65%,比基线模型提升了2.75%,且模型在检索任务上表现出更高的适配性和鲁棒性。展开更多
文摘随着大数据、人工智能技术的不断发展,大语言模型(Large Language Model,LLM)在知识挖掘、文档整合等领域显示出巨大的潜力。该文通过知识图谱构建、文本分类、信息检索等方法,对大语言模型的架构及其在不同场景下的应用进行探讨,并对知识的提炼和整合进行深入探讨。研究如何提高多文档协同处理的效率,通过标准化的结构和语义的融合技术。并结合实际案例分析,展示大语言模型在复杂知识体系中的应用效果,以供实际运用大语言模型时参考。
文摘课堂行为识别需要模型具有较快的推理速度、较少的参数量以及较好的模型鲁棒性。现有轻量化模型虽然达到了不错的实时性能,但其在面对课堂复杂场景时准确率较低,难以达到实际要求。针对此问题,提出了聚焦线性注意力姿态估计网络FLAPose(focused linear attention pose,FLAPose),重新设计的分组注意力(sectionalization attention,SA)增强了模型捕捉局部信息的能力,然后使用聚焦线性注意力(focused linear attention,FLA)设计增强模型学习骨架信息的效果,最后通过骨骼损失对模型辅助监督,增强模型对遮挡重叠区域的学习能力。实验表明:与基线网络RTMPose相比,FLAPose在更少参数和计算量的情况下,COCO数据集上的平均准确率提升了1.7%,CS-Dataset数据集上平均准确率提升4.8%。此外,模型通过TensorRT加速后部署在推理服务器中,测量了模型在GPU上的每秒帧数(frames per second,FPS),FLAPose的FPS在GPU上超过764.460,在CPU上超过215.63,高于其他所有网络。
文摘在文旅领域智能问答中,用户问句文本表征稀疏、口语化表达、一词多义及特定领域词汇的识别困难使得常见的匹配模型难以将用户问句与标准问句进行精准匹配。针对此问题,本文构建了文旅客服问句匹配数据集和相应的领域词典,在此基础上提出一种融合领域词典的文旅问句匹配模型SBIDD(Improved SBERT Model for Integrating Domain Dictionaries)。模型利用Sentence-BERT对问句进行向量化表示,在孪生网络模型中融入领域词典,增强问句的领域词权重,使得模型对领域词汇的识别能力大幅提升。在自建数据集和公开数据集ATEC 2018 NLP上分别进行实验。结果表明,构建的模型与5种经典文本匹配模型DSSM、BiMPM、ESIM、IMAF、TSFR-RM及基线模型SBERT相比效果更优,F1值达到95.65%,比基线模型提升了2.75%,且模型在检索任务上表现出更高的适配性和鲁棒性。
