当前信息抽取任务主要依赖大语言模型(LLM),而标书信息中广泛存在领域术语,模型缺乏相关先验知识,导致微调效率低且抽取性能不佳。此外,模型的抽取和泛化性能在很大程度上依赖于提示信息的质量和提示模板的构建方式。针对上述问题,提出...当前信息抽取任务主要依赖大语言模型(LLM),而标书信息中广泛存在领域术语,模型缺乏相关先验知识,导致微调效率低且抽取性能不佳。此外,模型的抽取和泛化性能在很大程度上依赖于提示信息的质量和提示模板的构建方式。针对上述问题,提出一种基于提示学习的标书信息抽取方法(TIEPL)。首先,利用生成式信息抽取的提示学习方法对LLM注入领域知识,以实现预训练和微调阶段的统一优化;其次,以LoRA(Low-Rank Adaption)微调方法为框架,单独设计提示训练旁路,并设计标书场景关键词提示模板,从而增强模型信息抽取与提示的双向关联。在自建的招中标数据集上的实验结果表明,相较于次优的UIE(Universal Information Extraction)方法,TIEPL的ROUGE-L(Recall-Oriented Understudy for Gisting Evaluation)和BLEU-4(BiLingual Evaluation Understudy)分别提高1.05和4.71个百分点,能更准确和完整地生成抽取结果,验证了所提方法在提高标书信息抽取准确性和泛化性方面的有效性。展开更多
针对火灾救援现场中消防人员定位难的问题,采用LoRa通信技术和改进的行人航迹推算(Pedestrian Dead Reckoning,PDR)算法来实现消防人员的精确定位。选择SX1280 LoRa芯片和STM32F103微处理器设计LoRa通信模块,保证通信的可靠性。利用参...针对火灾救援现场中消防人员定位难的问题,采用LoRa通信技术和改进的行人航迹推算(Pedestrian Dead Reckoning,PDR)算法来实现消防人员的精确定位。选择SX1280 LoRa芯片和STM32F103微处理器设计LoRa通信模块,保证通信的可靠性。利用参考点气压值结合运动趋势(Combine Reference Point Pressure with Motion Trend,CRPPMT)进行楼层判定。将改进自适应算法和零点穿越算法结合用于步频检测,选用消防人员的经验公式估计步长,对四元数表示的坐标系卡尔曼滤波估计航向,实现水平定位。利用扩展卡尔曼滤波(Extended Kalman Filter,EKF)对上述数据进行融合,较大地提高了定位精度,实现消防人员的室内定位。展开更多
四川大学计算机学院学生团队在大规模语言模型参数高效微调系统研究方向取得重要进展,其研究成果“mLoRA:Fine-Tuning LoRA Adapters via Highly-Efficient Pipeline Parallelism in Multiple GPUs”在国际数据库学术会议VLDB 2025 Rese...四川大学计算机学院学生团队在大规模语言模型参数高效微调系统研究方向取得重要进展,其研究成果“mLoRA:Fine-Tuning LoRA Adapters via Highly-Efficient Pipeline Parallelism in Multiple GPUs”在国际数据库学术会议VLDB 2025 Research Track正式发表。VLDB(International Conference on Very Large Data Bases)是数据库领域的重要国际学术会议之一,涵盖数据库管理系统、数据密集型系统与大规模数据处理等方向。该工作已在多个国内外互联网企业的实际生产环境中部署应用,并获得一项中国发明专利和一项美国发明专利的受理。展开更多
为落实国家的数字交通十四五发展规划,船舶行业的数字化转型迫在眉睫。由于集装箱船钢制结构的特性,常规物联网(The Internet of Thing,IoT)无线通信技术难以保证通信网络的稳定性和可靠性,并且在规模、网络吞吐量等方面存在限制,选取...为落实国家的数字交通十四五发展规划,船舶行业的数字化转型迫在眉睫。由于集装箱船钢制结构的特性,常规物联网(The Internet of Thing,IoT)无线通信技术难以保证通信网络的稳定性和可靠性,并且在规模、网络吞吐量等方面存在限制,选取抗干扰性强、可扩展性好和功耗低覆盖广的LoRa技术作为集装箱船无线网络的通信技术,并对LoRaWAN中的自适应数据速率(Adaptive Data Rate,ADR)算法的问题进行深入分析,解决无线网络因大规模节点部署而造成的数据碰撞、功耗高问题;使用NS-3仿真工具并调用LoRaWAN模块,实现基于ADR算法的LoRa无线网络仿真模拟;参照21000 TEU集装箱船的技术资料得到船舶场景下的网络配置参数,对LoRaWAN仿真模型进行有效修正。通过仿真测试计算,得到在3000个冷箱情况下LoRaWAN网络的数据包投递率(Packet Delivery Ratio,R_(PD))为0.85,其平均功耗为350 mJ。相比于其他控制策略,使用ADR算法的控制策略的网络性能有显著提升,证明该算法在集装箱船场景下的可靠性和稳定性,为集装箱船场景的LoRa无线网络控制策略的选择和优化提供指导。展开更多
微调后的大语言模型(Large language models,LLMs)在多任务中表现出色,但集中式训练存在用户隐私泄漏的风险。联邦学习(Federated learning,FL)通过本地训练避免了数据共享,但LLMs庞大的参数量对资源受限的设备和通信带宽构成挑战,导致...微调后的大语言模型(Large language models,LLMs)在多任务中表现出色,但集中式训练存在用户隐私泄漏的风险。联邦学习(Federated learning,FL)通过本地训练避免了数据共享,但LLMs庞大的参数量对资源受限的设备和通信带宽构成挑战,导致在边缘网络中部署困难。结合分割学习(Split learning,SL),联邦分割学习可以有效解决这一问题。基于模型深层权重的影响更为显著,以及对部分层的训练准确率略低于整体模型训练的发现,本文按照Transformer层对模型进行分割,同时引入低秩适应(Low⁃rank adaption,LoRA)进一步降低资源开销和提升安全性。因此,在设备端,仅对最后几层进行低秩适应和训练,然后上传至服务器进行聚合。为了降低开销并保证模型性能,本文提出了基于联邦分割学习与LoRA的RoBERTa预训练模型微调方法。通过联合优化边缘设备的计算频率和模型微调的秩,在资源受限的情况下最大化秩,提高模型的准确率。仿真结果显示,仅训练LLMs最后3层的情况下,在一定范围内(1~32)增加秩的取值可以提高模型的准确率。同时,增大模型每轮的容忍时延和设备的能量阈值可以进一步提升模型的准确率。展开更多
文摘当前信息抽取任务主要依赖大语言模型(LLM),而标书信息中广泛存在领域术语,模型缺乏相关先验知识,导致微调效率低且抽取性能不佳。此外,模型的抽取和泛化性能在很大程度上依赖于提示信息的质量和提示模板的构建方式。针对上述问题,提出一种基于提示学习的标书信息抽取方法(TIEPL)。首先,利用生成式信息抽取的提示学习方法对LLM注入领域知识,以实现预训练和微调阶段的统一优化;其次,以LoRA(Low-Rank Adaption)微调方法为框架,单独设计提示训练旁路,并设计标书场景关键词提示模板,从而增强模型信息抽取与提示的双向关联。在自建的招中标数据集上的实验结果表明,相较于次优的UIE(Universal Information Extraction)方法,TIEPL的ROUGE-L(Recall-Oriented Understudy for Gisting Evaluation)和BLEU-4(BiLingual Evaluation Understudy)分别提高1.05和4.71个百分点,能更准确和完整地生成抽取结果,验证了所提方法在提高标书信息抽取准确性和泛化性方面的有效性。
文摘针对火灾救援现场中消防人员定位难的问题,采用LoRa通信技术和改进的行人航迹推算(Pedestrian Dead Reckoning,PDR)算法来实现消防人员的精确定位。选择SX1280 LoRa芯片和STM32F103微处理器设计LoRa通信模块,保证通信的可靠性。利用参考点气压值结合运动趋势(Combine Reference Point Pressure with Motion Trend,CRPPMT)进行楼层判定。将改进自适应算法和零点穿越算法结合用于步频检测,选用消防人员的经验公式估计步长,对四元数表示的坐标系卡尔曼滤波估计航向,实现水平定位。利用扩展卡尔曼滤波(Extended Kalman Filter,EKF)对上述数据进行融合,较大地提高了定位精度,实现消防人员的室内定位。
文摘四川大学计算机学院学生团队在大规模语言模型参数高效微调系统研究方向取得重要进展,其研究成果“mLoRA:Fine-Tuning LoRA Adapters via Highly-Efficient Pipeline Parallelism in Multiple GPUs”在国际数据库学术会议VLDB 2025 Research Track正式发表。VLDB(International Conference on Very Large Data Bases)是数据库领域的重要国际学术会议之一,涵盖数据库管理系统、数据密集型系统与大规模数据处理等方向。该工作已在多个国内外互联网企业的实际生产环境中部署应用,并获得一项中国发明专利和一项美国发明专利的受理。
文摘为落实国家的数字交通十四五发展规划,船舶行业的数字化转型迫在眉睫。由于集装箱船钢制结构的特性,常规物联网(The Internet of Thing,IoT)无线通信技术难以保证通信网络的稳定性和可靠性,并且在规模、网络吞吐量等方面存在限制,选取抗干扰性强、可扩展性好和功耗低覆盖广的LoRa技术作为集装箱船无线网络的通信技术,并对LoRaWAN中的自适应数据速率(Adaptive Data Rate,ADR)算法的问题进行深入分析,解决无线网络因大规模节点部署而造成的数据碰撞、功耗高问题;使用NS-3仿真工具并调用LoRaWAN模块,实现基于ADR算法的LoRa无线网络仿真模拟;参照21000 TEU集装箱船的技术资料得到船舶场景下的网络配置参数,对LoRaWAN仿真模型进行有效修正。通过仿真测试计算,得到在3000个冷箱情况下LoRaWAN网络的数据包投递率(Packet Delivery Ratio,R_(PD))为0.85,其平均功耗为350 mJ。相比于其他控制策略,使用ADR算法的控制策略的网络性能有显著提升,证明该算法在集装箱船场景下的可靠性和稳定性,为集装箱船场景的LoRa无线网络控制策略的选择和优化提供指导。
