期刊文献+
共找到23篇文章
< 1 2 >
每页显示 20 50 100
基于多层BP神经网络和无参数微调的人群计数方法 被引量:2
1
作者 徐洋 陈燚 +1 位作者 黄磊 谢晓尧 《计算机科学》 CSCD 北大核心 2018年第10期235-239,共5页
针对大部分现有的人群计数方法被应用到新的场景时性能下降的问题,在多层BP神经网络框架下,提出一种具有无参数微调的人群计数方法。首先,从训练图像中裁切图像块,将获得的相似尺度的行人作为人群BP神经网络模型的输入;然后,BP神经网络... 针对大部分现有的人群计数方法被应用到新的场景时性能下降的问题,在多层BP神经网络框架下,提出一种具有无参数微调的人群计数方法。首先,从训练图像中裁切图像块,将获得的相似尺度的行人作为人群BP神经网络模型的输入;然后,BP神经网络模型通过学习预测密度图,得到了一个具有代表性的人群块;最后,为了处理新场景,对训练好的BP神经网络模型进行目标场景微调,可追求有相同属性的样本,包括候选块检索和局部块检索。实验数据集包括PETS2009数据集、UCSD数据集和UCF_CC_50数据集。这些场景的实验结果验证了提出方法的有效性。相比于全局回归计数法和密度估计计数法,提出的方法在平均绝对误差和均方误差方面均有较大优势,消除了场景间区别和前景分割的影响。 展开更多
关键词 人群计数 BP神经网络 参数微调 密度图 平均绝对误差
在线阅读 下载PDF
激光刻蚀实现介质谐振器参数微调的研究
2
作者 陈赐海 《压电与声光》 CSCD 北大核心 2012年第5期720-723,共4页
研究提出激光刻蚀加工技术的新方法,实现微波陶瓷介质谐振器的参数微调。首先运用电磁理论推导求解本征值问题的有限元法,利用该方法验证了机械调节谐振器参数存在的缺点,重点研究激光刻蚀微调操作中存在的几种影响因素,获得激光微调参... 研究提出激光刻蚀加工技术的新方法,实现微波陶瓷介质谐振器的参数微调。首先运用电磁理论推导求解本征值问题的有限元法,利用该方法验证了机械调节谐振器参数存在的缺点,重点研究激光刻蚀微调操作中存在的几种影响因素,获得激光微调参数与谐振频率改变量的关系式。最后用自制相对频率误差小于0.2%的微波介质谐振器验证了激光刻蚀法微调的优势。 展开更多
关键词 介质谐振器 有限元法 激光刻蚀 谐振频率 参数微调
在线阅读 下载PDF
基于参数高效微调及双流网络的人脸伪造检测
3
作者 陈咏豪 蔡满春 +3 位作者 张溢文 彭舒凡 姚利峰 朱懿 《计算机工程与应用》 北大核心 2025年第10期288-298,共11页
随着深度伪造技术的发展,伪造的人脸图像愈发逼真,深度伪造技术一旦被不法分子滥用将对社会治安和公共安全造成危害,因此如何对深度伪造进行有效检测成为重要的研究课题。现有的深度伪造检测技术普遍存在跨库检测泛化性差、跨压缩率检... 随着深度伪造技术的发展,伪造的人脸图像愈发逼真,深度伪造技术一旦被不法分子滥用将对社会治安和公共安全造成危害,因此如何对深度伪造进行有效检测成为重要的研究课题。现有的深度伪造检测技术普遍存在跨库检测泛化性差、跨压缩率检测鲁棒性差的问题。为解决上述问题,提出了一种基于参数高效微调及双流网络的人脸伪造检测。利用MIM(masked image modeling)自监督方法预训练的ViT作为分支主干,并引入低秩适应(lowrank adaptation,LoRA)进行微调,以保留预训练模型的先验知识并提高在深度伪造检测任务中的适应能力;设计了一种跨域双向适配器BCA(bi-directional cross-modal adapter)和跨域交叉注意力适配器DCA(dual-modal crossattention adapter)用于对两条分支进行微调及信息互补。在双流网络尾部加入多层感知机适配器以完成分类。实验结果表明,在训练参数为3.75×10^(7)的情况下,该方法在六个主流数据集上的平均AUC达到了99.67%,在跨库泛化性实验中平均AUC达到了77.3%,在跨压缩率实验中平均AUC达到了89.5%。 展开更多
关键词 深度伪造检测 双流网络 高效参数微调 高频噪声 自监督预训练
在线阅读 下载PDF
大语言模型参数高效微调技术综述
4
作者 秦董洪 李政韬 +3 位作者 白凤波 董路宽 张慧 徐晨 《计算机工程与应用》 北大核心 2025年第16期38-63,共26页
近年来,自然语言处理领域的训练范式和模型规模发生显著变化,从特定任务的监督学习转向全量微调大规模预训练模型。然而,模型参数的激增导致全量微调计算成本高昂。“参数高效微调”技术应运而生,通过仅微调部分参数或引入少量新参数,... 近年来,自然语言处理领域的训练范式和模型规模发生显著变化,从特定任务的监督学习转向全量微调大规模预训练模型。然而,模型参数的激增导致全量微调计算成本高昂。“参数高效微调”技术应运而生,通过仅微调部分参数或引入少量新参数,显著降低成本并保持性能。对近年来参数高效微调技术中最具代表性和最前沿的方法进行了简要介绍和系统分析,涵盖设计理念与核心算法,并对不同方法的特性、优势、不足以及适用场景进行了归纳和分析,并进一步对比了不同种类中同系列的多种方法,分析了同系列方法在设计理念上的演进趋势,提供了当前研究现状的全面概述。最后对参数高效微调技术进行整体的分析与展望,提出未来该技术可能的优化方向,并结合实践提出该技术在实际工程应用中可行的技术方案。 展开更多
关键词 参数高效微调技术 深度学习 自然语言处理 模型优化
在线阅读 下载PDF
参数高效化微调的双分支视频动作识别方法
5
作者 王小伟 沈燕飞 邢庆君 《河南理工大学学报(自然科学版)》 北大核心 2025年第4期21-28,共8页
目的面向视频的AI智慧体育对于个性化训练、定制化运动分析具有重要的现实价值。现有的视频动作分析框架依赖于“预训练-微调”的范式将图像预训练模型迁移到视频时序建模中,然而,随着模型尺寸和预训练规模的不断扩大,一方面直接微调需... 目的面向视频的AI智慧体育对于个性化训练、定制化运动分析具有重要的现实价值。现有的视频动作分析框架依赖于“预训练-微调”的范式将图像预训练模型迁移到视频时序建模中,然而,随着模型尺寸和预训练规模的不断扩大,一方面直接微调需更新全部参数导致计算成本高昂,另一方面难以基于图像大模型实现视频时空特征的建模。方法为此,提出一种基于大规模图像预训练模型的双分支视频动作识别框架TBN(two branch network),其包含时空解耦的双分支架构,分别处理静态背景特征和时序动态动作特征。在迁移中,预训练权重保持冻结,仅通过对额外增加的Prompt和Adaptor中的少量参数进行训练,实现从图像预训练模型到视频时序建模的参数高效化迁移。此外,针对现有基准数据集在高速运动场景的不足,构建一个大规模体育运动数据集Kinetics-Sports,包含42个运动类别(含篮球、滑冰、跨栏等),提供更严格的测试基准。结果在Kinetics-Sports,UCF101和HDBM51数据集上的实验结果表明,提出的方法在3个数据集上的识别准确率分别达到97.8%,78.0%,74.2%,优于目前几个数据集上最先进的方法,且参数量仅有12 MB,计算复杂度低于现有主流算法。结论提出的模型在精度-效率方面取得了更好的平衡,提升了体育运动动作检测的准确率和推理效率,为视觉大模型视频迁移提供了高效解决方案。 展开更多
关键词 视频动作识别 预训练模型 参数高效化微调 双分支网络 时空建模
在线阅读 下载PDF
PMoE:在P-tuning中引入混合专家的参数高效微调框架 被引量:1
6
作者 王浩 王珺 +3 位作者 胡海峰 周飞飞 龚锐 张索非 《计算机应用研究》 北大核心 2025年第7期1956-1963,共8页
大语言模型(LLM)在推理和生成任务中的表现显著提升,但现有的开源LLM在处理专业领域问题时仍存在知识不足,亟需针对特定任务进行微调。传统微调方法在多任务学习中难以兼顾低成本与高效性。为此,提出了一种名为PMoE的参数高效微调框架... 大语言模型(LLM)在推理和生成任务中的表现显著提升,但现有的开源LLM在处理专业领域问题时仍存在知识不足,亟需针对特定任务进行微调。传统微调方法在多任务学习中难以兼顾低成本与高效性。为此,提出了一种名为PMoE的参数高效微调框架。该框架基于P-tuning方法,并引入混合专家机制,在保持低成本微调的同时增强多任务处理能力。PMoE在Transformer模块的每一层构建可训练的专家模块,以替代P-tuning中的提示词模块,并采用路由机制根据输入任务特征动态分配任务。此外,PMoE的专家模块支持拆卸,实现不同任务场景下的模型复用,进一步降低计算成本。实验结果表明,PMoE在中国医学领域数据集上相较于P-tuning方法性能提升6.24%,并在多任务处理和迁移学习方面表现优越,验证了其高效性与广泛适用性。 展开更多
关键词 大语言模型 参数高效微调 P-tuning 混合专家 多任务学习
在线阅读 下载PDF
基于剪枝的大模型联邦参数高效微调技术 被引量:1
7
作者 曾辉 熊诗雨 +1 位作者 狄永正 史红周 《计算机应用》 北大核心 2025年第3期715-724,共10页
随着数据隐私重要性的不断提升,用于下游任务的预训练基础模型(PFM)的微调变得愈发困难,这推动了基于PFM的联邦学习研究。然而,PFM给联邦学习系统带来了显著的挑战,特别是在本地计算和通信方面。因此,针对联邦学习的本地计算和聚合通信... 随着数据隐私重要性的不断提升,用于下游任务的预训练基础模型(PFM)的微调变得愈发困难,这推动了基于PFM的联邦学习研究。然而,PFM给联邦学习系统带来了显著的挑战,特别是在本地计算和通信方面。因此,针对联邦学习的本地计算和聚合通信这两个主要阶段,分别提出对应的解决方案,即本地高效微调模式和环形本地聚合模式。本地高效微调模式采用基于参数高效微调(PEFT)的模型剪枝算法以减轻本地计算和通信开销;环形本地聚合模式采用分布式的本地聚合方法取代中心化的聚合方法以提升聚合阶段的通信效率。实验结果表明,所提大模型联邦参数高效微调框架在最终性能和效率方面均表现良好。 展开更多
关键词 联邦学习 大模型 微调 参数高效微调 模型剪枝
在线阅读 下载PDF
大模型微调的多领域机器翻译方法综述 被引量:1
8
作者 陈子建 王斯日古楞 斯琴图 《计算机科学与探索》 北大核心 2025年第4期916-928,共13页
随着机器翻译技术的快速发展,基于预训练大模型的机器翻译方法已在自然语言处理领域占据重要地位。然而,由于不同领域之间语言特征、词汇风格和表达方式的显著差异,单一预训练模型在多领域翻译任务中难以实现高效且稳定的性能。为此,聚... 随着机器翻译技术的快速发展,基于预训练大模型的机器翻译方法已在自然语言处理领域占据重要地位。然而,由于不同领域之间语言特征、词汇风格和表达方式的显著差异,单一预训练模型在多领域翻译任务中难以实现高效且稳定的性能。为此,聚焦于多领域机器翻译任务中大模型微调技术的关键问题,系统性地综述了微调技术的核心原理、主要方法及应用效果,重点分析了全参数微调、参数高效微调和提示微调三类策略的性能表现与适用场景。深入探讨了不同微调方法的优势与局限性,重点分析了在资源受限条件下如何通过高效微调策略平衡领域泛化能力与任务特异性,展示了参数高效微调与提示微调在资源利用效率和领域适应性方面的显著优势。通过对比分析与实验验证,进一步评估了不同微调策略在领域迁移和资源利用方面的实际效果,并通过案例分析验证了其有效性。未来的研究方向应重点关注资源的高效利用、模型的领域自适应能力,以及翻译质量和鲁棒性的提升,从而推动多领域机器翻译系统在性能与适应性方面的持续发展。 展开更多
关键词 大模型微调 多领域机器翻译 参数微调 参数高效微调 提示微调
在线阅读 下载PDF
融合多种参数高效微调技术的深度伪造检测方法 被引量:1
9
作者 张溢文 蔡满春 +2 位作者 陈咏豪 朱懿 姚利峰 《计算机科学与探索》 CSCD 北大核心 2024年第12期3335-3347,共13页
近年来,随着深度伪造技术趋于成熟,换脸软件、合成视频已经随处可见。尽管深度伪造技术为人们带来了娱乐,但同时也为不法分子提供了滥用的机会。因此,深度伪造检测技术的重要性也日益凸显。现有的深度伪造检测方法普遍存在跨压缩率鲁棒... 近年来,随着深度伪造技术趋于成熟,换脸软件、合成视频已经随处可见。尽管深度伪造技术为人们带来了娱乐,但同时也为不法分子提供了滥用的机会。因此,深度伪造检测技术的重要性也日益凸显。现有的深度伪造检测方法普遍存在跨压缩率鲁棒性差、跨数据集泛化性差以及模型训练开销大等问题。为解决上述问题,提出一种融合多种参数高效微调技术的深度伪造检测方法,使用以掩码图像建模(MIM)自监督方法预训练的视觉自注意力模型作为主干,使用克罗内克积改进的低秩自适应方法对预训练模型的自注意力模块参数进行微调,同时采用并行结构加入卷积适配器对图像局部纹理信息进行学习,以增强预训练模型在深度伪造检测任务中的适应能力,采用并行结构引入经典适配器对预训练模型的前馈网络微调以充分利用预训练阶段学习到的知识,使用多层感知机代替原预训练模型分类头实现深度伪造检测。在六个数据集上的实验结果表明,该模型在可训练参数仅有2×10^(7)的情况下,在六个主流数据集上实现了平均约0.996的帧水平AUC。在跨压缩率实验中,帧水平AUC的平均下降为0.135。在跨数据集泛化性实验中,帧水平AUC达到了平均0.765。 展开更多
关键词 深度伪造 视觉自注意力模型 自监督预训练模型 低秩自适应 参数高效微调
在线阅读 下载PDF
基于参数高效微调的跨模态枸杞虫害识别模型D-PAG
10
作者 邢嘉璐 刘建平 +2 位作者 周国民 刘立波 王健 《农业大数据学报》 2024年第4期509-521,共13页
随着多模态基础模型(大模型)的发展,如何高效地将其迁移到特定领域或任务中成为目前的热点、难点问题。该研究以多模态大模型CLIP为基础模型,使用参数高效微调方法Prompt、Adapter将CLIP迁移到枸杞虫害识别任务中,提出了用于枸杞虫害识... 随着多模态基础模型(大模型)的发展,如何高效地将其迁移到特定领域或任务中成为目前的热点、难点问题。该研究以多模态大模型CLIP为基础模型,使用参数高效微调方法Prompt、Adapter将CLIP迁移到枸杞虫害识别任务中,提出了用于枸杞虫害识别的跨模态参数高效微调模型D-PAG。D-PAG模型首先在CLIP编码器的输入层或隐层中嵌入了可学习的Prompt与Adapter,用于训练,学习虫害特征;然后利用门控单元将Prompt、Adapter集成到CLIP编码器网络中,平衡两者对特征提取的影响大小,在Adapter中设计了GCS-Adapter注意力用以加强跨模态语义信息融合。为了验证方法的有效性,在枸杞虫害数据集和细粒度数据集IP102上进行了实验。验证实验结果表明,在枸杞数据集上仅用20%样本数量训练便可达到98.8%的准确率,使用40%样本数量训练准确率达到了99.5%;在IP102上验证,准确率达到75.6%,与ViT持平。该方案可在少样本条件下,通过引入极少额外参数,将多模态大模型基础知识高效迁移到特定虫害识别领域,为高效使用大模型解决农业图像处理问题提供了新的技术方案。 展开更多
关键词 枸杞 虫害识别 参数高效微调 大模型 CLIP
在线阅读 下载PDF
微调Stable Diffusion的侧扫声呐图像数据集扩充方法
11
作者 高鑫 张龙刚 +3 位作者 彭望 郝瑞亭 马双双 郑杰 《舰船科学技术》 北大核心 2025年第4期137-142,共6页
针对水下声学图像获取难度大、优质数据少的问题,提出一种参数高效微调Stable Diffusion的侧扫声呐图像数据集扩充方法。旨在提升数据集质量与多样性,进而改善基于深度学习的舰船侧扫声呐目标检测系统的性能。首先冻结预训练模型全连接... 针对水下声学图像获取难度大、优质数据少的问题,提出一种参数高效微调Stable Diffusion的侧扫声呐图像数据集扩充方法。旨在提升数据集质量与多样性,进而改善基于深度学习的舰船侧扫声呐目标检测系统的性能。首先冻结预训练模型全连接层的权重,随后注入可训练的秩分解矩阵(Rank Decomposition Matrices),最后嵌入提示词生成图像样本。实验结果表明,相比于目前主流基于CycleGAN的方法,提出的方法生成了更高质量、多样化、稳定的侧扫声呐图像。此外,数据集扩充后,多种主流的目标检测算法性能均有所增强,YOLOv8n的mAP@0.5提升了22.9%,证明了该方法的有效性。 展开更多
关键词 侧扫声呐 深度学习 参数高效微调 稳态扩散
在线阅读 下载PDF
基于差分隐私的联邦大模型微调技术 被引量:2
12
作者 曾辉 熊诗雨 +1 位作者 狄永正 史红周 《信息安全研究》 CSCD 北大核心 2024年第7期616-623,共8页
随着私有数据可用性的降低,基于联邦学习的大模型参数微调成为备受关注的研究领域.尽管联邦学习本身具有一定程度的隐私保护能力,但其中的梯度泄露攻击和针对大模型的嵌入反转攻击等隐私安全问题仍然威胁着参与者的敏感信息.在当前对隐... 随着私有数据可用性的降低,基于联邦学习的大模型参数微调成为备受关注的研究领域.尽管联邦学习本身具有一定程度的隐私保护能力,但其中的梯度泄露攻击和针对大模型的嵌入反转攻击等隐私安全问题仍然威胁着参与者的敏感信息.在当前对隐私保护意识不断增强的背景下,这些潜在的隐私风险显著阻碍了基于联邦学习的大模型参数微调在实际应用中的推广.因此,提出一种联邦大模型嵌入差分隐私控制算法,通过全局和本地双重隐私控制机制,在高效参数微调过程中为大模型的嵌入模型添加可控的随机噪声,以增强基于联邦学习的大模型参数微调的隐私保护能力.此外,通过对不同联邦设置的实验比较,展示了该算法在大模型参数微调中的隐私保护效果,并通过中心化和联邦化的性能比较实验验证了该算法的可行性. 展开更多
关键词 联邦学习 大模型 高效参数微调 差分隐私 数据隐私泄露
在线阅读 下载PDF
低秩自适应微调的一阶段红外目标跟踪 被引量:1
13
作者 代宇航 刘乔 +2 位作者 袁笛 范娜娜 刘云鹏 《红外与激光工程》 EI CSCD 北大核心 2024年第8期89-103,共15页
由于缺乏大规模的红外跟踪训练数据集,现有的红外跟踪方法大都利用在大规模可见光数据上预训练的模型,然后在小规模的红外数据上进行完全微调。然而,当预训练模型的参数规模迅速增大时,完全微调需要的内存和时间成本也急剧增长,这限制... 由于缺乏大规模的红外跟踪训练数据集,现有的红外跟踪方法大都利用在大规模可见光数据上预训练的模型,然后在小规模的红外数据上进行完全微调。然而,当预训练模型的参数规模迅速增大时,完全微调需要的内存和时间成本也急剧增长,这限制了低资源用户在大型模型上进行研究和应用。为解决该问题,提出一种参数、内存和时间高效自适应的红外目标跟踪算法。首先,通过Transformer的自注意力机制对模板和搜索区域图像进行联合特征提取和关系建模,获取与目标关联度更强的特征表示;其次,利用低秩自适应矩阵的侧网络将可训练参数从主干网络中进行解耦,以减少需要训练更新的参数规模;最后,设计一种轻量级空间特征增强模块,增强特征对目标和背景的判别能力。提出方法的训练参数,内存和时间分别仅占完全微调方法的0.04%、39.6%和66.2%,性能却超越了完全微调。在3个标准红外跟踪数据集LSOTB-TIR120,LSOTB-TIR100和PTB-TIR上的实验对比结果和消融实验证明了提出的方法是有效的。提出的方法在LSOTB-TIR120数据集上成功率为73.7%,精度为86.0%,归一化精度为78.5%;LSOTB-TIR100数据集上成功率为71.6%,精度为83.9%,归一化精度为76.1%;在PTB-TIR数据集上成功率为69.0%,精度为84.9%,均取得了当前最先进的跟踪性能。 展开更多
关键词 红外目标跟踪 参数高效微调 低秩自适应矩阵 特征解耦 TRANSFORMER
在线阅读 下载PDF
基于归一化处理和TrafficLLM的网络攻击缓解框架
14
作者 成凯 汤卫东 +2 位作者 谈林涛 陈佳 李鑫 《计算机科学》 北大核心 2025年第S1期994-1002,共9页
随着电力配变网络基础设施规模的不断扩大,各类安全二次设备、边缘终端节点和业务系统产生的信息通信流量数据在格式、协议、语义特征层面存在显著差异。主要存在现有缓解框架缺乏多源异构网络异常流量检测数据归一化处理算法,网络攻击... 随着电力配变网络基础设施规模的不断扩大,各类安全二次设备、边缘终端节点和业务系统产生的信息通信流量数据在格式、协议、语义特征层面存在显著差异。主要存在现有缓解框架缺乏多源异构网络异常流量检测数据归一化处理算法,网络攻击行为分析依赖人工特征提取的规则引擎,以及难以确定有效的网络攻击缓解措施等痛点。针对以上痛点,提出了一种基于归一化处理和TrafficLLM的网络攻击缓解框架(Network Attack Mitigation Framework Based on Normalized Processing and TrafficLLM,NAMF-NPTLLM)。该框架涵盖数据解析、归一化处理、模型微调和生成攻击缓解方案4个核心阶段。首先,在特征选择阶段,通过构建集成学习模型,融合多类基学习器的特征评估结果,精准提取对分类结果影响较大的关键特征。其次,将选取的关键特征通过归一化处理,生成统一的自然语言token序列形式表达,为该网络攻击缓解框架的流量异常分析TrafficLLM模型提供标准化输入。然后,对TrafficLLM模型进行微调,使该模型能够理解提示词模板指令并学习攻击行为的流量模式。最后,通过微调后的大模型进行推理,生成攻击缓解指令,使得该框架能够根据攻击行为特征动态调整网络攻击缓解策略。通过在CIC-DDoS2019数据集上进行实验验证,与传统方法相比,该框架将网络攻击行为分类的准确率达到99.80%,提高了1.3%。实验结果表明,该框架对于缓解海量多源异构电力网络终端流量攻击,具有更好的准确性和有效性。 展开更多
关键词 攻击行为检测 数据解析 归一化处理 集成学习模型 网络攻击缓解 参数微调
在线阅读 下载PDF
基于大语言模型的刑事案件智能判决研究 被引量:1
15
作者 丛颖男 韩林睿 +1 位作者 马佳羽 朱金清 《计算机科学》 北大核心 2025年第5期248-259,共12页
刑事案件判决的智能化一直是数字法院建设中的研究热点。传统方法基于自然语言处理技术,由模型依据案件事实直接预测判决结果,但应对复杂刑事案件案情时,模型难以发现法律要件之间的逻辑依赖关系,也难以清晰表达法律推理过程。文中提出... 刑事案件判决的智能化一直是数字法院建设中的研究热点。传统方法基于自然语言处理技术,由模型依据案件事实直接预测判决结果,但应对复杂刑事案件案情时,模型难以发现法律要件之间的逻辑依赖关系,也难以清晰表达法律推理过程。文中提出一种基于大语言模型的刑事案件智能判决方法,该方法以“标记案件语料-预训练大模型-强化判决逻辑”为思路,首先通过自动化标注与人工校正相结合的方式,标注案情中的主体、客体、主观要件和客观要件等法律要素,构建结构化的推理数据集;其次基于GLM预训练框架,选取ChatGLM3-6b-32k作为基座大语言模型进行增量预训练;最后采用LoRA参数高效微调策略与大模型检索增强技术对模型进行参数调优与法律知识扩展,实现判决逻辑的强化。实验结果表明,与Qwen-7B-Chat和Baichuan2-7B-Chat相比,ChatGLM3-6b-32k模型在指令监督微调后性能更优。引入司法三段论显著增强了判决文本的逻辑性,使其更贴近人类法官的裁判说理。在罪名预测和刑期预测任务中,所提模型准确率相较于MTL-Fusion,Lawformer和BERT模型均有显著提升。此外,与基于欧美法律文本训练的Legal-BERT和CaseLawBERT相比,所提模型更适应中国刑事案件的判决逻辑,在处理长文本任务上展现出更强的能力。该研究不仅探索了大语言模型在刑事案件智能判决中的应用,还为司法领域大模型研究的范式提供了有益参考。 展开更多
关键词 数字法院 法律判决预测 司法三段论 大语言模型 参数高效微调
在线阅读 下载PDF
基于CLIP的视频时刻检索预训练模型 被引量:3
16
作者 缪翌 张卫锋 徐领 《计算机应用研究》 CSCD 北大核心 2024年第12期3866-3872,共7页
视频时刻检索作为下游任务,依赖预训练模型提取特征的能力。近年的研究表明,以CLIP为代表的图像-语言预训练模型在大规模数据集下能学习到有效且通用的语义知识,从而在图像分类等任务上表现出强大的迁移能力和零样本能力。然而其迁移到... 视频时刻检索作为下游任务,依赖预训练模型提取特征的能力。近年的研究表明,以CLIP为代表的图像-语言预训练模型在大规模数据集下能学习到有效且通用的语义知识,从而在图像分类等任务上表现出强大的迁移能力和零样本能力。然而其迁移到视频时刻检索任务仍效果不佳。为解决上述难题,提出了视频时刻检索网络VMRNet,该网络以CLIP预训练模型为骨干,并设计了用于增强CLIP模型时序建模能力和跨模态交互能力的视频时序增强模块VTEMo。该模块采用旁路层级结构,引入查询文本引导的视觉提示,引导视觉编码器学习当前查询任务关注的视觉信息和时序信息。在QVHighlights、Charades-STA等常用数据集上进行了验证实验,VMRNet的R1@0.5指标在两个数据集上分别提高0.83和1.27,模型总体性能优于其他代表性的模型。实验结果充分表明,提出的VTEMo可在查询文本引导下有效学习视频视觉特征和时序特征,VMRNet结合VTEMo可在视频时刻检索任务上获得更为优秀的表现。 展开更多
关键词 多模态 视频时刻检索 图像-语言预训练模型 参数微调
在线阅读 下载PDF
基于迁移学习双阶段训练的情感语音克隆技术 被引量:1
17
作者 李囡 郭浩 相洁 《计算机工程与设计》 北大核心 2024年第5期1533-1540,共8页
为解决传统基于SV2TTS架构的语音克隆系统合成语音缺乏丰富表达能力的问题,提出一种基于迁移学习双阶段训练说话人编码器的情感语音克隆方法。在说话人识别技术基础上,利用迁移学习,对说话人编码器进行音色克隆训练;在情感克隆训练阶段... 为解决传统基于SV2TTS架构的语音克隆系统合成语音缺乏丰富表达能力的问题,提出一种基于迁移学习双阶段训练说话人编码器的情感语音克隆方法。在说话人识别技术基础上,利用迁移学习,对说话人编码器进行音色克隆训练;在情感克隆训练阶段,采用情感语音数据集对其参数进行微调,提取具有情感信息的说话人特征。将此特征作为合成器的输入对梅尔谱的生成过程进行调节,通过声码器将此梅尔谱转换为具有目标说话人信息的情感语音。主客观分析结果表明,该方法所生成的克隆语音的情感相似度更高,音色相似度也有一定改善。 展开更多
关键词 迁移学习 情感语音克隆 情感语音合成 双阶段训练 说话人识别 说话人编码 参数微调
在线阅读 下载PDF
基于参数高效微调的藏文大模型研究
18
作者 杨毛加 柔特 +2 位作者 才智杰 官却才让 贡去卓么 《中文信息学报》 2024年第12期106-115,共10页
大模型是指拥有庞大参数量的深度学习模型,具备强大的表征学习和生成能力,对自然语言处理等领域产生了深远影响。随着技术的不断进步,大模型在性能和应用范围上不断取得突破,成为人工智能领域的研究热点。然而,大模型的发展也面临着一... 大模型是指拥有庞大参数量的深度学习模型,具备强大的表征学习和生成能力,对自然语言处理等领域产生了深远影响。随着技术的不断进步,大模型在性能和应用范围上不断取得突破,成为人工智能领域的研究热点。然而,大模型的发展也面临着一些挑战,如模型训练成本高、参数冗余以及跨语言应用存在局限性等。特别地,在藏文这一具有独特语言特性的研究领域,大模型的研究尚处于起步阶段,缺乏相应的模型和资源支持。针对上述问题,该文通过基于LoRA的参数高效微调方法,提出了基于Llama2模型架构构建的Tibetan-Llama2和Tibetan-Alpaca模型,经过较大规模数据的增量预训练和指令微调,上述两种模型具备了对藏文的长文本理解和生成能力,展现了其多任务学习能力,并且在多个领域都有广泛的应用前景。 展开更多
关键词 自然语言处理 藏文大模型 参数高效微调 增量预训练 指令微调
在线阅读 下载PDF
基于滤波器相似性剪枝的声学场景分类
19
作者 李香梅 马建芬 +1 位作者 降爱莲 张朝霞 《计算机工程与设计》 北大核心 2024年第7期1997-2003,共7页
为解决场景分类系统模型复杂度高且现有场景分类剪枝算法容易丢失重要特征信息的问题,提出一种基于滤波器相似性剪枝的声学场景分类方法。以滤波器自身相似性为基础,采用余弦距离和欧氏距离度量距离融合的方法生成相似矩阵判断滤波器重... 为解决场景分类系统模型复杂度高且现有场景分类剪枝算法容易丢失重要特征信息的问题,提出一种基于滤波器相似性剪枝的声学场景分类方法。以滤波器自身相似性为基础,采用余弦距离和欧氏距离度量距离融合的方法生成相似矩阵判断滤波器重要性并消除冗余滤波器。为提高分类器的泛化性,在网络输出端用决策森林后处理并构建网络。实验结果表明,所提方法能够有效在降低模型复杂度的基础上提升分类精度和系统泛化性,尤其是当消除参数较多时,所提方法特别有利。 展开更多
关键词 声学场景分类 卷积神经网络 滤波器相似性 相似矩阵 滤波器剪枝 参数微调 决策森林
在线阅读 下载PDF
基于CNN和迁移学习的农作物病害识别方法研究 被引量:43
20
作者 李淼 王敬贤 +6 位作者 李华龙 胡泽林 杨选将 黄小平 曾伟辉 张建 房思思 《智慧农业》 2019年第3期46-55,共10页
互联网是一个巨大的资源库,也是一个丰富的知识库。针对农作物小样本引起的过拟合问题,本研究引入了知识迁移和深度学习的方法,采用互联网公开的ImageNet图像大数据集和PlantVillage植物病害公共数据集,以实验室的黄瓜和水稻病害数据集A... 互联网是一个巨大的资源库,也是一个丰富的知识库。针对农作物小样本引起的过拟合问题,本研究引入了知识迁移和深度学习的方法,采用互联网公开的ImageNet图像大数据集和PlantVillage植物病害公共数据集,以实验室的黄瓜和水稻病害数据集AES-IMAGE为对象开展相关的研究与试验。首先将批归一化算法应用于卷积神经网络CNN中的AlexNet和VGG模型,改善网络的过拟合问题;再利用PlantVillage植物病害数据集得到预训练模型,在改进的网络模型AlexNet和VGG模型上用AES-IMAGE对预训练模型参数调整后进行病害识别。最后,使用瓶颈层特征提取的迁移学习方法,利用ImageNet大数据集训练出的网络参数,将Inception-v3和Mobilenet模型作为特征提取器,进行黄瓜和水稻病害特征提取。本研究结合试验结果探讨了适用于农作物病害识别问题的最佳网络和对应的迁移策略,表明使用VGG网络参数微调的策略可获得的最高准确率为98.33%,使用Mobilenet瓶颈层特征提取的策略可获得96.8%的验证准确率。证明CNN结合迁移学习可以利用充分网络资源来克服大样本难以获取的问题,提高农作物病害识别效率。 展开更多
关键词 CNN 农作物病害 过度拟合 迁移学习 参数微调 特征提取器
在线阅读 下载PDF
上一页 1 2 下一页 到第
使用帮助 返回顶部