-
题名基于大语言模型的多输入中文拼写纠错方法
被引量：2
- 1
-
-
作者
马灿
黄瑞章
任丽娜
白瑞娜
伍瑶瑶
-
机构
文本计算与认知智能教育部工程研究中心(贵州大学)
贵州大学计算机科学与技术学院
贵州轻工职业技术学院信息工程系
-
出处
《计算机应用》
北大核心
2025年第3期849-855,共7页
-
基金
国家自然科学基金资助项目(62066007)
贵州省科技支撑计划项目(2022277)。
-
文摘
中文拼写纠错(CSC)是自然语言处理(NLP)中的一项重要研究任务,现有的基于大语言模型(LLM)的CSC方法由于LLM的生成机制,会生成和原文存在语义偏差的纠错结果。因此,提出基于LLM的多输入CSC方法。该方法包含多输入候选集合构建和LLM纠错两阶段:第一阶段将多个小模型的纠错结果构建为多输入候选集合;第二阶段使用LoRA(Low-Rank Adaptation)对LLM进行微调,即借助LLM的推理能力,在多输入候选集合中预测出没有拼写错误的句子作为最终的纠错结果。在公开数据集SIGHAN13、SIGHAN14、SIGHAN15和修正后的SIGHAN15上的实验结果表明,相较于使用LLM直接生成纠错结果的方法Prompt-GEN-1,所提方法的纠错F1值分别提升了9.6、24.9、27.9和34.2个百分点,相较于表现次优的纠错小模型,所提方法的纠错F1值分别提升了1.0、1.1、0.4和2.4个百分点,验证了所提方法能提升CSC任务的效果。
-
关键词
中文拼写纠错
大语言模型
模型集成
模型微调
提示学习
-
Keywords
Chinese Spelling Correction(CSC)
Large Language Model(LLM)
model ensemble
model fine-tuning
prompt learning
-
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
-
-
题名融合位置编码的中文拼写纠错方法
被引量：1
- 2
-
-
作者
赵建辉
林川
任丽娜
黄瑞章
-
机构
贵州大学计算机科学与技术学院
贵州轻工职业技术学院信息工程系
贵州大学
-
出处
《计算机工程与设计》
北大核心
2024年第9期2844-2851,共8页
-
基金
国家自然科学基金项目(62066007)
贵州省科技支撑计划基金项目(黔科合支撑【2022】一般277)。
-
文摘
在中文拼写纠错任务中,字符在文本中的距离信息和顺序信息是重要的特征,因此位置编码至关重要。传统的位置编码无法区分字符的前后联系,此外二阶段方式的纠错方案存在错误传播问题。针对上述问题,提出一种多任务学习下融合位置编码的中文拼写纠错方法,使用融合位置编码更好地为模型提供位置信息;使用多任务学习机制缓解错误传播问题,提升模型泛化能力。针对公开数据集进行实验,实验结果在F1值方面有稳定提升,验证了所提方法的有效性。
-
关键词
中文拼写纠错
距离信息
顺序信息
位置编码
错误传播
融合位置编码
多任务学习
-
Keywords
Chinese spelling error correction
distance information
order information
position encoding
error propagation
fusion position encoding
multi-task learning
-
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
-
-
题名基于多层子空间语义融合的深度文本聚类
被引量：4
- 3
-
-
作者
任丽娜
秦永彬
黄瑞章
姚茂宣
-
机构
贵州轻工职业技术学院信息工程系
贵州大学计算机科学与技术学院
公共大数据国家重点实验室
-
出处
《计算机应用研究》
CSCD
北大核心
2023年第1期70-74,79,共6页
-
基金
国家自然科学基金通用联合基金重点资助项目(U1836205)
国家自然科学基金资助项目(62066007,62066008)
贵州轻工职业技术学院院级课题资助项目(21QY07)。
-
文摘
针对传统深度文本聚类方法仅利用中间层的文本语义表示进行聚类,没有考虑到不同层次的神经网络学习到的不同文本语义表示以及中间层低维表示的特征稠密难以有效区分类簇的问题,提出一种基于多层次子空间语义融合的深度文本聚类(deep document clustering via muti-layer subspace semantic fusion,DCMSF)模型。该模型首先利用深度自编码器提取出文本不同层次的潜在语义表示;其次,设计一种多层子空间语义融合策略将不同层的语义表示非线性映射到不同子空间以得到融合语义,并用其进行聚类。另外,利用子空间聚类的自表示损失设计一种联合损失函数,用于监督模型参数更新。实验结果表明,DCMSF方法在性能上优于当前已有的多种主流深度文本聚类算法。
-
关键词
文本聚类
深度聚类
自编码器
语义表示
-
Keywords
text clustering
deep clustering
autoencoder
semantic representation
-
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
-
