摘要
针对传统的文档相关性识别方法在训练过程中文档信息提取不充分的问题,提出一种互信息最大化框架下的深度学习方法。涉及一个无监督学习过程,使用全局和局部互信息学习文档表示,最大化神经网络的输入表示和输出表示之间的互信息,提取更为丰富的文档内容和结构信息,优化模型预测结果。经过在多项任务上的评估,实验结果表明了该方法的可行性和有效性,与一些传统的方法相比,其在准确度上有相当或更好的表现。
To address the issue of inadequate information extraction from documents during the training process of traditional document relevance identification methods,a deep learning method based on maximizing mutual information was proposed.An unsupervised learning process that utilized global and local mutual information to learn document representations was involved,with the aim of maximizing the mutual information between the input and output representations of the neural network.The extraction of more comprehensive document content and structural information was enabled,resulting in improved model prediction results.Evaluation on multiple tasks demonstrates the feasibility and effectiveness of the proposed method which performs comparably or even better in accuracy than that of some traditional methods.
作者
陆敏锋
张启飞
卢成浪
吴菁
LU Min-feng;ZHANG Qi-fei;LU Cheng-lang;WU Jing(School of Modern Information Technology,Zhejiang Institute of Mechanical and Electrical Engineering,Hangzhou 310053,China;School of Software Technology,Zhejiang University,Ningbo 315048,China)
出处
《计算机工程与设计》
北大核心
2024年第9期2712-2718,共7页
Computer Engineering and Design
基金
教育部人文社科研究青年基金项目(21YJCZH096)
杭州市哲学社会科学规划课题基金项目(M22JC067)。
关键词
互信息
文档表示
文档相关性
最大化
无监督学习
残差网络
全局特征
mutual information
document representation
document relevance
maximization
unsupervised learn
residual network
global feature
作者简介
陆敏锋(1983-),男,浙江杭州人,硕士,讲师,研究方向为深度学习、自然语言处理等,E-mail:luminfeng@zime.edu.cn;张启飞(1984-),男,浙江宁波人,博士,副教授,研究方向为深度学习、可信计算等;卢成浪(1982-),男,浙江温州人,博士,副教授,研究方向为信息检索、自然语言处理等;吴菁(1973-),女,浙江永康人,硕士,副教授,研究方向为深度学习、文本挖掘等。
