期刊文献+
共找到8篇文章
< 1 >
每页显示 20 50 100
基于多模态对比学习的代码表征增强预训练方法 被引量:2
1
作者 杨宏宇 马建辉 +2 位作者 侯旻 沈双宏 陈恩红 《软件学报》 EI CSCD 北大核心 2024年第4期1601-1617,共17页
代码表征旨在融合源代码的特征,以获取其语义向量,在基于深度学习的代码智能中扮演着重要角色.传统基于手工的代码表征依赖领域专家的标注,繁重耗时,且无法灵活地复用于特定下游任务,这与绿色低碳的发展理念极不相符.因此,近年来,许多... 代码表征旨在融合源代码的特征,以获取其语义向量,在基于深度学习的代码智能中扮演着重要角色.传统基于手工的代码表征依赖领域专家的标注,繁重耗时,且无法灵活地复用于特定下游任务,这与绿色低碳的发展理念极不相符.因此,近年来,许多自监督学习的编程语言大规模预训练模型(如CodeBERT)应运而生,为获取通用代码表征提供了有效途径.这些模型通过预训练获得通用的代码表征,然后在具体任务上进行微调,取得了显著成果.但是,要准确表示代码的语义信息,需要融合所有抽象层次的特征(文本级、语义级、功能级和结构级).然而,现有模型将编程语言仅视为类似于自然语言的普通文本序列,忽略了它的功能级和结构级特征.因此,旨在进一步提高代码表征的准确性,提出了基于多模态对比学习的代码表征增强的预训练模型(representation enhanced contrastive multimodal pretraining,REcomp).REcomp设计了新的语义级-结构级特征融合算法,将它用于序列化抽象语法树,并通过多模态对比学习的方法将该复合特征与编程语言的文本级和功能级特征相融合,以实现更精准的语义建模.最后,在3个真实的公开数据集上进行了实验,验证了REcomp在提高代码表征准确性方面的有效性. 展开更多
关键词 代码表征 预训练模型 多模态 对比学习
在线阅读 下载PDF
基于图核同构网络的图分类方法 被引量:2
2
作者 徐立祥 葛伟 +1 位作者 陈恩红 罗斌 《计算机研究与发展》 EI CSCD 北大核心 2024年第4期903-915,共13页
图表示学习已成为图深度学习领域的一个研究热点.大多数图神经网络存在过平滑现象,这类方法重点关注图节点特征,对图的结构特征关注度不高.为了提升对图结构特征的表征能力,提出了一种基于图核同构网络的图分类方法,即KerGIN.该方法首... 图表示学习已成为图深度学习领域的一个研究热点.大多数图神经网络存在过平滑现象,这类方法重点关注图节点特征,对图的结构特征关注度不高.为了提升对图结构特征的表征能力,提出了一种基于图核同构网络的图分类方法,即KerGIN.该方法首先通过图同构网络(graph isomorphism network,GIN)对图进行节点特征编码,并使用图核方法对图进行结构编码,进一步利用Nystrom方法降低图核矩阵的维度.其次借助MLP将图核矩阵与图特征矩阵对齐,通过注意力机制将图的特征编码和结构编码进行自适应加权融合,进而得到图的最终特征表示,提升了图结构特征信息的表达能力.最后在7个公开的图分类数据集上对模型进行了实验评估:与现有图表示模型相比,KerGIN模型能够在图分类准确度上有较大幅度提升,它可以增强GIN对图结构特征信息的表达能力. 展开更多
关键词 图分类 图神经网络 图核 NYSTROM方法 图注意力机制
在线阅读 下载PDF
部首感知的中文医疗命名实体识别 被引量:15
3
作者 李丹 徐童 +2 位作者 郑毅 王喆锋 陈恩红 《中文信息学报》 CSCD 北大核心 2020年第12期54-64,共11页
人工智能技术的发展推动了医疗领域的智能化,为提升医疗效率、改善医疗水平提供了新的助力。同时,这一新的趋势也催生了海量的电子病历文本,其所蕴含的丰富信息具有巨大的潜在挖掘与应用价值。然而,当前中文电子病历的命名实体识别研究... 人工智能技术的发展推动了医疗领域的智能化,为提升医疗效率、改善医疗水平提供了新的助力。同时,这一新的趋势也催生了海量的电子病历文本,其所蕴含的丰富信息具有巨大的潜在挖掘与应用价值。然而,当前中文电子病历的命名实体识别研究工作并没有全面考虑中文及中文医疗领域的特殊性,而是将面向通用数据集的模型迁移到医疗领域的实体类型中,分析效果较为有限。针对这一问题,该文设计了长短期记忆网络与条件随机场的联合模型并引入BERT模型;在此基础之上,考虑到医疗领域命名实体鲜明的部首特征,通过将部首信息编码到字向量中,并且结合部首信息修改条件随机场层得分函数的计算方式,有效地提升了医疗领域命名实体的抽取能力。通过两项电子病历数据集的实验结果表明,该文提出的模型整体效果略高于通用的实体识别模型,并对疾病诊断等特定类型的实体词的识别效果具有较为明显的提升。 展开更多
关键词 命名实体识别 长短期记忆网络 条件随机场 BERT
在线阅读 下载PDF
基于深度神经网络结构的互联网金融市场动态预测 被引量:23
4
作者 赵洪科 吴李康 +3 位作者 李徵 张兮 刘淇 陈恩红 《计算机研究与发展》 EI CSCD 北大核心 2019年第8期1621-1631,共11页
近些年,互联网金融市场在国内外迅速发展;同时,针对互联网金融市场的研究也成为了学术界的热点.相比于传统金融市场,互联网金融市场具有更高的流动性和易变性.针对互联网金融市场的动态(日交易量和日交易次数)进行研究,提出了基于深度... 近些年,互联网金融市场在国内外迅速发展;同时,针对互联网金融市场的研究也成为了学术界的热点.相比于传统金融市场,互联网金融市场具有更高的流动性和易变性.针对互联网金融市场的动态(日交易量和日交易次数)进行研究,提出了基于深度神经网络结构的融合层次时间序列学习的预测模型.首先,该模型可以实现对多序列(市场宏观动态序列和多种子序列)特征变量输入的处理,并且在时间和序列特征2个维度上利用注意力机制来融合输入变量.其次,模型设计了基于预测序列平稳性约束的优化函数,使得模型具有更好的稳健性.最后,在真实的大规模数据集上进行了大量的实验,结果充分证明了所提出的模型在互联网金融市场动态预测问题上的有效性与稳健性. 展开更多
关键词 互联网金融 时间序列 动态预测 深度神经网络 序列建模
在线阅读 下载PDF
基于信任机制下概率矩阵分解的用户评分预测 被引量:10
5
作者 杜东舫 徐童 +3 位作者 鲁亚男 管楚 刘淇 陈恩红 《软件学报》 EI CSCD 北大核心 2018年第12期3747-3763,共17页
互联网的蓬勃发展,在为用户提供便利的同时,其海量信息也为用户选择造成了困难,基于用户理解的信息推荐服务正成为应时之需.相较于面向单个用户信息的传统推荐技术,基于社交信息的推荐技术通过引入影响力建模,可以更真实地还原用户属性... 互联网的蓬勃发展,在为用户提供便利的同时,其海量信息也为用户选择造成了困难,基于用户理解的信息推荐服务正成为应时之需.相较于面向单个用户信息的传统推荐技术,基于社交信息的推荐技术通过引入影响力建模,可以更真实地还原用户属性及行为.然而,已有的社交推荐技术往往停留于对用户影响的笼统归纳,并没有对其内在机制进行清晰分类和量化.针对这一问题,通过对用户评分行为中的信任关系进行分析,着重研究了信任用户间接影响用户偏好和直接影响用户评分两种不同机制,进而提出了基于用户间信任关系融合建模的概率矩阵分解模型TPMF,从而实现对上述两种机制的有效融合.在此基础之上,针对不同用户受两种机制影响权重不同的问题,通过借助评分相关性对用户进行聚类并映射到相应权重,实现了用户模型参数的个性化选择.公开数据集的多项实验结果表明:提出的TPMF及其衍生算法在各项指标上优于现有代表性算法,验证了所提出的影响机制及技术框架的有效性. 展开更多
关键词 聚类分析 概率矩阵分解 推荐系统 信任关系
在线阅读 下载PDF
基于动静态表征的众筹协同预测方法 被引量:3
6
作者 张凯 赵洪科 +2 位作者 刘淇 潘镇 陈恩红 《软件学报》 EI CSCD 北大核心 2020年第4期967-980,共14页
众筹是一个新兴的互联网金融平台,项目的发起者可以通过使用互联网,征求大量平台用户的资金来资助他们的项目.但是由于众筹平台所具有的独特规则,只有在特定时间内收集了足够的资金,项目的筹资才会成功进行交易.为了防止项目发起者和投... 众筹是一个新兴的互联网金融平台,项目的发起者可以通过使用互联网,征求大量平台用户的资金来资助他们的项目.但是由于众筹平台所具有的独特规则,只有在特定时间内收集了足够的资金,项目的筹资才会成功进行交易.为了防止项目发起者和投资者在可能失败的项目上浪费时间和精力,动态追踪众筹项目的筹资过程以及估算其融资成功概率便极为重要.然而,现有的一些工作既没有针对动态预测跟踪机制的研究,也没有考虑平台上的项目发起者和投资者之间的动态行为交互.为了解决这些问题,基于长短期记忆网络设计了一种新颖的动静态协同预测模型.该模型着重分析了用户行为,包括评论的情绪倾向以及融资过程中的动态增量信息,从而将融资项目与投资人之间的交互行为进行深度挖掘分析.首先,针对平台上的静态特征和动态用户行为数据,通过不同的Embedding方法得到他们的深度表征.在此基础上,进一步设计了基于注意力机制的协同预测模型,以便了解项目融资的时序信息对最终结果的影响程度.最后,在真实的众筹数据集上进行的大量实验结果表明,所提出的动静态表征预测方法相比其他预测方法更为有效. 展开更多
关键词 动态追踪 用户行为分析 深度语义表征 注意力机制 长短期记忆网络
在线阅读 下载PDF
实值优化问题的非对称负相关搜索算法 被引量:2
7
作者 于润龙 赵洪科 +4 位作者 汪中 叶雨扬 张培宁 刘淇 陈恩红 《计算机研究与发展》 EI CSCD 北大核心 2019年第8期1746-1757,共12页
现实世界中的许多应用与实值优化问题紧密相关.为了求解复杂的实值优化问题,一些研究工作提出不同的元启发式假设并设计相应的搜索策略.在搜索解空间过程中,如何平衡探索解空间新区域(多样化)与实现优质解利用(集约化)之间的关系,是提... 现实世界中的许多应用与实值优化问题紧密相关.为了求解复杂的实值优化问题,一些研究工作提出不同的元启发式假设并设计相应的搜索策略.在搜索解空间过程中,如何平衡探索解空间新区域(多样化)与实现优质解利用(集约化)之间的关系,是提高元启发式搜索算法性能的关键因素之一.特别地,负相关搜索(negatively correlated search, NCS)通过在搜索进程中引入负相关的搜索趋势,促进了解的多样性,有效改进了并行爬山算法的搜索性能.负相关搜索将每一个搜索进程的搜索行为建模为概率分布,在此基础上,根据搜索进程的搜索范围的相对大小,将搜索行为进一步划分为全局搜索行为和局部搜索行为.然后提出一种新的元启发式搜索算法,即非对称负相关搜索(negatively correlated search with asymmetry, NSA),它假设具有全局搜索行为的搜索进程应尽可能远离具有局部搜索行为的搜索进程.得益于搜索进程之间非对称的负相关的搜索趋势,提出的算法相比负相关搜索拥有更优的搜索效率.实验结果表明:相比成熟的搜索方法,非对称负相关搜索在20个多模态实值优化问题上取得了最佳的整体性能. 展开更多
关键词 复杂实值优化问题 探索与利用 并行爬山算法 负相关搜索 搜索行为
在线阅读 下载PDF
可信的端到端深度学生知识画像建模方法 被引量:6
8
作者 王士进 吴金泽 +3 位作者 张浩天 沙晶 黄振亚 刘淇 《计算机研究与发展》 EI CSCD 北大核心 2023年第8期1822-1833,共12页
学生知识画像是对学生在不同知识概念掌握程度的全面精准的表示.通常,智能教育系统中使用知识追踪方法,基于显式的学生交互数据,对学生在某些知识概念的隐式掌握程度进行建模.然而知识追踪方法的预测结果与学生知识画像存在着时序、预... 学生知识画像是对学生在不同知识概念掌握程度的全面精准的表示.通常,智能教育系统中使用知识追踪方法,基于显式的学生交互数据,对学生在某些知识概念的隐式掌握程度进行建模.然而知识追踪方法的预测结果与学生知识画像存在着时序、预测粒度不一致的情况,导致其产生的学生知识画像不可信.对此,首先基于端到端的学生知识掌握度预测目标定义并形式化学生知识画像预测任务,然后提出了一种深度知识画像(deep knowledge portrait, DKP)模型.该方法首先在知识粒度上学习交互表征,引入了知识难度、知识概念等特征在知识粒度上区分交互;然后,采用双向长短时记忆网络基于学生历史交互序列,建模学生知识状态变化.最后针对待预测知识概念,使用了多头注意力池化层强化历史序列中的相关交互以进行该概念下的学生掌握度预测.在3个真实的数据集上的实验结果表明,所提出的方法更适合学生知识画像预测任务从而获得更可信的学生知识画像,并在各项性能上超过了现有的方法. 展开更多
关键词 学生知识画像 知识追踪 智能教育 数据挖掘 深度学习
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部