-
题名面向文本推理的知识增强预训练语言模型
被引量：4
- 1
-
-
作者
熊凯
杜理
丁效
刘挺
秦兵
付博
-
机构
哈尔滨工业大学社会计算与信息检索研究中心
建信金融科技有限责任公司基础技术中心
-
出处
《中文信息学报》
CSCD
北大核心
2022年第12期27-35,共9页
-
基金
科技创新2030——“新一代人工智能”重大项目(2018AAA0101901)
国家自然科学基金(62176079,61976073)。
-
文摘
该文聚焦于利用丰富的知识对预训练语言模型进行增强以进行文本推理。预训练语言模型虽然在大量的自然语言处理任务上达到了很高的性能表现,具有很强的语义理解能力,但是大部分预训练语言模型自身包含的知识很难支撑其进行更高效的文本推理。为此,该文提出了一个知识增强的预训练语言模型进行文本推理的框架,使得图以及图结构的知识能够更深入地与预训练语言模型融合。在文本推理的两个子任务上,该文框架的性能超过了一系列的基线方法,实验结果和分析验证了模型的有效性。
-
关键词
文本推理
事理图谱
知识图谱
预训练语言模型
-
Keywords
textual inference
eventic graph
knowledge graph
pre-trained language model
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名脉冲神经网络研究现状与应用进展
被引量：4
- 2
-
-
作者
刘浩
柴洪峰
孙权
云昕
李鑫
-
机构
建信金融科技有限责任公司基础技术中心
复旦大学计算机科学技术学院
复旦大学金融科技研究院
中国银联股份有限公司金融科技研究院
上海大学悉尼工商学院
-
出处
《中国工程科学》
CSCD
北大核心
2023年第6期61-79,共19页
-
基金
国家重点研发计划项目(2021YFC3300600)
中国工程院咨询项目“数字化转型背景下金融风险监测与预警体系战略研究”(2023-XY-43)
+1 种基金
国家自然科学基金项目(72201161)
长三角科技创新共同体联合攻关项目(2022CSJGG0800,2021-YF09-00114-GX,PO3522083587,PO3522083675,HP2300490)。
-
文摘
脉冲神经网络(SNN)是更具生物可解释性的新一代人工神经网络,具有独特的信息编码处理方式、丰富的时空动力学特性、低功耗事件驱动工作模式等优势,近年来受到广泛关注并在医疗健康、工业检测、智能驾驶等方向获得探索性应用。本文介绍了SNN的基本要素和学习算法,包括经典的神经元模型、突触可塑性机制、常用的信息编码方式,分析了各类学习算法的优缺点,总结了主流的SNN软件模拟器、脉冲神经形态硬件的研究情况;细致梳理了SNN在计算机视觉、自然语言处理、推理决策等方面的研究以及行业应用场景,发现SNN在目标检测、动作识别、语义认知、语音识别等任务中具有突出的潜力,显著提升了相应的计算性能。我国在SNN领域的研究与应用发展,重在加强关键核心技术攻关、推动技术成果转化应用、持续优化产业生态格局,以尽快实现与国际先进水平的接轨;类脑复杂系统、类脑控制等理论与方法的深入研究和逐步突破,也将促进大规模SNN新模型的构建,有望拓展人工智能的更广阔应用前景。
-
关键词
脉冲神经网络
类脑计算
学习算法
神经形态芯片
应用场景
-
Keywords
spiking neural network
brain-inspired computing
learning algorithm
neuromorphic chip
application scenario
-
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
-
