典型大数据计算框架分析 被引量：21

1

作者 赵晟 姜进磊 《中兴通讯技术》 2016年第2期14-18,共5页

认为大数据计算技术已逐渐形成了批量计算和流计算两个技术发展方向。批量计算技术主要针对静态数据的离线计算,吞吐量好,但是不能保证实时性;流计算技术主要针对动态数据的在线实时计算,时效性好,但是难以获取数据全貌。从可扩展性、... 认为大数据计算技术已逐渐形成了批量计算和流计算两个技术发展方向。批量计算技术主要针对静态数据的离线计算,吞吐量好,但是不能保证实时性;流计算技术主要针对动态数据的在线实时计算,时效性好,但是难以获取数据全貌。从可扩展性、容错性、任务调度、资源利用率、时效性、输入输出(IO)等方面对现有的主流大数据计算框架进行了分析与总结,指出了未来的发展方向和研究热点。 展开更多

关键词 大数据分类 大数据计算 批量计算 流计算 计算框架

在线阅读 下载PDF 职称材料

基于大数据计算的网络工程虚拟单元多点控制系统设计 被引量：1

2

作者 王辰阳 李汉宁 李恒武 《现代电子技术》 2021年第15期44-48,共5页

针对目前研究的网络工程虚拟单元多点控制系统控制有效率低,控制时间过长的现状,设计了一种基于大数据计算的网络工程虚拟单元多点控制系统。在硬件设计中按照不同的硬件元件操作模式设置相应的操作模块达到研究目的,并集中数据转化力度... 针对目前研究的网络工程虚拟单元多点控制系统控制有效率低,控制时间过长的现状,设计了一种基于大数据计算的网络工程虚拟单元多点控制系统。在硬件设计中按照不同的硬件元件操作模式设置相应的操作模块达到研究目的,并集中数据转化力度,调整控制系统中的空间状态,获取较为良好的硬件操作环境基础;软件设计中结合大数据计算方案,加大控制系统数据计算力度,寻求最佳控制参数,完成整体系统设计。实验结果表明,基于大数据计算的网络工程虚拟单元多点控制系统能够在短时间内较为精准地实现控制,具有很好的控制效果,可用于实际操作。 展开更多

关键词 多点控制系统 网络工程 虚拟单元 大数据计算 控制参数 数据转化 空间状态调整

在线阅读 下载PDF 职称材料

大数据流式计算:关键技术及系统实例 被引量：320

3

作者 孙大为 张广艳 郑纬民 《软件学报》 EI CSCD 北大核心 2014年第4期839-862,共24页

大数据计算主要有批量计算和流式计算两种形态,目前,关于大数据批量计算系统的研究和讨论相对充分,而如何构建低延迟、高吞吐且持续可靠运行的大数据流式计算系统是当前亟待解决的问题且研究成果和实践经验相对较少.总结了典型应用领域... 大数据计算主要有批量计算和流式计算两种形态,目前,关于大数据批量计算系统的研究和讨论相对充分,而如何构建低延迟、高吞吐且持续可靠运行的大数据流式计算系统是当前亟待解决的问题且研究成果和实践经验相对较少.总结了典型应用领域中流式大数据所呈现出的实时性、易失性、突发性、无序性、无限性等特征,给出了理想的大数据流式计算系统在系统结构、数据传输、应用接口、高可用技术等方面应该具有的关键技术特征,论述并对比了已有的大数据流式计算系统的典型实例,最后阐述了大数据流式计算系统在可伸缩性、系统容错、状态一致性、负载均衡、数据吞吐量等方面所面临的技术挑战. 展开更多

关键词 大数据计算 流式计算 流式大数据 内存计算 系统实例

在线阅读 下载PDF 职称材料

互联网时代计算机安全防线建构与管理——评《云计算与大数据技术理论及应用》 被引量：9

4

作者 王岩 《安全与环境学报》 CAS CSCD 北大核心 2019年第6期2246-2246,共1页

在互联网时代,计算机基本上都与互联网连接,通过互联网发送和接收信息,信息安全防线的建构是必要的。尤其是大数据和云计算技术出现之后,越来越多的个人和企业都将自己的信息保存在云端,并且使用大数据技术进行处理,大数据和云计算涉及... 在互联网时代,计算机基本上都与互联网连接,通过互联网发送和接收信息,信息安全防线的建构是必要的。尤其是大数据和云计算技术出现之后,越来越多的个人和企业都将自己的信息保存在云端,并且使用大数据技术进行处理,大数据和云计算涉及的数据信息是海量的,对于企业、社会和安全影响更大,这就意味着计算机安全防护要求更高,难度更大。因此,在互联网时代,建构更有效的安全防护管理体制是必要的,也是重要的。 展开更多

关键词 互联网时代 信息安全 信息保存 大数据技术 大数据和云计算 云计算与大数据 互联网连接 安全防线

在线阅读 下载PDF 职称材料

过程工业大数据建模研究展望 被引量：94

5

作者 刘强 秦泗钊 《自动化学报》 EI CSCD 北大核心 2016年第2期161-171,共11页

人们对大数据的认识已从"3Vs"(Volume—大容量;Variety—多样性;Velocity—处理实时性)、"4Vs"("3Vs"与Value—价值)、到现今的"5Vs"("4Vs"与Veracity—真实性).在此背景下,首先分... 人们对大数据的认识已从"3Vs"(Volume—大容量;Variety—多样性;Velocity—处理实时性)、"4Vs"("3Vs"与Value—价值)、到现今的"5Vs"("4Vs"与Veracity—真实性).在此背景下,首先分析过程工业大数据的"5Vs"特性;接下来,综述现有数据建模方法,并结合过程工业大数据特有性质(包括:多层面不规则采样性、多时空时间序列性、不真实数据混杂性)论述现有数据建模方法应用于工业大数据建模时的局限;最后,探讨过程工业大数据建模有待研究的问题,包括:1)多层面不规则采样数据的潜结构建模;2)用于事件发现、决策和因果分析的多时空时间序列数据建模;3)含有不真实数据的鲁棒建模;4)支持实时建模的大容量数据计算架构与方法. 展开更多

关键词 过程工业大数据 多层面数据潜结构建模 多时空时间序列数据建模 大数据计算架构

在线阅读 下载PDF 职称材料

数据依赖约束下的任务调度资源选择算法 被引量：5

6

作者 廖彬 于炯 +1 位作者 张陶 杨兴耀 《计算机应用》 CSCD 北大核心 2014年第8期2260-2266,共7页

大数据环境下的计算任务往往具有一定数据依赖性关系(如MapReduce),现有的分布式存储系统任务资源选择策略选择离请求者最近的数据块响应服务,忽略了对数据块所在服务器CPU、磁盘I/O与网络等资源负载状态的考虑。在分析研究系统集群结... 大数据环境下的计算任务往往具有一定数据依赖性关系(如MapReduce),现有的分布式存储系统任务资源选择策略选择离请求者最近的数据块响应服务,忽略了对数据块所在服务器CPU、磁盘I/O与网络等资源负载状态的考虑。在分析研究系统集群结构、文件分块、数据块存储机制的基础上,定义了集群节点矩阵、CPU负载矩阵、磁盘I/O负载矩阵、网络负载矩阵、文件分块矩阵、数据块存储矩阵与数据块存储节点状态矩阵,为任务与数据之间的依赖性构建了基础数据模型,提出了一种数据依赖约束下的最优资源选择算法(ORS2DC)。任务调度节点负责维护基础数据,MapReduce任务与数据块读取任务由于依赖资源不同而采取不同的选择策略。实验结果表明:所提算法能够为任务选择质量更高的资源,提高任务完成质量的同时减轻了NameNode负担,减小了单点故障发生的概率。 展开更多

关键词 大数据计算 分布式存储系统 任务调度 数据模型 资源选择

在线阅读 下载PDF 职称材料

工业大数据分析技术与轮胎销售数据预测 被引量：20

7

作者 李敏波 王海鹏 +1 位作者 陈松奎 廖倡 《计算机工程与应用》 CSCD 北大核心 2017年第11期100-109,共10页

工业大数据是在工业领域信息化应用中所产生的海量数据,作为决策问题服务的大数据集、大数据技术和大数据应用的总称。首先分析工业大数据4V特性与工业数据的特有特征,以及工业大数据来源;从多源异构工业数据集成与数据融合方法、工业... 工业大数据是在工业领域信息化应用中所产生的海量数据,作为决策问题服务的大数据集、大数据技术和大数据应用的总称。首先分析工业大数据4V特性与工业数据的特有特征,以及工业大数据来源;从多源异构工业数据集成与数据融合方法、工业大数据计算架构、大数据带来的信息安全等三方面论述工业大数据面临的挑战与潜在价值。探讨了工业大数据分析与挖掘方法,提出了工业大数据平台的计算架构与大数据处理平台,构建轮胎企业大数据资源中心、大数据分析与决策应用系统。从销售数据分析和宏观数据趋势两个层面进行轮胎销售大数据分析与预测。采用多个不同领域的销售数据源来解决销售预测历史数据特征空间稀疏的问题,使用LASSO(The Least Absolute Shrinkage and Selectionator Operator)方法的多任务学习方法来解决高维样本空间的缺点,实验数据验证能够提升轮胎销售预测的准确率。 展开更多

关键词 大数据 工业大数据 工业大数据计算架构 销售预测

在线阅读 下载PDF 职称材料

ECLHadoop:基于Hadoop的有效电子商务物流大数据处理策略 被引量：13

8

作者 魏斐翡 《计算机工程与科学》 CSCD 北大核心 2013年第10期65-71,共7页

随着云计算的快速发展,越来越多的电子商务服务应用面临处理大数据的要求,例如电子商务物流服务中顾客通过社会媒体发布而产生的大量数据。为提高电子商务物流大数据的处理效率,基于Hadoop设计了一种称为ECLHadoop的有效电子商务物流大... 随着云计算的快速发展,越来越多的电子商务服务应用面临处理大数据的要求,例如电子商务物流服务中顾客通过社会媒体发布而产生的大量数据。为提高电子商务物流大数据的处理效率,基于Hadoop设计了一种称为ECLHadoop的有效电子商务物流大数据处理策略,通过将相关的数据块放入相同的数据节点,进而达到降低MapReduce I/O代价的目的,尤其是降低shuffling阶段的I/O代价。仿真实验结果显示,基于Hadoop的ECLHadoop大数据处理策略能够较好地进行电子商务物流服务中的数据密集型分析,提高电子商务物流大数据计算效率。 展开更多

关键词 大数据 数据放置 大数据分析 大数据计算策略 电子商务物流

在线阅读 下载PDF 职称材料

并发式Spark消息分发器

9

作者 何玉林 林泽杰 +2 位作者 徐毓阳 成英超 黄哲学 《深圳大学学报(理工版)》 北大核心 2025年第3期317-325,I0012,I0013,共11页

在大数据计算框架Spark中,驱动器采用迭代式消息分发机制,会增加任务提交的时间开销,影响任务执行的启动时间,限制了任务执行的并发性,导致多个执行器处于空闲等待状态,造成计算资源的浪费.使用线程池调度策略,构建一种高效且轻量级的... 在大数据计算框架Spark中,驱动器采用迭代式消息分发机制,会增加任务提交的时间开销,影响任务执行的启动时间,限制了任务执行的并发性,导致多个执行器处于空闲等待状态,造成计算资源的浪费.使用线程池调度策略,构建一种高效且轻量级的并发式Spark消息分发器.与迭代式Spark消息分发器不同,并发式消息分发器更加关注且更适合调度开销较大的细粒度任务作业,通过解析包含执行器重要信息的元数据,获取任务列表及各个任务对应的执行器标识,创建线程池并为每个任务启动异步计算,从而实现并发式任务分发,在保证系统稳定和任务顺利执行的前提下,最大程度地减少任务分发的时间开销.在虚拟机构建的仿真集群环境上,通过与迭代式消息分发器进行对比,证实了并发式消息分发器的良好效果.实验结果表明,在内存保持不变的前提下,并发式Spark消息分发器可减少约9%的任务执行时间,同时能提高约5%的中央处理器的利用率.并发式Spark消息分发器有效解决了迭代式消息分发机制针对细粒度任务分发的时间开销过大和计算资源浪费的问题. 展开更多

关键词 并行处理 大数据计算 Spark通信机制 消息分发 细粒度任务 线程池调度

在线阅读 下载PDF 职称材料

基于大数据平台的网络日志机器行为分析 被引量：6

10

作者 陈涵 张仰森 +2 位作者 何梓源 祁浩家 黄改娟 《计算机工程与设计》 北大核心 2023年第7期2232-2241,共10页

为从海量日志中分析并提取可能存在的机器行为日志,应用概率统计和K-means算法对网络日志进行分析,提出基于多阶段层次化判别的ChenRF模型,共包含两部分内容,分别为基于特征规则和阈值匹配的机器行为判定模型与基于Bi-LSTMAttention的... 为从海量日志中分析并提取可能存在的机器行为日志,应用概率统计和K-means算法对网络日志进行分析,提出基于多阶段层次化判别的ChenRF模型,共包含两部分内容,分别为基于特征规则和阈值匹配的机器行为判定模型与基于Bi-LSTMAttention的机器行为识别模型。应用Spark批处理框架,对所提模型进行算法实现,构建以一小时为单位的分布式网络日志批处理分析平台。在1万和千万级别规模的数据上,对构建的大数据日志分析处理平台进行测试,验证了所提模型的有效性。 展开更多

关键词 网络日志 超文本传输协议 机器行为识别 数据分析与挖掘 深度学习 分布式存储技术 大数据计算技术

在线阅读 下载PDF 职称材料

电力系统对角加边模型的数据中心求解方法 被引量：6

11

作者 杨挺 向文平 +1 位作者 王洪涛 盆海波 《中国电机工程学报》 EI CSCD 北大核心 2015年第3期512-518,共7页

随着超大规模区域互联电网的发展,智能电子设备和相量测量单元广泛应用,如何实现对所产生的PB级大数据的高速处理成为完成实时(超实时)计算的关键。云计算作为一种新型的互联网计算模式,为实现电力系统大数据分析和复杂电网高效并行计... 随着超大规模区域互联电网的发展,智能电子设备和相量测量单元广泛应用,如何实现对所产生的PB级大数据的高速处理成为完成实时(超实时)计算的关键。云计算作为一种新型的互联网计算模式,为实现电力系统大数据分析和复杂电网高效并行计算提供了可能。针对电力系统基本计算单元对角加边模型(block bordered diagonal form,BBDF)和分解协调并行算法,提出一种低能耗数据中心的优化映射和并行计算方法。依据任务间计算耦合性,将分解协调并行算法进行拆分,并提出依据任务计算复杂度的任务到虚拟机偏好绑定放置方法。随后建立以虚拟机的CPU利用率、内存利用率为约束条件,以节能为目标的Bin-Packing模型,求解BBDF分解协调并行计算到数据中心映射的最优配置。通过Cloud Sim平台对IEEE 118节点电网模型和含有538节点和1133节点的大规模电网进行仿真计算。结果表明,应用虚拟机技术的数据中心计算在时间和系统能耗方面都优于传统单机多线程并行计算。IEEE 118节点算例计算时间降低42.32%,随着系统规模增大,1133节点实际电网计算时间降低75.8%。 展开更多

关键词 大数据复杂计算 云计算 对角加边模型 分解协调并行算法 数据中心 能量有效性

在线阅读 下载PDF 职称材料

大数据时代统计学发展的若干问题 被引量：33

12

作者 “大数据中的统计方法”课题组 马双鸽 《统计研究》 CSSCI 北大核心 2017年第1期5-11,共7页

近年来,计算机和互联网的发展使得人类信息的拥有量达到了前所未有的程度,各类信息被保存流通起来,人类进入了大数据时代。大数据具有规模性、多样性,高速性等特点,给统计学的发展带来了新的机遇,同时也带来了新的挑战。本文回顾了统计... 近年来,计算机和互联网的发展使得人类信息的拥有量达到了前所未有的程度,各类信息被保存流通起来,人类进入了大数据时代。大数据具有规模性、多样性,高速性等特点,给统计学的发展带来了新的机遇,同时也带来了新的挑战。本文回顾了统计学的发展历史,剖析了统计学的发展特点,在此基础上讨论了大数据背景下统计学的发展定位;并进一步分析统计学与计算机之间的关系,最后分析了大数据研究中存在的若干误区。 展开更多

关键词 大数据计算机 因果关系 抽样 数据质量

在线阅读 下载PDF 职称材料

面向I/O密集型应用的分离执行模型的实现与优化 被引量：2

13

作者 颜秉辉 安虹 +1 位作者 梁伟浩 陈俊仕 《小型微型计算机系统》 CSCD 北大核心 2019年第12期2619-2623,共5页

在众多科学大数据计算应用中,I/O性能已逐渐成为制约应用程序性能的主要瓶颈.然而随着硬件设备的更新与发展,现有高性能计算系统的计算性能与I/O性能差距逐渐增大.传统的以计算为中心的执行模型旨在利用内存和CPU的性能来解决I/O瓶颈问... 在众多科学大数据计算应用中,I/O性能已逐渐成为制约应用程序性能的主要瓶颈.然而随着硬件设备的更新与发展,现有高性能计算系统的计算性能与I/O性能差距逐渐增大.传统的以计算为中心的执行模型旨在利用内存和CPU的性能来解决I/O瓶颈问题.本文面向I/O密集型的科学大数据应用,实现并优化了新的执行模型--分离执行模型.该模型通过分离应用的计算操作与I/O操作,对I/O操作予以统一的管理和调度,以此来解决当前HPC系统上具有挑战性的应用I/O瓶颈问题.分离执行模型在架构上增加专门负责I/O操作的中间节点;在实现上利用消息传递模型(MPI)的I/O操作接口,重新定义并划分I/O操作流程.实验表明,该模型有效减少数据在网络中的传输,加快计算过程对数据的访问,从而提升10%至20%的I/O性能.其以数据为中心的架构模型思想对我国下一代高性能超级计算机系统结构研发设计具有参考意义. 展开更多

关键词 科学大数据计算应用 高性能计算 I/O性能 分离执行模型

在线阅读 下载PDF 职称材料

ABC时代人机结合的会计智能化路径研究 被引量：6

14

作者 罗莉 刘永春 《会计之友》 北大核心 2021年第12期142-147,共6页

文章从会计的社会性与技术性入手,分析当下会计所处环境的ABC技术特征。通过对国内外的人工智能与会计相关文献的梳理和企业管理软件供应商(SAP与用友)人工智能应用情况的分析,以及全球AI市场领先公司与AI产品的介绍,根据人工智能使复... 文章从会计的社会性与技术性入手,分析当下会计所处环境的ABC技术特征。通过对国内外的人工智能与会计相关文献的梳理和企业管理软件供应商(SAP与用友)人工智能应用情况的分析,以及全球AI市场领先公司与AI产品的介绍,根据人工智能使复杂任务自动化、能强化人的优势作用、能通过经济扩散推动创新的三大作用,设计了人机结合的会计智能化之路:会计复杂任务自动化、人机结合进行决策充分发挥人的优势、最终会计职能得到拓展。 展开更多

关键词 ABC(人工智能、大数据、云计算) 人机结合 会计智能化

在线阅读 下载PDF 职称材料

农村互联网金融:模式与发展形态 被引量：29

15

作者 贾立 汤敏 《西南金融》 2016年第9期7-11,共5页

农村互联网金融是基于移动技术、云计算、搜索引擎、社交网络等互联网技术,针对农村地区的相关主体,实现资金融通、移动支付、信息传递等功能的金融形式,是一种"互联网+金融+农村市场"的新模式。依据参与农村互联网金融的主... 农村互联网金融是基于移动技术、云计算、搜索引擎、社交网络等互联网技术,针对农村地区的相关主体,实现资金融通、移动支付、信息传递等功能的金融形式,是一种"互联网+金融+农村市场"的新模式。依据参与农村互联网金融的主体不同,本文将农村互联网金融归纳为四类模式并对比分析,认为我国农村互联网金融仍处于初级形态,即涉农金融机构与互联网企业既竞争,又合作,但是更多表现为重新分割农村金融市场的竞争格局,随着二者的深度融合,农村互联网金融将呈现跨界战略联盟形式的高级形态。 展开更多

关键词 农村金融 互联网金融 电商平台 农业供应链金融 普惠金融 P2P网贷助农平台 大数据与云计算

在线阅读 下载PDF 职称材料

互联网金融促进科技金融发展机制研究 被引量：10

16

作者 赵语 杜伟岸 李树娟 《西南金融》 2016年第12期39-43,共5页

互联网金融视角下,科技金融创新发展需突破三大瓶颈:一是投融资间的信息不对称;二是科技金融的风险评估与管控;三是科技金融创新服务体系的掣肘。互联网金融交互式平台有助于解决科技金融信息不对称问题,互联网金融大数据有利于科技金... 互联网金融视角下,科技金融创新发展需突破三大瓶颈:一是投融资间的信息不对称;二是科技金融的风险评估与管控;三是科技金融创新服务体系的掣肘。互联网金融交互式平台有助于解决科技金融信息不对称问题,互联网金融大数据有利于科技金融风险的识别与管理。互联网金融为科技金融创新在信息传递、融资渠道、风险控制和服务体系建设上提供了新的思维框架。通过推动互联网思维下的组织创新,构建互联网科技金融发展机制是解决科技金融创新深层次体制问题的有效途径。 展开更多

关键词 互联网金融平台 互联网金融监管 金融创新 科技金融 服务体系 金融支持 科技创新 多层次资本市场建设 大数据与云计算

在线阅读 下载PDF 职称材料

供给侧改革的实质、特性及其对商业银行的机遇与挑战——基于文献的质性分析与典型案例研究 被引量：6

17

作者 蔡宁伟 《西南金融》 2016年第10期31-34,共4页

供给侧改革是中央在"新常态"下,针对"三期叠加"的复杂环境提出的针对中国经济转型的改革良方。本文选取专家学者的十个代表性意见,通过质性分析的内容分析法,提取29个集中编码,发掘改革的深层内涵。在此基础上,结... 供给侧改革是中央在"新常态"下,针对"三期叠加"的复杂环境提出的针对中国经济转型的改革良方。本文选取专家学者的十个代表性意见,通过质性分析的内容分析法,提取29个集中编码,发掘改革的深层内涵。在此基础上,结合近年供给端的典型案例,尝试归纳供给侧改革客观、全面、针对、战略、贯通等五大特性。结合金融业的实际,按照短、中、长期来探讨商业银行的主要机遇和挑战,从而更好地管控各类风险,密切与企业的伙伴关系,破解小微企业的金融服务难题。最后,从宏观、中观、微观三个层次提出了若干建议。 展开更多

关键词 供给侧改革 混业监管 商业银行经营管理 混业经营 商业银行经营转型 大数据与云计算 金融服务实体经济

在线阅读 下载PDF 职称材料

对智能化时代的高校科研的若干思考 被引量：2

18

作者 龚克 《研究与发展管理》 CSSCI 北大核心 2022年第4期5-8,共4页

经过60多年的曲折发展,人工智能技术在大数据和云计算等技术的加持下,终于走出了论文和实验室,走入了人们的生产、生活和社会服务的方方面面。在科学技术成为第一生产力的时代,人工智能作为新兴数字生产力的代表性技术,正在数字化和网... 经过60多年的曲折发展,人工智能技术在大数据和云计算等技术的加持下,终于走出了论文和实验室,走入了人们的生产、生活和社会服务的方方面面。在科学技术成为第一生产力的时代,人工智能作为新兴数字生产力的代表性技术,正在数字化和网络化的基础上,将全球范围的经济与社会信息化推进到智能化的新阶段。智能化意味着人工智能的普遍应用,较之于个人计算机、智能手机和互联网的普及化应用,人工智能的普遍应用将更加深刻地改变这个世界。 展开更多

关键词 人工智能 第一生产力 大数据和云计算 智能手机 高校科研 互联网 信息化推进 全球范围

在线阅读 下载PDF 职称材料

智慧林业的关键技术及其应用策略研究 被引量：5

19

作者 余茂源 《林业调查规划》 2017年第5期121-123,131,共4页

智慧林业的发展离不开信息技术的支撑。文章对智慧林业的关键应用技术(3S技术、物联网技术、虚拟现实技术)和关键支撑技术(大数据与云计算技术、移动互联技术以及移动推送技术)进行系统阐述,并分析这些关键技术在智慧林业中的具体应用... 智慧林业的发展离不开信息技术的支撑。文章对智慧林业的关键应用技术(3S技术、物联网技术、虚拟现实技术)和关键支撑技术(大数据与云计算技术、移动互联技术以及移动推送技术)进行系统阐述,并分析这些关键技术在智慧林业中的具体应用策略。 展开更多

关键词 智慧林业 关键技术 应用策略 3S技术 物联网技术 虚拟现实技术 大数据与云计算技术 移动互联技术 移动推送技术

在线阅读 下载PDF 职称材料

基于自动聚类和集成学习的网络教学形成性评价方法 被引量：11

20

作者 文孟飞 刘伟荣 叶征 《中国电化教育》 CSSCI 北大核心 2018年第3期74-82,共9页

大数据云计算平台触发了教育行业的巨大变革,催生了各种形式和各种内容的网络教学开放课程,这些课程所采用的自由在线学习方式能够针对学习者的个性化需求展开导向学习,可以激发学习者的学习积极性。而如何根据学习者的特点进行较为准... 大数据云计算平台触发了教育行业的巨大变革,催生了各种形式和各种内容的网络教学开放课程,这些课程所采用的自由在线学习方式能够针对学习者的个性化需求展开导向学习,可以激发学习者的学习积极性。而如何根据学习者的特点进行较为准确的评价是网络教学开放课堂所面临的一个关键问题。该文利用在线学习过程中学习者学习活动所产生的大量数据对学习者产生形成性评价,首先基于认知思维的要求作为在线学习的目标分类,通过自动分类算法进行聚类分析区分学习者的应用能力层次。在此基础上,为提高数据的处理效率,加快对学习者的评价,再采用三层自动编码器的神经网络降维提取关键特征,然后利用训练集中的数据训练学习器,并利用集成学习机制综合单个学习器的结果,得到更为准确的评价结果。该文采集初中学生针对特定知识点的在线学习活动数据构成训练数据和测试数据集,通过对比专家人工和机器学习机制对所构造的测试集数据的评价结果,验证了该文方法的有效性。 展开更多

关键词 在线学习 大数据 云计算 机器学习

在线阅读 下载PDF 职称材料