期刊文献+
共找到137篇文章
< 1 2 7 >
每页显示 20 50 100
Spark Streaming动态资源分配策略 被引量:6
1
作者 刘备 谭新明 曹文彬 《计算机应用》 CSCD 北大核心 2017年第6期1574-1579,共6页
针对Spark Streaming作为混合大数据计算平台流处理组件时资源调整周期长和不能满足多应用多用户个性化需求的问题,提出了一种多应用下动态资源分配策略(DRAM)。该策略增加了应用全局变量来控制动态资源分配过程。首先,获取历史执行数... 针对Spark Streaming作为混合大数据计算平台流处理组件时资源调整周期长和不能满足多应用多用户个性化需求的问题,提出了一种多应用下动态资源分配策略(DRAM)。该策略增加了应用全局变量来控制动态资源分配过程。首先,获取历史执行数据反馈和应用全局变量;然后,进行资源增减计算;最后,进行资源增减执行。实验结果表明,所提策略能够有效调整应用资源配额,且在稳定数据流和不稳定数据流两种情况下,其处理延时相比原Spark平台的Streaming策略和Core策略都有所降低;同时该策略也能够提高集群资源利用率。 展开更多
关键词 SPARK 实时数据流 多应用 动态资源分配
在线阅读 下载PDF
TWCT-Stream:数据流上的频繁模式挖掘算法 被引量:1
2
作者 庄波 刘希玉 隆坤 《计算机工程与应用》 CSCD 北大核心 2009年第20期147-150,161,共5页
提出一种结合倾斜时间窗的TWCT树结构,可以保存不同时间粒度下频繁模式的完全集,并设计了其顺序更新和删除算法,使其能够存储在外存,从而有效地降低算法的内存空间需求。结合TWCT树结构特点,提出了数据流上的频繁模式挖掘算法TWCT-Stre... 提出一种结合倾斜时间窗的TWCT树结构,可以保存不同时间粒度下频繁模式的完全集,并设计了其顺序更新和删除算法,使其能够存储在外存,从而有效地降低算法的内存空间需求。结合TWCT树结构特点,提出了数据流上的频繁模式挖掘算法TWCT-Stream,其模式生长的TWCT-Growth算法按字典顺序生成频繁模式,以配合TWCT结构的顺序更新。实验证实算法的内存需求低于FP-Stream等同类算法。 展开更多
关键词 数据流挖掘 频繁模式 倾斜时间窗口
在线阅读 下载PDF
基于Spark Streaming流回归的煤矿瓦斯浓度实时预测 被引量:11
3
作者 吴海波 施式亮 念其锋 《中国安全生产科学技术》 CAS CSCD 北大核心 2017年第5期84-89,共6页
为了实时分析瓦斯监测流数据并对瓦斯浓度进行准确预测以实现瓦斯灾害实时预警,以实时流数据处理框架Spark Streaming构建基于流回归的瓦斯浓度实时预测系统。系统采用分布式流处理技术,可使基于回归算法的瓦斯浓度预测模型更新周期达... 为了实时分析瓦斯监测流数据并对瓦斯浓度进行准确预测以实现瓦斯灾害实时预警,以实时流数据处理框架Spark Streaming构建基于流回归的瓦斯浓度实时预测系统。系统采用分布式流处理技术,可使基于回归算法的瓦斯浓度预测模型更新周期达到秒级,提高了瓦斯浓度预测精度,满足流式大数据处理的实时性要求。实验表明:应用Spark Streaming流回归预测系统在采样周期为5s的瓦斯监测数据流上进行实时预测时,预测平均均方根误差随模型更新周期的缩短而减小,模型更新周期可达15s,且更新周期为45s时预测总均方根误差最小,既能保证预测精度,又能提高瓦斯灾害预警时效。 展开更多
关键词 监测数据 流数据 瓦斯浓度 SPARK streamING 流回归 实时预测 灾害预警
在线阅读 下载PDF
基于动态时间窗格的数据仓库流批一体优化方法
4
作者 陈滨林 唐小勇 《计算机应用研究》 北大核心 2025年第8期2460-2466,共7页
数据仓库是企业数据管理核心,批处理和流处理是大数据分析的两种核心数据处理范式。为了解决传统批处理技术产出时延和资源消耗高的问题,以及流处理技术在处理多流数据关联和历史数据计算时面临的数据质量挑战,提出了一种流批一体处理... 数据仓库是企业数据管理核心,批处理和流处理是大数据分析的两种核心数据处理范式。为了解决传统批处理技术产出时延和资源消耗高的问题,以及流处理技术在处理多流数据关联和历史数据计算时面临的数据质量挑战,提出了一种流批一体处理方法。所提方法通过分析数据集在不同时间窗格中的变化,融合了基于调度时间的动态时间窗格划分和基于DFS算法的最简数据集搜索。实验结果表明,与主流微批处理方法相比,该方法将整体计算时间缩短57.2%,内存消耗减少24.2%,同时确保了数据的强一致性。该方法对于企业构建高处理效率、低资源消耗的流批一体化数据仓库具有重要参考价值。 展开更多
关键词 数据仓库 数据流处理 动态时间窗格 最简数据集 流批一体化
在线阅读 下载PDF
符合Real-time CORBA规范的传感器网络监控系统设计 被引量:1
5
作者 魏云华 《计算机工程与设计》 CSCD 北大核心 2006年第23期4585-4588,4591,共5页
传感器网络在解决底层数据源和I/O设备的异构性、处理连续查询的实时性、服务质量自适应等方面提出了许多新的挑战。提出一种基于实时CORBA的传感器网络数据流处理框架,说明了符合实时中间件规范的数据流处理系统设计的方法和特点,通过... 传感器网络在解决底层数据源和I/O设备的异构性、处理连续查询的实时性、服务质量自适应等方面提出了许多新的挑战。提出一种基于实时CORBA的传感器网络数据流处理框架,说明了符合实时中间件规范的数据流处理系统设计的方法和特点,通过实验对该框架进行了性能测试,验证了其处理连续查询的实时性。 展开更多
关键词 实时中间件 数据流 连续查询 服务质量 传感器网络 实时CORBA
在线阅读 下载PDF
面向开集识别的稳健测试时适应方法 被引量:1
6
作者 周植 张丁楚 +1 位作者 李宇峰 张敏灵 《软件学报》 EI CSCD 北大核心 2024年第4期1667-1681,共15页
开集识别旨在研究测试阶段突现未见类别对于机器学习模型的挑战,以期学习模型既能分类已见类别又可识别/拒绝未见类别,是确保机器学习模型能够在开放世界中高效稳健部署的重要技术.既有开集识别技术通常假设已见类别的协变量分布在训练... 开集识别旨在研究测试阶段突现未见类别对于机器学习模型的挑战,以期学习模型既能分类已见类别又可识别/拒绝未见类别,是确保机器学习模型能够在开放世界中高效稳健部署的重要技术.既有开集识别技术通常假设已见类别的协变量分布在训练与测试阶段维持不变.然而在实际场景中,类别的协变量分布常不断变化.直接利用既有技术不再奏效,其性能甚至劣于基线方案.因此,亟需研究新型开集识别方法,使其能不断适应协变量分布偏移,以期模型在测试阶段既能稳健分类已见类别又可识别未见类别.将此新问题设置命名为开放世界适应问题(AOW),并提出了一种开放测试时适应方法(OTA).该方法基于无标注测试数据优化自适应熵损失与开集熵损失更新模型,维持对已见类的既有判别能力,同时增强了识别未见类的能力.大量实验分析表明,该方法在多组基准数据集、多组不同协变量偏移程度下均稳健地优于现有先进的开集识别方法. 展开更多
关键词 开集识别 测试时适应 分布偏移 图像识别 流数据
在线阅读 下载PDF
支持实时流计算应用的关键技术研究进展 被引量:2
7
作者 徐志榛 徐辰 +2 位作者 丁光耀 陈梓浩 周傲英 《软件学报》 EI CSCD 北大核心 2024年第1期430-454,共25页
信息系统在进行知识的挖掘和管理时,需要处理各种形式的数据,流数据便是其中之一.流数据具有数据规模大、产生速度快且蕴含的知识具有较强时效性等特点,因而发展支持实时处理应用的流计算技术对于信息系统的知识管理十分重要.流计算系... 信息系统在进行知识的挖掘和管理时,需要处理各种形式的数据,流数据便是其中之一.流数据具有数据规模大、产生速度快且蕴含的知识具有较强时效性等特点,因而发展支持实时处理应用的流计算技术对于信息系统的知识管理十分重要.流计算系统可以追溯到29世纪90年代,至今已经经历了长足的发展.然而,当前多样化的知识管理需求和新一代的硬件架构为流计算系统带来了全新的挑战和机遇,催生出了一系列流计算领域的技术研究.首先介绍流计算系统的基本需求以及发展脉络,再按照编程接口、执行计划、资源调度和故障容错4个层次分别分析流计算系统领域的相关技术;最后,展望流计算技术在未来可能的研究方向和发展趋势. 展开更多
关键词 实时处理 流计算 数据处理系统
在线阅读 下载PDF
基于流计算和大数据平台的实时交通流预测 被引量:2
8
作者 李星辉 曾碧 魏鹏飞 《计算机工程与设计》 北大核心 2024年第2期553-561,共9页
目前交通流预测实时性差,很难满足在线分析和预测任务的需求,基于此提出一种Flink流计算框架和大数据平台结合的实时交通流预测方法。基于流计算框架实时捕捉和预处理数据,包括采用Flink的transform算子对数据进行校验和处理,将处理后... 目前交通流预测实时性差,很难满足在线分析和预测任务的需求,基于此提出一种Flink流计算框架和大数据平台结合的实时交通流预测方法。基于流计算框架实时捕捉和预处理数据,包括采用Flink的transform算子对数据进行校验和处理,将处理后的数据sink到大数据的HDFS文件系统,交由下一步的大数据并行框架进行分析建模与训练,实现基于流计算和大数据平台的实时交通流预测。实验结果表明,Flink能够实时捕捉和预处理交通流数据,把数据准时无误送入分布式文件系统中,在此基础上借助大数据框架下的并行分析和建模优势,在实时性数据分析与预测方面取得了较好的效果。 展开更多
关键词 大数据 数据并行 流计算框架 实时处理 交通流预测 分布式系统 实时性分析
在线阅读 下载PDF
面向高维流数据的离群值检测算法
9
作者 梁昌好 童英华 冯忠岭 《计算机工程与设计》 北大核心 2024年第5期1406-1412,共7页
累计局部离群因子(cumulative local outlier factor,C_LOF)算法能有效解决数据流中的概念漂移问题和克服离群点检测中的伪装问题,但在处理高维数据时,时间复杂度较高。为有效解决时间复杂度高的问题,提出一种基于投影索引近邻的累计局... 累计局部离群因子(cumulative local outlier factor,C_LOF)算法能有效解决数据流中的概念漂移问题和克服离群点检测中的伪装问题,但在处理高维数据时,时间复杂度较高。为有效解决时间复杂度高的问题,提出一种基于投影索引近邻的累计局部离群因子(cumulative local outlier factor based projection indexed nearest neighbor,PINN_C_LOF)算法。使用滑动窗口维护活跃数据点,在新数据到达和旧数据过期时,引入投影索引近邻(projection indexed nearest neighbor,PINN)方法,增量更新窗口中受影响数据点的近邻。实验结果表明,PINN_C_LOF算法在检测高维流数据离群值时,在保持检测精确度的前提下,其时间复杂度较C_LOF算法明显降低。 展开更多
关键词 高维流数据 离群值检测 累计局部离群因子 时间复杂度 投影索引近邻 局部离群因子 物联网
在线阅读 下载PDF
一种支持实时协同虚拟装配的体系架构 被引量:10
10
作者 刘伟伟 孟祥旭 徐延宁 《系统仿真学报》 EI CAS CSCD 北大核心 2006年第10期2805-2809,共5页
协同虚拟装配技术为多个设计人员在同一虚拟场景中共同进行装配试验提供了条件。主要就如何实现协同装配的实时性进行了研究,提出了一种“复合式”的协同体系架构,并采用基于C/P(命令/参数)消息的数据传输方式实现协同任务的实时传输,... 协同虚拟装配技术为多个设计人员在同一虚拟场景中共同进行装配试验提供了条件。主要就如何实现协同装配的实时性进行了研究,提出了一种“复合式”的协同体系架构,并采用基于C/P(命令/参数)消息的数据传输方式实现协同任务的实时传输,进一步的采用任务的分解执行方式实现协同任务的实时处理。在上述架构与技术基础之上设计开发了一个支持实时协同的虚拟装配系统,并以大型机械压力机的实时协同装配为例对系统进行了验证。 展开更多
关键词 协同设计 协同装配 实时协同 数据传输
在线阅读 下载PDF
时间序列数据流的自适应预测 被引量:7
11
作者 王永利 周景华 +2 位作者 徐宏炳 董逸生 刘学军 《自动化学报》 EI CSCD 北大核心 2007年第2期197-201,共5页
提出一种自适应预测方法AFStreams,综合了复杂人工智能预测方法和时间序列预测方法的优点,可以根据数据流值变化的快慢程度自适应地确定预测步长,在计算资源受限的前提下,形成最佳预测点轨迹.仿真实验证明,AFStreams能够良好地适应数... 提出一种自适应预测方法AFStreams,综合了复杂人工智能预测方法和时间序列预测方法的优点,可以根据数据流值变化的快慢程度自适应地确定预测步长,在计算资源受限的前提下,形成最佳预测点轨迹.仿真实验证明,AFStreams能够良好地适应数据的变化,在计算复杂度和预测精度之间平衡,显著地提高了平均预测精度. 展开更多
关键词 时间序列 数据流 预测 插值小波 KALMAN滤波
在线阅读 下载PDF
实时数据流聚类的研究新进展 被引量:5
12
作者 张晓龙 曾伟 《计算机工程与设计》 CSCD 北大核心 2009年第9期2177-2181,2186,共6页
实时数据流聚类是目前国际数据库和数据管理领域的新兴研究热点。综述了实时数据流聚类的最新研究进展,在介绍实时数据流聚类的相关理论和常用技术的基础上,对现有各种代表性算法的优势和不足进行了系统地分析,从处理速度、聚类形状、... 实时数据流聚类是目前国际数据库和数据管理领域的新兴研究热点。综述了实时数据流聚类的最新研究进展,在介绍实时数据流聚类的相关理论和常用技术的基础上,对现有各种代表性算法的优势和不足进行了系统地分析,从处理速度、聚类形状、演化分析、高维性及噪声健壮性5个方面对算法的性能进行了比较。探讨了基于聚类的实时数据流演化分析方法及其局限性。最后展望了将来可能的研究方向。 展开更多
关键词 实时数据流 聚类 演化分析 数据流挖掘 混合属性
在线阅读 下载PDF
基于工厂信息的实时数据流分析与全过程质量监控 被引量:4
13
作者 边小勇 张晓龙 余海 《计算机应用》 CSCD 北大核心 2012年第10期2935-2939,共5页
针对某钢铁企业生产过程中的生产信息不畅通、产品质量无法追踪问题,开展了基于工厂信息(PI)的实时数据流分析与全过程质量监控方法的研究。着重研究了实时数据流分割和过程监控,提出基于统计质量控制(SQC)图和工序性能指标的统计监控方... 针对某钢铁企业生产过程中的生产信息不畅通、产品质量无法追踪问题,开展了基于工厂信息(PI)的实时数据流分析与全过程质量监控方法的研究。着重研究了实时数据流分割和过程监控,提出基于统计质量控制(SQC)图和工序性能指标的统计监控方法,并开发了一个产品技术质量监控系统,应用结果表明基于PI的实时数据流分析与产品质量监控实现了企业对生产工序质量的监控,以及关键生产工艺的识别与改进。 展开更多
关键词 生产信息数据 工厂信息数据库 实时数据流分割 统计质量控制图 工序质量监控
在线阅读 下载PDF
高效的数据流完全频繁项集挖掘算法 被引量:11
14
作者 茹蓓 贺新征 《计算机工程与设计》 北大核心 2017年第10期2759-2766,共8页
针对实时数据流的完全频繁项集挖掘算法计算成本较高的问题,提出一种基于改进FPTree的高效实时数据流完全频繁项集挖掘算法。使用改进的FPTree兼容地表示滑动窗口中的所有事务,建立一个完整的基树;利用事务的字母顺序简单地实现基树的... 针对实时数据流的完全频繁项集挖掘算法计算成本较高的问题,提出一种基于改进FPTree的高效实时数据流完全频繁项集挖掘算法。使用改进的FPTree兼容地表示滑动窗口中的所有事务,建立一个完整的基树;利用事务的字母顺序简单地实现基树的插入与删除操作,无需对基树进行重组操作;利用分组Tree结构对基树进行由上而下的遍历来建立项目树,以较低的计算成本发现完全的频繁项集。仿真结果表明,该方案可有效地发现实时数据流的频繁项集,获得较低的计算成本。 展开更多
关键词 关联规则挖掘 频繁项集 实时数据流 字母顺序 项目树遍历 数据挖掘
在线阅读 下载PDF
基于拉普拉斯回归主动学习的大数据流分类算法 被引量:8
15
作者 杜恒 杨俊成 《计算机应用与软件》 北大核心 2019年第12期273-281,共9页
实时数据流中标记样本所占比例较小,并且存在大量的噪声数据和冗余数据,导致数据流的实时分类准确率较低。针对这种情况,提出基于拉普拉斯回归主动学习的大数据流分类算法。为分类器设计相对支持度差异函数作为分类的决策方法,通过阈值... 实时数据流中标记样本所占比例较小,并且存在大量的噪声数据和冗余数据,导致数据流的实时分类准确率较低。针对这种情况,提出基于拉普拉斯回归主动学习的大数据流分类算法。为分类器设计相对支持度差异函数作为分类的决策方法,通过阈值判断当前数据流的标记样本量。设计基于约束规则的半监督主动学习算法,从无标记样本集选择信息量最丰富的样本。采用拉普拉斯正则最小二乘回归模型作为半监督学习的回归模型,迭代地扩展数据流的标记样本量。仿真结果表明,该算法有效地提高了数据流的分类准确率,并且满足实时性的需求。 展开更多
关键词 大数据 实时数据流 拉普拉斯正则最小二乘 分类算法 半监督学习 主动学习
在线阅读 下载PDF
流数据挖掘综述 被引量:37
16
作者 孙玉芬 卢炎生 《计算机科学》 CSCD 北大核心 2007年第1期1-5,11,共6页
作为一种新的数据形态,流数据对数据挖掘提出了诸多挑战。学者们已提出大量处理流数据的挖掘算法。本文对这些算法进行了综述。首先介绍了多个不同的数据流模型,这些模型对算法设计有着不同的要求。然后,总结了流数据挖掘算法的特点,并... 作为一种新的数据形态,流数据对数据挖掘提出了诸多挑战。学者们已提出大量处理流数据的挖掘算法。本文对这些算法进行了综述。首先介绍了多个不同的数据流模型,这些模型对算法设计有着不同的要求。然后,总结了流数据挖掘算法的特点,并给出了算法中常用的技术。最后,分析了各个流数据挖掘任务中的代表性算法。 展开更多
关键词 数据流 数据挖掘 时空复杂度 滑动窗口
在线阅读 下载PDF
基于复杂事件处理的用户需求响应性能实时监测分析 被引量:8
17
作者 祖向荣 白焰 阳建坤 《电网技术》 EI CSCD 北大核心 2016年第10期3220-3227,共8页
文章梳理了智能电网大数据流实时分析技术的发展趋势,研究了具有流式计算与主动管理双重特性的复杂事件处理(complex event processing,CEP)技术特点。基于实时数据分发服务(data distribution service,DDS)中间件设计了自动需求响应(au... 文章梳理了智能电网大数据流实时分析技术的发展趋势,研究了具有流式计算与主动管理双重特性的复杂事件处理(complex event processing,CEP)技术特点。基于实时数据分发服务(data distribution service,DDS)中间件设计了自动需求响应(automated demand response,ADR)系统与CEP实时监测服务的集成架构,给出CEP服务节点的功能组件与分析流程,论述了应用架构的互操作优势。以用户需求响应性能实时监测分析为案例,说明应用CEP实现用户基线负荷与响应性能计算的关键技术,由ADR事件定义反映资源响应时序的上下文规则,设计用户侧监测事件模型与关键查询算法。特别针对实时与增强历史监测数据上下文的混合查询算法,给出CEP引擎内部扩展设计与实现流程,并实验验证算法性能。应用CEP内嵌R算法实现快速统计计算。最后,建立原型系统与CEP实时分析算法的可视化仿真实验,验证了CEP应用的可行性。 展开更多
关键词 自动需求响应 复杂事件处理 用户需求响应性能 实时大数据流分析 OPEN ADR事件模型 实时数据分发服务
在线阅读 下载PDF
实时数据流在钢铁生产过程监控系统中的应用 被引量:2
18
作者 张晓龙 余海 边小勇 《计算机工程与设计》 CSCD 北大核心 2013年第6期2204-2211,共8页
为了解决现有钢铁企业生产过程中存在的实时控制系统与企业级ERP系统之间的信息孤岛、实时数据保存困难和过程管理粗糙等问题,在基于实时数据流的基础上,设计了钢铁生产过程实时监控系统,并将实时数据与关系型数据结合,实现了工业生产... 为了解决现有钢铁企业生产过程中存在的实时控制系统与企业级ERP系统之间的信息孤岛、实时数据保存困难和过程管理粗糙等问题,在基于实时数据流的基础上,设计了钢铁生产过程实时监控系统,并将实时数据与关系型数据结合,实现了工业生产的有效实时监控,使实时数据在过程能力管理领域中得以应用,达到精细和精确化管理,提高了钢铁产品质量,为企业获得了良好的经济效益。 展开更多
关键词 实时数据 实时数据流 实时监控 过程能力指数 过程性能指数 PI实时数据库
在线阅读 下载PDF
一种超高速并行采样技术的研究与实现 被引量:30
19
作者 黄武煌 王厚军 曾浩 《电子测量与仪器学报》 CSCD 2009年第8期67-71,共5页
并行采样技术是提高实时采样率的一种重要手段。基于时间交替并行采样技术,设计了一种由3Gsps采样率的模数转换器实现双通道6Gsps采样率的数据采集系统,重点对高速采样时钟分相延迟控制与同步时钟传输处理、基于IDDR的高速数据流分相处... 并行采样技术是提高实时采样率的一种重要手段。基于时间交替并行采样技术,设计了一种由3Gsps采样率的模数转换器实现双通道6Gsps采样率的数据采集系统,重点对高速采样时钟分相延迟控制与同步时钟传输处理、基于IDDR的高速数据流分相处理、基于FIFO高速缓存与基于DDR2深存储的双重构架、板级设计的信号完整性等关键技术进行了详细探讨,同时对系统的软件架构也进行了介绍,最后给出信号实时数据采集的实验结果,并对系统的信噪比和有效位数进行了详细分析,得出系统的性能指标达到了同类产品水平。 展开更多
关键词 高速模数转换器 时间交替并行采样 数据流分相处理 深存储
在线阅读 下载PDF
流计算大数据技术在运营商实时信令处理中的应用 被引量:8
20
作者 董斌 杨迪 +1 位作者 王铮 周文红 《电信科学》 北大核心 2015年第10期165-171,共7页
基于Hadoop搭建的大数据平台采用离线批处理的方式,无法满足对数据实效性敏感的业务要求。针对运营商动态数据信息开放大数据平台的实时信令处理要求,对流式计算大数据组件进行了分析,介绍了与流计算大数据相关的实时采集、汇聚和处理组... 基于Hadoop搭建的大数据平台采用离线批处理的方式,无法满足对数据实效性敏感的业务要求。针对运营商动态数据信息开放大数据平台的实时信令处理要求,对流式计算大数据组件进行了分析,介绍了与流计算大数据相关的实时采集、汇聚和处理组件,形成了端到端实时信令处理大数据技术解决方案,并提出了融合批处理和实时计算的大数据平台解决方案,提高了网络信令数据的时效性,为业务创新提供更大空间,带来更多利益。 展开更多
关键词 大数据 流式计算 STORM 实时信令数据处理
在线阅读 下载PDF
上一页 1 2 7 下一页 到第
使用帮助 返回顶部