符合Real-time CORBA规范的传感器网络监控系统设计 被引量：1

1

作者 魏云华 《计算机工程与设计》 CSCD 北大核心 2006年第23期4585-4588,4591,共5页

传感器网络在解决底层数据源和I/O设备的异构性、处理连续查询的实时性、服务质量自适应等方面提出了许多新的挑战。提出一种基于实时CORBA的传感器网络数据流处理框架,说明了符合实时中间件规范的数据流处理系统设计的方法和特点,通过... 传感器网络在解决底层数据源和I/O设备的异构性、处理连续查询的实时性、服务质量自适应等方面提出了许多新的挑战。提出一种基于实时CORBA的传感器网络数据流处理框架,说明了符合实时中间件规范的数据流处理系统设计的方法和特点,通过实验对该框架进行了性能测试,验证了其处理连续查询的实时性。 展开更多

关键词 实时中间件 数据流 连续查询 服务质量 传感器网络 实时CORBA

在线阅读 下载PDF 职称材料

基于数字孪生的加工生产线虚实交互技术研究 被引量：11

2

作者 周高伟 沙杰 +1 位作者 刘梦园 鲁庆洋 《机电工程》 CAS 北大核心 2024年第2期337-344,共8页

针对传统加工生产线运行过程中设备数据采集困难和可视化程度低的问题,研究了数字孪生(DT)技术在加工生产线虚实交互方面的应用问题。首先,以某电机外壳加工生产线为例,分析了生产线的加工流程,设计了虚实交互技术的总体框架,并提出了... 针对传统加工生产线运行过程中设备数据采集困难和可视化程度低的问题,研究了数字孪生(DT)技术在加工生产线虚实交互方面的应用问题。首先,以某电机外壳加工生产线为例,分析了生产线的加工流程,设计了虚实交互技术的总体框架,并提出了具体的方法;然后,对加工生产线进行了数字孪生体建模,对模型中的关键要素,几何、物理、行为属性及通讯接口的构建进行了详细的阐述;最后,采用过程控制的对象链接和嵌入(OPC)技术进行了加工生产线中多源异构数据的采集与处理,完成了实时数据间的映射。研究结果表明:采用虚实交互技术可以完成物理生产线与数字孪生体间的实时映射;电机外壳加工生产线中机械臂虚实交互的可靠性为99.95%,可满足精确性要求;采用服务模块能够更加直观、有效地反映生产线的实际加工状态,可满足加工过程信息动态可视化要求,证明了该方案具有可行性和有效性。 展开更多

关键词 数字孪生 虚实交互 数字孪生体构建 实时数据 过程控制的对象链接和嵌入 数据采集

在线阅读 下载PDF 职称材料

基于流计算和大数据平台的实时交通流预测 被引量：2

3

作者 李星辉 曾碧 魏鹏飞 《计算机工程与设计》 北大核心 2024年第2期553-561,共9页

目前交通流预测实时性差,很难满足在线分析和预测任务的需求,基于此提出一种Flink流计算框架和大数据平台结合的实时交通流预测方法。基于流计算框架实时捕捉和预处理数据,包括采用Flink的transform算子对数据进行校验和处理,将处理后... 目前交通流预测实时性差,很难满足在线分析和预测任务的需求,基于此提出一种Flink流计算框架和大数据平台结合的实时交通流预测方法。基于流计算框架实时捕捉和预处理数据,包括采用Flink的transform算子对数据进行校验和处理,将处理后的数据sink到大数据的HDFS文件系统,交由下一步的大数据并行框架进行分析建模与训练,实现基于流计算和大数据平台的实时交通流预测。实验结果表明,Flink能够实时捕捉和预处理交通流数据,把数据准时无误送入分布式文件系统中,在此基础上借助大数据框架下的并行分析和建模优势,在实时性数据分析与预测方面取得了较好的效果。 展开更多

关键词 大数据 数据并行 流计算框架 实时处理 交通流预测 分布式系统 实时性分析

在线阅读 下载PDF 职称材料

支持实时流计算应用的关键技术研究进展 被引量：2

4

作者 徐志榛 徐辰 +2 位作者 丁光耀 陈梓浩 周傲英 《软件学报》 EI CSCD 北大核心 2024年第1期430-454,共25页

信息系统在进行知识的挖掘和管理时,需要处理各种形式的数据,流数据便是其中之一.流数据具有数据规模大、产生速度快且蕴含的知识具有较强时效性等特点,因而发展支持实时处理应用的流计算技术对于信息系统的知识管理十分重要.流计算系... 信息系统在进行知识的挖掘和管理时,需要处理各种形式的数据,流数据便是其中之一.流数据具有数据规模大、产生速度快且蕴含的知识具有较强时效性等特点,因而发展支持实时处理应用的流计算技术对于信息系统的知识管理十分重要.流计算系统可以追溯到29世纪90年代,至今已经经历了长足的发展.然而,当前多样化的知识管理需求和新一代的硬件架构为流计算系统带来了全新的挑战和机遇,催生出了一系列流计算领域的技术研究.首先介绍流计算系统的基本需求以及发展脉络,再按照编程接口、执行计划、资源调度和故障容错4个层次分别分析流计算系统领域的相关技术;最后,展望流计算技术在未来可能的研究方向和发展趋势. 展开更多

关键词 实时处理 流计算 数据处理系统

在线阅读 下载PDF 职称材料

分布式流处理技术综述 被引量：51

5

作者 崔星灿 禹晓辉 +1 位作者 刘洋 吕朝阳 《计算机研究与发展》 EI CSCD 北大核心 2015年第2期318-332,共15页

随着计算机和网络技术的迅猛发展以及数据获取手段的不断丰富,在越来越多的领域出现了对海量、高速数据进行实时处理的需求.由于此类需求往往超出传统数据处理技术的能力,分布式流处理模式应运而生.首先回顾分布式流处理技术产生的背景... 随着计算机和网络技术的迅猛发展以及数据获取手段的不断丰富,在越来越多的领域出现了对海量、高速数据进行实时处理的需求.由于此类需求往往超出传统数据处理技术的能力,分布式流处理模式应运而生.首先回顾分布式流处理技术产生的背景以及技术演进过程,然后将其与其他相关大数据处理技术进行对比,以界定分布式流数据处理的外延.进而对分布式流处理所需要考虑的数据模型、系统模型、存储管理、语义保障、负载控制、系统容错等主要问题进行深入分析,指出现有解决方案的优势和不足.随后,介绍S4,Storm,Spark Streaming等几种具有代表性的分布式流处理系统,并对它们进行系统地对比.最后,给出分布式流处理在社交媒体处理等领域的几种典型应用,并探讨分布式流处理领域进一步的研究方向. 展开更多

关键词 大数据 数据流 分布式流处理 实时处理 分布式系统

在线阅读 下载PDF 职称材料

智能电网时序大数据实时处理系统 被引量：30

6

作者 王远 陶烨 +2 位作者 蒋英明 陈波 陈立宇 《计算机应用》 CSCD 北大核心 2015年第A02期88-92,共5页

针对智能电网时序数据设备多、数据规模大、产生速度快等特点,设计并实现了一个面向智能电网的时序大数据实时处理系统。针对电网领域"批量"与"快照"两类典型场景,提出面向场景的时序数据采集技术,实现了时序数据... 针对智能电网时序数据设备多、数据规模大、产生速度快等特点,设计并实现了一个面向智能电网的时序大数据实时处理系统。针对电网领域"批量"与"快照"两类典型场景,提出面向场景的时序数据采集技术,实现了时序数据的高速、可靠采集;基于流计算技术,实现了各类时序数据的高速预处理;设计了面向时序数据的混合存储模型,综合应用键值模型与关系模型,实现了时序数据的可靠存储和高效访问。通过模拟某省用电信息采集应用场景,验证了系统性能:单节点数据采集能力超过1 000万/秒,查询可达到秒级甚至微秒级响应。 展开更多

关键词 大数据 时序 智能电网 实时处理 流计算 键值模型 关系模型

在线阅读 下载PDF 职称材料

流计算大数据技术在运营商实时信令处理中的应用 被引量：8

7

作者 董斌 杨迪 +1 位作者 王铮 周文红 《电信科学》 北大核心 2015年第10期165-171,共7页

基于Hadoop搭建的大数据平台采用离线批处理的方式,无法满足对数据实效性敏感的业务要求。针对运营商动态数据信息开放大数据平台的实时信令处理要求,对流式计算大数据组件进行了分析,介绍了与流计算大数据相关的实时采集、汇聚和处理组... 基于Hadoop搭建的大数据平台采用离线批处理的方式,无法满足对数据实效性敏感的业务要求。针对运营商动态数据信息开放大数据平台的实时信令处理要求,对流式计算大数据组件进行了分析,介绍了与流计算大数据相关的实时采集、汇聚和处理组件,形成了端到端实时信令处理大数据技术解决方案,并提出了融合批处理和实时计算的大数据平台解决方案,提高了网络信令数据的时效性,为业务创新提供更大空间,带来更多利益。 展开更多

关键词 大数据 流式计算 STORM 实时信令数据处理

在线阅读 下载PDF 职称材料

实时数据流管理技术研究 被引量：6

8

作者 于戈 王国仁 《计算机应用》 CSCD 北大核心 2004年第10期11-13,26,共4页

数据流技术是一种正在兴起的新型数据管理技术,在传感器网络、实时监控、实时监测分析等众多关键任务领域具有广泛的用途。本文讨论了实时数据流的特点和关键技术,综述了三个典型数据流系统,介绍了RealStream数据流管理系统的设计思想。

关键词 数据流 数据库 数据模型 查询处理 实时系统

在线阅读 下载PDF 职称材料

基于复杂事件处理的用户需求响应性能实时监测分析 被引量：8

9

作者 祖向荣 白焰 阳建坤 《电网技术》 EI CSCD 北大核心 2016年第10期3220-3227,共8页

文章梳理了智能电网大数据流实时分析技术的发展趋势,研究了具有流式计算与主动管理双重特性的复杂事件处理(complex event processing,CEP)技术特点。基于实时数据分发服务(data distribution service,DDS)中间件设计了自动需求响应(au... 文章梳理了智能电网大数据流实时分析技术的发展趋势,研究了具有流式计算与主动管理双重特性的复杂事件处理(complex event processing,CEP)技术特点。基于实时数据分发服务(data distribution service,DDS)中间件设计了自动需求响应(automated demand response,ADR)系统与CEP实时监测服务的集成架构,给出CEP服务节点的功能组件与分析流程,论述了应用架构的互操作优势。以用户需求响应性能实时监测分析为案例,说明应用CEP实现用户基线负荷与响应性能计算的关键技术,由ADR事件定义反映资源响应时序的上下文规则,设计用户侧监测事件模型与关键查询算法。特别针对实时与增强历史监测数据上下文的混合查询算法,给出CEP引擎内部扩展设计与实现流程,并实验验证算法性能。应用CEP内嵌R算法实现快速统计计算。最后,建立原型系统与CEP实时分析算法的可视化仿真实验,验证了CEP应用的可行性。 展开更多

关键词 自动需求响应 复杂事件处理 用户需求响应性能 实时大数据流分析 OPEN ADR事件模型 实时数据分发服务

在线阅读 下载PDF 职称材料

一种实时数据库查询执行方法的设计 被引量：3

10

作者 刘云生 彭楚冀 廖国琼 《计算机应用》 CSCD 北大核心 2005年第2期279-282,共4页

在深入分析实时数据库常用的查询执行方法———指针法缺点基础上,给出了一种新的实时数据库查询执行方法———D/S方法。该方法结合了指针法、实体化方法和流水线方法的优点,可有效地节省查询执行的内存需求,并扩展了实时数据库查询优... 在深入分析实时数据库常用的查询执行方法———指针法缺点基础上,给出了一种新的实时数据库查询执行方法———D/S方法。该方法结合了指针法、实体化方法和流水线方法的优点,可有效地节省查询执行的内存需求,并扩展了实时数据库查询优化的空间。 展开更多

关键词 实时数据库 查询执行 实体化 流水线

在线阅读 下载PDF 职称材料

实时数据流在钢铁生产过程监控系统中的应用 被引量：2

11

作者 张晓龙 余海 边小勇 《计算机工程与设计》 CSCD 北大核心 2013年第6期2204-2211,共8页

为了解决现有钢铁企业生产过程中存在的实时控制系统与企业级ERP系统之间的信息孤岛、实时数据保存困难和过程管理粗糙等问题,在基于实时数据流的基础上,设计了钢铁生产过程实时监控系统,并将实时数据与关系型数据结合,实现了工业生产... 为了解决现有钢铁企业生产过程中存在的实时控制系统与企业级ERP系统之间的信息孤岛、实时数据保存困难和过程管理粗糙等问题,在基于实时数据流的基础上,设计了钢铁生产过程实时监控系统,并将实时数据与关系型数据结合,实现了工业生产的有效实时监控,使实时数据在过程能力管理领域中得以应用,达到精细和精确化管理,提高了钢铁产品质量,为企业获得了良好的经济效益。 展开更多

关键词 实时数据 实时数据流 实时监控 过程能力指数 过程性能指数 PI实时数据库

在线阅读 下载PDF 职称材料

基于关系数据库的实时XML数据查询处理 被引量：5

12

作者 张晶 张云生 《计算机应用》 CSCD 北大核心 2006年第7期1679-1681,1688,共4页

力图用成熟的关系数据库查询机制处理符合DTD的XML文档。提出了一整套数据模型、转换规则和算法描述,可以将XML文档转换为关系元组,从而达到用XML实现基于关系数据库的实时数据一致性查询处理的目的。

关键词 实时数据查询处理 XML DTD图 关系数据库

在线阅读 下载PDF 职称材料

传感器网络中基于蚁群算法的实时查询处理 被引量：5

13

作者 余建平 林亚平 《软件学报》 EI CSCD 北大核心 2010年第3期473-489,共17页

无线传感器网络因不同应用而被广泛部署于各种场合,通常被视为分布式数据库.可以通过向该类数据库发布查询请求来获取事件相关的响应信息.一些具有实时需求的应用对查询时延要求较高,而目前存在的查询算法通常不能很好地满足实时查询应... 无线传感器网络因不同应用而被广泛部署于各种场合,通常被视为分布式数据库.可以通过向该类数据库发布查询请求来获取事件相关的响应信息.一些具有实时需求的应用对查询时延要求较高,而目前存在的查询算法通常不能很好地满足实时查询应用的需求.针对此类特定应用,提出了基于蚁群优化的实时查询处理算法,该算法采用基于事件重要性的分环存储策略和基于蚁群算法的分布式搜索机制,充分利用蚁群优化算法的自组织和正反馈等特征,综合提高查询处理算法的节能性、实时性及查询请求接受率,为分布式动态并行实时查询应用提供新的思路.执行过程仅需局部环境信息即可有效获取指定事件信息并动态确定事件副本的数目及其位置.理论分析和实验表明,此算法既能在一定程度上提高节能性和查询成功率,又能显著缩短查询时延,与现有的算法相比,具有明显的优越性. 展开更多

关键词 无线传感器网络 实时查询处理 数据复制 蚁群算法

在线阅读 下载PDF 职称材料

企业多云时序数据实时监测方案研究与实现 被引量：5

14

作者 程学林 郑佳卉 +1 位作者 蒋烁淼 贝毅君 《小型微型计算机系统》 CSCD 北大核心 2023年第1期155-162,共8页

在企业的IT架构不断上云、多云趋势明显的今天,云资源在系统的开发、运行和维护中扮演着举足轻重的角色.云资源在运行过程中每时每刻都能产生海量时序数据,然而当前市场上的云监测服务在多云实时监测、异常检测方面都存在一定局限性.针... 在企业的IT架构不断上云、多云趋势明显的今天,云资源在系统的开发、运行和维护中扮演着举足轻重的角色.云资源在运行过程中每时每刻都能产生海量时序数据,然而当前市场上的云监测服务在多云实时监测、异常检测方面都存在一定局限性.针对上述问题提出一种基于时序数据的企业多云实时监测方案MCloudMonitor,围绕多云资源运行产生的海量时序数据提供时序数据存储和实时流处理服务,基于分层时间记忆网络来设计实时在线异常检测算法并将其整合进所实现的系统之中.除此之外,借助测试来评估方案的实现效果,证明基于该方案实现的系统能够帮助运维人员从企业的视角进行便捷的实时多云监测,并且能够准确地进行实时异常检测. 展开更多

关键词 多云 时序数据 实时监测 流处理 异常检测算法

在线阅读 下载PDF 职称材料

面向实时查询处理的轨迹流挖掘框架 被引量：1

15

作者 于彦伟 王沁 +2 位作者 王小东 王欢 何杰 《仪器仪表学报》 EI CAS CSCD 北大核心 2012年第12期2803-2811,共9页

为了解决轨迹数据流中实时查询问题,提出了一种面向实时查询处理的轨迹数据流挖掘框架(trajectory data streammining framework,TSMF),该框架包括2个部分:在线的轨迹数据流挖掘和离线的实时查询处理。在线部分,首先,对实时接收的轨迹... 为了解决轨迹数据流中实时查询问题,提出了一种面向实时查询处理的轨迹数据流挖掘框架(trajectory data streammining framework,TSMF),该框架包括2个部分:在线的轨迹数据流挖掘和离线的实时查询处理。在线部分,首先,对实时接收的轨迹数据作基于密度的线段流聚类,获取到密度聚集的线段簇,然后,在轨迹簇树和蜂群模式哈希表存储索引结构上,根据线段簇结果对轨迹簇和蜂群模式进行在线更新;离线部分,实现了当前关闭轨迹簇(current closed trajectory clusters query,CCTC)、当前关闭蜂群模式(current closed swarm query,CCSwarm)和邻居轨迹(k-nearest nejghboring trajectory,k-NNT)3种面向移动目标的实时查询处理方法以响应用户的实时查询请求,当用户请求查询时,在实时挖掘出的轨迹簇和蜂群模式中快速查找结果。在大规模真实数据和合成数据上的综合实验验证了TSMF的挖掘效果、高效率性、可扩展性和较高的查询处理速度。 展开更多

关键词 轨迹流挖掘 查询处理 轨迹簇 蜂群模式 实时性

在线阅读 下载PDF 职称材料

基于VxWorks的实时通信模块设计 被引量：5

16

作者 徐博 向为 +1 位作者 刘小汇 雍少为 《科学技术与工程》 2007年第5期860-863,共4页

一种基于VxWorks操作系统的实时通信模块,以PC104开发板为硬件平台,软件基于VxWorks实时操作系统。利用以太网、ISA总线等通信方式实现内部信号处理模块与外部其他模块的信息交互。着重介绍了实时多任务的设计流程,设计实现了ISA总线方... 一种基于VxWorks操作系统的实时通信模块,以PC104开发板为硬件平台,软件基于VxWorks实时操作系统。利用以太网、ISA总线等通信方式实现内部信号处理模块与外部其他模块的信息交互。着重介绍了实时多任务的设计流程,设计实现了ISA总线方式的数据通信和单点对多点的网络通信模式。 展开更多

关键词 Vxwork8 PC104 ISA总线 实时通信处理 嵌入式操作系统

在线阅读 下载PDF 职称材料

数据广播环境下实时查询处理 被引量：1

17

作者 何浩源 王洪亚 +2 位作者 刘晓强 丛静 乐嘉锦 《计算机工程》 CAS CSCD 北大核心 2008年第14期72-74,共3页

现有的实时数据广播研究中,只考虑了具有截止期约束的单个数据请求的调度问题,而支持实时查询处理的数据广播技术尚未得到足够的关注。该文研究在on-demand数据广播环境下,如何有效地处理实时查询问题,提出一种新的数据调度算法(QSA)。... 现有的实时数据广播研究中,只考虑了具有截止期约束的单个数据请求的调度问题,而支持实时查询处理的数据广播技术尚未得到足够的关注。该文研究在on-demand数据广播环境下,如何有效地处理实时查询问题,提出一种新的数据调度算法(QSA)。通过仿真实验与目前最为有效的数据请求调度算法SIN进行了比较,结果显示QSA具有更低的错过截止期比率,在最好的情况下,QSA比SIN降低了17.45%。 展开更多

关键词 数据广播 实时查询处理 调度算法

在线阅读 下载PDF 职称材料

一种过程数据流的实时可视化方法 被引量：2

18

作者 陈红倩 李慧 +2 位作者 方艺 陈谊 周贝贝 《系统仿真学报》 CAS CSCD 北大核心 2015年第10期2560-2566,共7页

为实现过程状态数据的实时可视化,提出了一种基于静态数据载体的数据可视化方法。该方法建立静态载体模型;针对不同的数据状态,建立与载体模型匹配的数据分段展示模型,并根据数据值设置模型颜色或纹理;将各静态模型和动态分段模型按逻... 为实现过程状态数据的实时可视化,提出了一种基于静态数据载体的数据可视化方法。该方法建立静态载体模型;针对不同的数据状态,建立与载体模型匹配的数据分段展示模型,并根据数据值设置模型颜色或纹理;将各静态模型和动态分段模型按逻辑关系顺序连接,并依次绘制获得可视化结果。以油井灌浆过程为例,阐述了流式状态数据的同步展示方法。实验结果表明:文中方法能够实现对动态状态数据的直观准确展示,且处理效率能满足实时交互需求。 展开更多

关键词 数据可视化 实时可视化 过程数据流 油井灌浆

在线阅读 下载PDF 职称材料

面向安全关键系统的实时数据处理软件设计 被引量：1

19

作者 王志颖 马卫东 熊光泽 《计算机工程与设计》 CSCD 北大核心 2006年第2期201-204,共4页

介绍了一种针对单片机、PSD、I2C接口存储芯片为主要组件设计的一类针对安全关键系统的测量与控制装置的实时软件设计、数据传输、存储及处理方法。通过各项实验考核表明,这种设计方法可靠灵活、高效,而且有较好的开放性及通用性。

关键词 嵌入式系统 安全关键系统 实时数据处理 集成测试

在线阅读 下载PDF 职称材料

支持截止期敏感应用的数据流任务调度方法

20

作者 于戈 李晓静 +2 位作者 杨晓春 欧征宇 邓庆绪 《软件学报》 EI CSCD 北大核心 2007年第7期1831-1843,共13页

当前,数据流上的实时处理系统大多关心平均元组延时最小化要求,而很少考虑每个元组的截止期要求.提出一种实时的自适应批任务调度策略——ATS(adaptive batch task scheduling),以支持时变突发的数据流上关键任务的严格截止期需求.ATS... 当前,数据流上的实时处理系统大多关心平均元组延时最小化要求,而很少考虑每个元组的截止期要求.提出一种实时的自适应批任务调度策略——ATS(adaptive batch task scheduling),以支持时变突发的数据流上关键任务的严格截止期需求.ATS调度策略可以降低调度开销和过期处理开销,从而实现截止期错失率最小化和有效任务完成率最大化.提出了最优调度单位概念——批粒度,设计了闭环反馈控制机制,以在不可预测的数据流环境中自适应地动态选择最优批大小.理论分析和实验表明了ATS批调度策略的有效性和高效性. 展开更多

关键词 数据流管理 实时任务调度 查询处理 截止期 反馈控制

在线阅读 下载PDF 职称材料