一种支持高并发的感知数据接入服务 被引量：4

1

作者 王继业 丁维龙 +2 位作者 高灵超 陈涛 赵卓峰 《小型微型计算机系统》 CSCD 北大核心 2017年第12期2703-2706,共4页

随着物联网技术的广泛应用,体现物理世界运行状态的感知数据被大量前端传感设备采集;为了在云端有效存储、管理及后续分析这些数据,迫切需要支持海量前端设备接入不同种类、持续不断的异构数据.当前相关技术和系统在接入大规模高并发数... 随着物联网技术的广泛应用,体现物理世界运行状态的感知数据被大量前端传感设备采集;为了在云端有效存储、管理及后续分析这些数据,迫切需要支持海量前端设备接入不同种类、持续不断的异构数据.当前相关技术和系统在接入大规模高并发数时存在吞吐量和执行效率的瓶颈,为此设计实现了一种支持高并发的感知数据接入服务.该服务面向异构感知数据的通信,通过可定制数据结构和异步I/O多路复用,实现了大规模异构感知数据的高并发接收、解析和分发处理.相关的实验表明,该服务即使在低配虚拟机中也可以支持万级并发的数据接入能力. 展开更多

关键词 高并发 感知数据 异步 流数据

在线阅读 下载PDF 职称材料

基于负载均衡的多源流数据实时存储系统 被引量：12

2

作者 郭会云 房俊 李冬 《计算机工程与科学》 CSCD 北大核心 2017年第4期641-647,共7页

物联网感知流数据多以时序数据为主,具有数据量大、连续到达、多来源等特点。现有的基于HBase的交通流数据存储系统在数据写入并发量大时,仍然存在存储效率低与系统可用性不高的问题。针对该问题,设计并实现了基于负载均衡的多源流数据... 物联网感知流数据多以时序数据为主,具有数据量大、连续到达、多来源等特点。现有的基于HBase的交通流数据存储系统在数据写入并发量大时,仍然存在存储效率低与系统可用性不高的问题。针对该问题,设计并实现了基于负载均衡的多源流数据实时存储系统。该系统将数据代理扩展为集群架构,提出了一种基于负载均衡的任务调度算法,实现了任务与数据代理之间的按序匹配,使数据代理集群负载均衡地处理任务,实现数据并行存储到HBase数据库中。实验对比结果表明:该系统使各数据代理的数据分配比例维持在0.3~0.4,同时以约1.5倍于单数据代理的速度将数据写入HBase数据库。 展开更多

关键词 多源流数据 HBASE 实时存储系统 数据代理 负载均衡 任务调度

在线阅读 下载PDF 职称材料

一种面向异构大数据计算框架的监控及调度服务 被引量：5

3

作者 胡雅鹏 丁维龙 王桂玲 《计算机科学》 CSCD 北大核心 2018年第6期67-71,95,共6页

各种类型的大数据计算框架存在各自专用的管理方法。传统的监控和调度服务在异构环境下的操作由于无法获取集群整体的运行状态而受到限制,且无法综合多粒度的运行时资源状态来调度不同的计算作业。这不仅浪费了集群的可用资源,而且增加... 各种类型的大数据计算框架存在各自专用的管理方法。传统的监控和调度服务在异构环境下的操作由于无法获取集群整体的运行状态而受到限制,且无法综合多粒度的运行时资源状态来调度不同的计算作业。这不仅浪费了集群的可用资源,而且增加了计算作业的等待时间。针对上述两个问题,提出了一种面向异构大数据计算框架的一体化监控及动态调度管理服务。该服务可以自动适应并监控多种类型的大数据计算框架及计算作业,并对多类型作业提供一体化调度。针对Hadoop和Storm两种计算框架,实现了原型系统并进行了实验。实验结果表明,所提服务在异构环境下的大数据计算框架中能降低人工操作的复杂度,并且能提高作业的调度效率。 展开更多

关键词 作业调度 集群监控 管理服务 作业提交

在线阅读 下载PDF 职称材料

面向流数据的实时处理及服务化系统 被引量：3

4

作者 狄程 杨中国 +1 位作者 韩燕波 刘晨 《重庆大学学报（自然科学版）》 EI CAS CSCD 北大核心 2020年第7期75-83,共9页

流数据的处理需求复杂多变,业务人员要进行相应的算法定制,不仅需要相关的编程知识,更要应对繁琐的处理流程和冗长的开发周期。为解决上述问题,文中设计并实现了基于流程建模的流数据处理及服务化系统,提供了对于多源流数据的实时接入,... 流数据的处理需求复杂多变,业务人员要进行相应的算法定制,不仅需要相关的编程知识,更要应对繁琐的处理流程和冗长的开发周期。为解决上述问题,文中设计并实现了基于流程建模的流数据处理及服务化系统,提供了对于多源流数据的实时接入,流数据服务化以及流数据处理服务化的能力。该系统将流数据处理过程封装为服务提供给用户,允许用户拖拽组合流数据处理和服务化模块、配置相关参数,定义流数据处理及服务化的过程,快速又自然地实现流数据处理及服务化的任务,将处理结果经由服务路由实时推送到其他应用系统,满足不同的业务需求。案例分析表明,与传统的流数据处理系统相比,本系统具有高效、灵活、可配置等特点,在实用性、可用性和伸缩性方面都更有优势。 展开更多

关键词 流数据 视图驱动 实时处理 规则引擎 服务化

在线阅读 下载PDF 职称材料

基于ISE算法的分布式ETL任务调度策略研究 被引量：12

5

作者 王卓昊 杨冬菊 徐晨阳 《计算机科学》 CSCD 北大核心 2019年第12期1-7,共7页

随着数据仓库的规模不断扩大,数据集成下的ETL(Extraction-Transformation-Loading)任务也随之增多,单机调度显然已经不能满足当下繁多复杂的ETL任务调度。针对ETL任务调度如何提高效率、缩短关键任务等待时间、提升资源利用率等问题,... 随着数据仓库的规模不断扩大,数据集成下的ETL(Extraction-Transformation-Loading)任务也随之增多,单机调度显然已经不能满足当下繁多复杂的ETL任务调度。针对ETL任务调度如何提高效率、缩短关键任务等待时间、提升资源利用率等问题,构建了一套分布式ETL任务调度框架,该框架由调度器和若干执行器组成,通过任务预处理、任务调度分配、任务执行3个阶段来完成ETL任务调度。在任务预处理阶段,对ETL任务建立权重模型,并根据权重确定调度优先级。在任务调度分配阶段,调度器根据各个执行器节点的性能及负载情况来约束执行器节点的选择,并设计贪心平衡(Greedy Balance,GB)算法来进行ETL任务执行请求的分发,使执行器节点的负载相对均衡。在任务执行阶段,通过高响应比优先(Highest Response Ratio Next,HRRN)算法确定执行器节点队列下任务的执行优先级。实验结果表明,分布式ETL任务调度框架及相应的一体化调度执行(Integrated Scheduling Execution,ISE)算法能够有效提高集群资源的利用率,缩短任务调度的执行时间。 展开更多

关键词 任务调度 负载均衡 动态分配 分布式集群 ETL 数据集成

在线阅读 下载PDF 职称材料

时序数据多维聚合查询服务的实现 被引量：4

6

作者 盛家 房俊 +1 位作者 郭晓乾 王承栋 《重庆大学学报（自然科学版）》 EI CAS CSCD 北大核心 2020年第7期121-128,共8页

随着电能质量监测点不断扩大,产生海量具有时序特性的多维电能质量数据,当前的诸多数据查询方法不能适应电网电能质量监测数据的交互式多维聚合查询需求。研究提出时序数据多维聚合服务的实现方法,为内存中预聚合后的任务结果建立哈希... 随着电能质量监测点不断扩大,产生海量具有时序特性的多维电能质量数据,当前的诸多数据查询方法不能适应电网电能质量监测数据的交互式多维聚合查询需求。研究提出时序数据多维聚合服务的实现方法,为内存中预聚合后的任务结果建立哈希存储结构,对实时数据建立位图索引存储结构,将历史数据的预聚合数据尽量存储于内存中,改进随机读写的低性能问题,提升查询效率,解决交互式查询问题。同时运用最优聚合任务算法选择出尽量多的预聚合任务数,提高交互式查询命中率。实验验证了该算法的可行性,与分组二维背包算法相比,在预聚合任务数量选择方面具有一定优势。 展开更多

关键词 时序数据 聚合查询 预聚合 交互式查询

在线阅读 下载PDF 职称材料

面向套牌甄别的流式计算系统 被引量：8

7

作者 乔通 赵卓峰 丁维龙 《计算机应用》 CSCD 北大核心 2017年第1期153-158,共6页

套牌车的甄别具有时效性约束。针对现有计算检测方法中所出现的精度低、响应慢等局限,提出了一种基于实时车牌识别(ANPR)数据流的套牌车流式并行检测方法,设计了基于路段阈值表和时间滑动窗口的套牌计算模型,能够实时地甄别出交通数据... 套牌车的甄别具有时效性约束。针对现有计算检测方法中所出现的精度低、响应慢等局限,提出了一种基于实时车牌识别(ANPR)数据流的套牌车流式并行检测方法,设计了基于路段阈值表和时间滑动窗口的套牌计算模型,能够实时地甄别出交通数据流中的套牌嫌疑车。在Storm环境下,利用某市真实交通数据集模拟成实时交通流数据进行实验和评估,实验结果表明计算的准确率达到98.7%,并且一条车牌识别数据的处理时间为毫秒级。最后,在该计算模型基础上实现了套牌车稽查防控系统,能实时甄别并展现出当前时刻城市交通网中出现的所有套牌嫌疑车。 展开更多

关键词 套牌车 车牌识别 流式计算 实时性 阈值表 STORM

在线阅读 下载PDF 职称材料

分布式时空相关服务网络构建及其在IOT服务发现中的应用 被引量：1

8

作者 杨冬菊 赵卓峰 《重庆大学学报（自然科学版）》 EI CAS CSCD 北大核心 2020年第7期6-18,共13页

随着IOT(Internet of Things)服务的规模不断扩大,IOT服务的分布式管理是必然趋势。基于时空相关属性快速发现一组满足要求的IOT服务是IOT服务管理与使用中要解决的首要问题。传统的根据语法或语义进行服务发现的方法通常面对的是海量... 随着IOT(Internet of Things)服务的规模不断扩大,IOT服务的分布式管理是必然趋势。基于时空相关属性快速发现一组满足要求的IOT服务是IOT服务管理与使用中要解决的首要问题。传统的根据语法或语义进行服务发现的方法通常面对的是海量、离散的服务集合,服务发现时间与服务规模关系密切,并且在多次迭代递进的服务发现请求中结果无法重用。针对上述问题,提出了一种分布式时空相关服务网络的构建方法,利用服务之间的时空聚合关系与时空连接关系在离散、独立的服务之间建立关联,从而通过构建时空相关服务网络对服务进行组织与管理,重点探讨分布式环境下时空相关服务网络的构建、演化方法,以高速公路紧急事件处置场景作为案例,讨论基于服务网络的服务快速发现。 展开更多

关键词 IOT服务 服务发现 时空关联关系 服务网络 时空相关服务网络

在线阅读 下载PDF 职称材料

面向移动端基于社交关系的图片缓存替换算法 被引量：1

9

作者 王菁 牛利杰 《计算机工程与科学》 CSCD 北大核心 2017年第2期267-274,共8页

随着移动终端深入人们的生活,移动社交APP得到了广泛使用。在移动社交APP中往往会使用大量的图片资源,如微信朋友圈、Instagram的图片分享等。在APP中浏览图片会消耗较多的网络流量,影响加载速度,因此大部分APP采用首先显示缩略图,根据... 随着移动终端深入人们的生活,移动社交APP得到了广泛使用。在移动社交APP中往往会使用大量的图片资源,如微信朋友圈、Instagram的图片分享等。在APP中浏览图片会消耗较多的网络流量,影响加载速度,因此大部分APP采用首先显示缩略图,根据用户需求再加载原图的策略。在服务器端也采用缓存技术来加快缩略图产生时间,减少磁盘I/O。但是,当前的缓存机制更多关注的是缓存的访问频率、最近访问时间等因素,并没有过多关注数据生成用户之间的社交关系,也没有考虑移动用户对缩略图和原图的不同访问模式。把缓存划分为两个部分:缩略图缓存区和原图缓存区,提出了基于社交关系的图片缓存替换算法,在传统缓存替换算法的基础上增加用户的社交关系以及缩略图和原图的关联关系,通过计算图片的缓存价值进行缓存替换。实验表明,所提出的基于社交关系的图片缓存替换算法对于缩略图和原图的缓存命中率都有明显提高。 展开更多

关键词 移动社交 缓存价值 缩略图缓存区 原图缓存区

在线阅读 下载PDF 职称材料

面向服务的云-端动态协作方法 被引量：4

10

作者 曹云梦 周胜军 +1 位作者 刘晨 韩燕波 《计算机工程与科学》 CSCD 北大核心 2019年第4期598-605,共8页

边缘计算可以通过将计算转移至边缘设备,以提高大型物联网流数据的处理质量并降低网络运行成本。然而,实现大型流数据云计算和边缘计算的集成面临两个挑战。首先,边缘设备的计算能力和存储能力有限,不能支持大规模流数据的实时处理。其... 边缘计算可以通过将计算转移至边缘设备,以提高大型物联网流数据的处理质量并降低网络运行成本。然而,实现大型流数据云计算和边缘计算的集成面临两个挑战。首先,边缘设备的计算能力和存储能力有限,不能支持大规模流数据的实时处理。其次,流数据的不可预测性导致边缘端的协作不断地发生变化。因此,有必要实现边缘服务和云服务之间的灵活划分。提出一种面向服务的云端与边缘端的无缝集成方法,用于实现大规模流数据云计算和边缘计算的协作。该方法将云服务分成两部分,分别在云端和边缘端上运行。同时,提出了一种基于改进的二分图动态服务调度机制。当产生事件时,可以在适当的时间将云服务部署到边缘节点。基于真实的电能质量监控数据对提出的方法进行了有效性验证。 展开更多

关键词 边缘计算 云计算 无缝集成 主动式数据服务 动态调度

在线阅读 下载PDF 职称材料

面向高速乱序流的top-k连续查询方法 被引量：3

11

作者 武守晓 房俊 《郑州大学学报（理学版）》 北大核心 2021年第3期93-99,共7页

提出一种面向高速乱序流的top-k连续查询方法。使用基于缓存的方法等待迟到元组,但不对缓冲区内数据进行排序,通过统计运行信息实现缓存时长自适应,然后使用改造的MinTopk算法计算当前窗口的top-k结果集。实验结果表明,该方法在高速乱... 提出一种面向高速乱序流的top-k连续查询方法。使用基于缓存的方法等待迟到元组,但不对缓冲区内数据进行排序,通过统计运行信息实现缓存时长自适应,然后使用改造的MinTopk算法计算当前窗口的top-k结果集。实验结果表明,该方法在高速乱序流上实现了高效的top-k查询,在保证用户允许的最小正确率的情况下计算出最小缓存时长,减少了查询时延。 展开更多

关键词 高速乱序流 top-k连续查询 缓存时长自适应 查询时延

在线阅读 下载PDF 职称材料

基于日志挖掘的电商查询建议方法 被引量：1

12

作者 王菁 王若飞 《计算机工程与科学》 CSCD 北大核心 2018年第2期231-237,共7页

查询建议可以有效减少用户输入、消除查询歧义,提高信息检索的便捷性和准确率。随着电子商务的发展,查询建议也越来越多地应用于电子商务网站的商品搜索中。然而,传统的基于Web搜索的查询建议方法在电商领域并不能完全适用。针对电商这... 查询建议可以有效减少用户输入、消除查询歧义,提高信息检索的便捷性和准确率。随着电子商务的发展,查询建议也越来越多地应用于电子商务网站的商品搜索中。然而,传统的基于Web搜索的查询建议方法在电商领域并不能完全适用。针对电商这一特定领域,对不同的查询建议技术进行比较,提出了一种综合考虑用户的搜索以及购物行为的查询建议方法,运用MapReduce技术对用户日志进行挖掘,以此生成检索词词库;并通过在线计算与离线计算结合的方法,为用户提供实时查询建议。实验结果表明,本文提出的基于日志挖掘的电商查询建议方法能有效提高查询建议的准确率,并且具有良好的处理性能。 展开更多

关键词 查询建议 日志挖掘 电子商务 准确率 MAPREDUCE

在线阅读 下载PDF 职称材料

基于服务关联网络的服务依赖关系识别

13

作者 杨冬菊 张伟达 赵卓峰 《计算机集成制造系统》 EI CSCD 北大核心 2021年第9期2691-2700,共10页

在跨领域、跨区域、跨网络广泛互联的大服务环境下,为实现组合服务的分布部署和并行执行,如何识别并发现服务之间存在的依赖关系、支撑组合服务的合理划分是亟待解决的问题。提出一种基于服务关联网络的服务依赖关系识别方法,首先利用... 在跨领域、跨区域、跨网络广泛互联的大服务环境下,为实现组合服务的分布部署和并行执行,如何识别并发现服务之间存在的依赖关系、支撑组合服务的合理划分是亟待解决的问题。提出一种基于服务关联网络的服务依赖关系识别方法,首先利用有向图刻画服务关联网络模型,探索了一种通过已有组合服务分析服务控制流和数据流并构建服务关联网络的方法。利用图遍历、社区发现及关联规则挖掘等算法识别并抽取服务之间的数据依赖及控制依赖关系,生成服务依赖图,通过服务依赖图实现服务依赖关系的识别。通过实验验证了方法的可行性和有效性,并通过与经典算法的对比分析验证了方法的执行效率。 展开更多

关键词 服务关联网络 服务依赖关系 服务组合 服务控制依赖 服务数据依赖

在线阅读 下载PDF 职称材料