-
题名分布式消息系统研究综述
被引量：38
- 1
-
-
作者
吴璨
王小宁
肖海力
曹荣强
赵一宁
迟学斌
-
机构
中国科学院计算机网络信息中心
中国科学院大学
-
出处
《计算机科学》
CSCD
北大核心
2019年第B06期1-5,34,共6页
-
基金
国家重点研发计划课题(2018YFB0204001)
中国科学院青年创新促进会(2017216)资助
-
文摘
随着大数据时代的到来,各类软硬件系统的高并发访问、海量数据处理等需求越来越多,系统的高可用、易伸缩、可扩展成为系统研发的首要目标,分布式系统应运而生,提供了满足高性能需求的解决方案。然而,系统分布式地部署在不同的计算机上,使得系统间的消息通信成为重要问题。文章综述了4种流行的开源分布式消息系统,对比分析了RabbitMQ,Kafka,ActiveMQ和RocketMQ的架构及性能,为科研人员和系统开发者选择分布式消息系统提供了参考意见。
-
关键词
分布式消息系统
RabbitMQ
Kafka
ActiveMQ
RocketMQ
-
Keywords
Distributed message system
RabbitMQ
Kafka
ActiveMQ
RocketMQ
-
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
-
-
题名面向云服务的分布式消息系统负载均衡策略
被引量：5
- 2
-
-
作者
高子妍
王勇
-
机构
北京工业大学信息学部计算机学院
-
出处
《计算机科学》
CSCD
北大核心
2020年第S01期318-324,共7页
-
文摘
针对云服务下分布式消息系统存在的节点间负载倾斜问题,提出基于副本角色的动态负载均衡策略,并将算法应用于Apache Kafka分布式流平台中。基于消息系统的主要功能为读写及存储消息,算法以CPU、磁盘、网络读写流量为节点的主要负载因素,并根据不同的负载类型提出相应的首领角色迁移策略和副本迁移策略。从时间代价、空间代价、服务可用性等多个角度论证该算法的可行性,并讨论算法中涉及参数对算法执行效果的影响。经实验验证,所提算法能够实现集群中各节点的资源使用量均不大于规定阈值,并且与缺省系统相比,集群CPU占用率均方差下降72.1%,磁盘占用率均方差下降86.1%,网络流入速度均方差下降79.2%,网络流出速度均方差下降63.9%,优化效果显著。
-
关键词
分布式消息系统
负载均衡
云服务
Apache
Kafka
多副本机制
-
Keywords
Distributed messaging system
Load balancing
Cloud service
Apache Kafka
Multi-replica mechanism
-
分类号
TP393.4
[自动化与计算机技术—计算机应用技术]
-
-
题名分档布鲁姆过滤器的查询算法
被引量：14
- 3
-
-
作者
谢鲲
闵应骅
张大方
谢高岗
文吉刚
-
机构
湖南大学计算机与通信学院
中国科学院计算技术研究所网络与普适计算研究部
湖南大学软件学院
-
出处
《计算机学报》
EI
CSCD
北大核心
2007年第4期597-607,共11页
-
基金
国家自然科学基金(60473031
60273070
+3 种基金
60403031
90604015)
国家"八六三"高技术研究发展计划项目基金(2005AA121560)
湖南省科技计划项目基金(2006GK3101)资助.
-
文摘
布鲁姆过滤器是一种能够简洁地表示集合并支持集合查询的数据结构,广泛应用于数据库、网络和分布式系统中.针对现有的布鲁姆过滤器没有考虑查询失效代价这一缺陷,文中提出一种新的代价敏感的分档布鲁姆过滤器查询算法.它将元素根据不同的查询代价分为不同的子集,通过考查每档子集最低查询失效率的关系,建立由每档子集合最低查询失效假阳性概率表示的集合最低查询失效总代价目标函数,使用类目标函数梯度遗传算法获得每档的最优Hash函数个数ki,完成集合到向量的映射与查找.仿真实验结果表明,使用新结构的查询算法和标准布鲁姆过滤器算法相比,所用的查询计算时间基本相同,因为区分对待集合元素,查询失效总代价仅为标准算法的27%.
-
关键词
分档布鲁姆过滤器
计算机网络
分布式计算
分布式消息系统
集合元素查询
-
Keywords
Basket Bloom Filter
computer networks
distributed computing
distributed information system
membership query
-
分类号
TP393
[自动化与计算机技术—计算机应用技术]
-
-
题名布鲁姆过滤器代数运算探讨
被引量：8
- 4
-
-
作者
谢鲲
张大方
文吉刚
谢高岗
尤志强
-
机构
湖南大学计算机与通信学院
香港理工大学电子计算学系
湖南大学软件学院
中国科学院计算技术研究所
-
出处
《电子学报》
EI
CAS
CSCD
北大核心
2008年第5期869-874,共6页
-
基金
国防基础科研“十一五”规划(No.A1420060162)
-
文摘
本文探讨布鲁姆过滤器的代数运算和集合查询的关系,定义布鲁姆过滤器的"并","交","异或","补","差"代数运算,从理论和实验两方面分析布鲁姆过滤器的代数运算和集合代数运算并集,交集,异或集,补集,差集的元素查询关系.理论分析和实验结果表明,布鲁姆过滤器的"并","交"运算能够支持集合并集交集的元素查询,这一结论可以简化利用布鲁姆过滤器进行的系统设计.
-
关键词
计算机网络
分布式计算
分布式消息系统
集合元素查询
代数运算
-
Keywords
computer networks
distributed computing
distributed information system
set membership query
algebraic operations
-
分类号
TP393
[自动化与计算机技术—计算机应用技术]
-
-
题名联合多维布鲁姆过滤器查询算法
被引量：8
- 5
-
-
作者
谢鲲
秦拯
文吉刚
张大方
谢高岗
-
机构
湖南大学计算机与通信学院
湖南大学软件学院
中国科学院计算技术研究所网络与普适计算研究部
香港理工大学电子计算学系
-
出处
《通信学报》
EI
CSCD
北大核心
2008年第1期56-64,共9页
-
基金
国家自然科学基金资助项目(60673155,90604015,60703097)
湖南省科技计划基金资助项目(2006FJ4110)
广东省科技计划基金资助项目(2007B01020043)~~
-
文摘
分析了现有多维布鲁姆过滤器查询算法(MDBF)工作原理,提出了一种改进的两步表示和查询的联合多维布鲁姆过滤器(CMDBF)查询算法。CMDBF新增一个用于表示元素整体的联合布鲁姆过滤器CBF,CMDBF中元素表示和查找分两步进行。将MDBF的各属性的表示和查询作为第一步,第二步联合元素所有属性域,利用CBF完成元素整体的表示和查询确认。理论分析和仿真实验结果表明,CMDBF能够支持多维集合元素的简洁表示和查询,相比MDBF查询误判率降低明显。
-
关键词
计算机网络
分布式计算
分布式消息系统
集合元素查询
多维布鲁姆过滤器
-
Keywords
computer networks
distributed computing
distributed information system
set membership query
multidimensional bloom filter
-
分类号
TP393
[自动化与计算机技术—计算机应用技术]
-
-
题名一种优化的Kafka消费者/客户端负载均衡算法
被引量：20
- 6
-
-
作者
王郑合
王锋
邓辉
柳翠寅
张晓丽
-
机构
昆明理工大学云南省计算机技术应用重点实验室
-
出处
《计算机应用研究》
CSCD
北大核心
2017年第8期2306-2309,共4页
-
基金
国家基金天文联合基金重点项目(U1231205)
云南省应用基础基金重点项目(2014FA013
2013FA032)
-
文摘
Kafka是一款高吞吐的分布式消息系统,在海量数据处理等多个领域被广泛使用。但现有Kafka消费者/客户端负载均衡算法存在一些不足,在处理海量数据时易产生过高开销甚至出错等问题。提出了一种优化的Kafka消费者/客户端负载均衡算法,负载均衡过程完全由作为管理者的消费者控制,其余消费者不必单独进行负载均衡,而且管理者不用重新分配每个消费者消费的分区。系统对所有消费者的运行状况进行监控,出现宕机的消费者后可及时进行负载再均衡。测试结果说明该算法能够减少Kafka消费者/客户端在负载均衡过程中的系统开销,并避免出现错误的负载均衡结果,可以有效地保障分布科学数据处理的正确性。
-
关键词
分布式消息系统
发布订阅模式
Kafka
负载均衡
系统开销
可靠性
-
Keywords
distributed messaging system
publish-subscribe model
Kafka
load balancing
system overhead
reliability
-
分类号
TP301.6
[自动化与计算机技术—计算机系统结构]
-
