检索结果-维普期刊中文期刊服务平台

Spark上的等值连接优化被引量：12: 1; 作者卞昊穹陈跃国 +1 位作者杜小勇高彦杰《华东师范大学学报（自然科学版）》 CAS CSCD 北大核心 2014年第5期263-270,280,共9页; 等值连接作为数据分析中最常用、代价最高的操作之一,在Spark上的实现和优化与传统并行数据库有很大的差别,传统并行数据仓库中基于数据预划分的连接算法在Spark上难以实现,而目前被广泛采用的Broadcast Join和Repartition Join性能较差... 展开更多; 关键词大数据分析等值连接内存计算; 在线阅读下载PDF 职称材料

跨隐私数据库加密数据等值连接共享协议被引量：5: 2; 作者景旭李冰冰何东健《西安交通大学学报》 EI CAS CSCD 北大核心 2012年第8期37-42,共6页; 针对管理型SaaS(software as a service)中两个租户公平共享隐私数据的问题,提出一种跨隐私数据库加密数据等值连接共享协议.在该协议中:两个租户通过服务提供方(service provider,SP)用可交换加密函数交换某共有属性的全集,实现属性值... 展开更多; 关键词隐私数据库加密数据等值连接信息共享 SAAS; 在线阅读下载PDF 职称材料

基于Spark的两表等值连接过程优化被引量：1: 3; 作者张子栋郑延斌《计算机应用研究》 CSCD 北大核心 2019年第2期486-489,共4页; 在数据统计分析查询中表间的等值连接是常用的操作之一,但代价较高。大数据环境下大表之间等值连接的效率更低。为了解决该问题,提出了一种基于Spark的两表等值连接过程优化方法。首先根据数据价值密度特征构建Bloom filter完成表的过... 展开更多; 关键词 SPARK 等值连接大数据优化拆分; 在线阅读下载PDF 职称材料

跨加密关系数据库等值连接大小共享协议: 4; 作者景旭李书琴谭戈旭《四川大学学报（工程科学版）》 EI CAS CSCD 北大核心 2014年第3期95-101,共7页; 针对管理型SaaS中2个租户需要公平共享等值连接大小的问题,提出了等值连接大小的组合公式和跨加密关系数据库等值连接大小共享协议。在该协议中,由一个共享属性及对应元组其它属性的哈希值构成2元组,SP将其全集发给对方租户;对2元组中... 展开更多; 关键词关系数据库加密数据等值连接大小共享协议 SAAS; 在线阅读下载PDF 职称材料

面向多属性的不等值连接操作算法被引量：1: 5; 作者孟庆强何浩奇 +2 位作者毕倪飞赵斌吉根林《计算机工程》 CAS CSCD 北大核心 2019年第6期60-66,共7页; 为降低多属性不等值连接操作的计算代价,提出一种基于属性优选的不等值连接操作算法MIEJoin。按照连接属性对元组进行排序,计算各连接属性的候选集大小,在最小候选集中根据连接谓词进行筛选得到最终的结果集。在此基础上,为提升系统的... 展开更多; 关键词不等值查询不等值连接最小候选集缓存敏感算法查询处理; 在线阅读下载PDF 职称材料

一种构建StreamCube的超大维表连接算法被引量：2: 6; 作者甘亮贾焰 +1 位作者李爱平金鑫《计算机研究与发展》 EI CSCD 北大核心 2011年第1期55-67,共13页; 表连接是关系数据库中最重要的操作之一,在数据流管理系统中同样重要.构建StreamCube的聚集查询时,数据流与超大维表(如IPaddress维表)作表连接将耗费大量有限的计算资源和内存.超大维表需划分为多个块,分块读入内存,造成磁盘I/O频繁.... 展开更多; 关键词压缩维表 StreamCube 面向列的数据库非等值连接网络安全; 在线阅读下载PDF 职称材料

题名Spark上的等值连接优化被引量：12: 1; 作者卞昊穹陈跃国杜小勇高彦杰; 机构数据工程与知识工程教育部重点实验室(中国人民大学) 中国人民大学信息学院; 出处《华东师范大学学报（自然科学版）》 CAS CSCD 北大核心 2014年第5期263-270,280,共9页; 基金中国人民大学科学研究基金(中央高校基本科研业务费专项资金资助)(10XNI018); 文摘等值连接作为数据分析中最常用、代价最高的操作之一,在Spark上的实现和优化与传统并行数据库有很大的差别,传统并行数据仓库中基于数据预划分的连接算法在Spark上难以实现,而目前被广泛采用的Broadcast Join和Repartition Join性能较差,如何提高连接性能成为基于Spark的海量数据分析的关键.本研究将Simi-Join与Partition Join的优势相结合,并基于Spark上的特性提出了一种优化的等值连接算法.代价分析和实验表明本算法比现有基于Spark的数据分析系统中的连接算法性能提升1～2倍.; 关键词大数据分析等值连接内存计算; Keywords Spark SQL big data analysis equi-join in-memory computation; 分类号 TP392 [自动化与计算机技术—计算机应用技术]; 在线阅读下载PDF 职称材料

题名跨隐私数据库加密数据等值连接共享协议被引量：5: 2; 作者景旭李冰冰何东健; 机构西北农林科技大学机械与电子工程学院西北农林科技大学信息工程学院; 出处《西安交通大学学报》 EI CAS CSCD 北大核心 2012年第8期37-42,共6页; 基金 "十二五"国家科技支撑计划资助项目(2011BAD21B05) 中央高校基本科研业务费专项资金资助项目(QN2011036); 文摘针对管理型SaaS(software as a service)中两个租户公平共享隐私数据的问题,提出一种跨隐私数据库加密数据等值连接共享协议.在该协议中:两个租户通过服务提供方(service provider,SP)用可交换加密函数交换某共有属性的全集,实现属性值交集共享;SP用该属性值生成的密钥加密对应元组其他属性值后向对方租户分发;租户用交集生成的密钥解密;组合双方属性交集中等值元素的元组,实现两个租户通过不可信SP公平共享隐私数据.完备性、安全性证明和效率分析结果表明,在半诚实模型下,协议安全可证,满足最少必要信息共享条件,计算代价和通信代价分别是用AGRAWAL协议实现公平共享的57%和75%.; 关键词隐私数据库加密数据等值连接信息共享 SAAS; Keywords private database encrypted data equijoin sharing information software as a service; 分类号 TP309 [自动化与计算机技术—计算机系统结构]; 在线阅读下载PDF 职称材料

题名基于Spark的两表等值连接过程优化被引量：1: 3; 作者张子栋郑延斌; 机构集美大学计算机工程学院河南师范大学计算机与信息工程学院; 出处《计算机应用研究》 CSCD 北大核心 2019年第2期486-489,共4页; 基金河南省科技攻关项目(132102210537 132102210538) 河南省软科学项目(142400411001); 文摘在数据统计分析查询中表间的等值连接是常用的操作之一,但代价较高。大数据环境下大表之间等值连接的效率更低。为了解决该问题,提出了一种基于Spark的两表等值连接过程优化方法。首先根据数据价值密度特征构建Bloom filter完成表的过滤操作;其次结合simi-join和partition join两者的优势,对过滤后的单侧表使用贪心算法进行拆分;最后对拆分后的子集进行连接,因此把两大表的连接过程转换为分阶段进行的两小表连接。代价分析和实验结果表明,该算法与现有基于Spark的连接操作相比,不仅在性能上得到了提升,而且当出现数据倾斜时对算法效率影响较小。; 关键词 SPARK 等值连接大数据优化拆分; Keywords Spark equivalent connection large data optimize split; 分类号 TP311.13 [自动化与计算机技术—计算机软件与理论]; 在线阅读下载PDF 职称材料

题名跨加密关系数据库等值连接大小共享协议: 4; 作者景旭李书琴谭戈旭; 机构西北农林科技大学信息工程学院; 出处《四川大学学报（工程科学版）》 EI CAS CSCD 北大核心 2014年第3期95-101,共7页; 基金国家科技支撑计划资助项目(2013BAD15B02) 中央高校基本科研业务费资助项目(QN2011036) 科技支疆计划项目(2013AB016); 文摘针对管理型SaaS中2个租户需要公平共享等值连接大小的问题,提出了等值连接大小的组合公式和跨加密关系数据库等值连接大小共享协议。在该协议中,由一个共享属性及对应元组其它属性的哈希值构成2元组,SP将其全集发给对方租户;对2元组中的共享属性值再次加密后,租户发送给对方;租户分别计算共享属性值的密文交集以及元素对应各租户的元组数;利用等值连接大小的组合公式,2个租户公平共享了等值连接大小。完整性和安全性证明表明,协议在半诚实模型下安全可证,满足最少必要信息共享条件。效率分析表明,协议计算代价和通信代价仅是通过Agrawal协议实现公平共享的50%和约68%。原型测试可看出,协议基本能满足管理型SaaS的需求。; 关键词关系数据库加密数据等值连接大小共享协议 SAAS; Keywords relational database encrypted data equijoin size sharing protocol software as a service; 分类号 TP393.04 [自动化与计算机技术—计算机应用技术]; 在线阅读下载PDF 职称材料

题名面向多属性的不等值连接操作算法被引量：1: 5; 作者孟庆强何浩奇毕倪飞赵斌吉根林; 机构南瑞集团有限公司(国网电力科学研究院有限公司) 南京师范大学计算机科学与技术学院; 出处《计算机工程》 CAS CSCD 北大核心 2019年第6期60-66,共7页; 基金国家自然科学基金(41471371); 文摘为降低多属性不等值连接操作的计算代价,提出一种基于属性优选的不等值连接操作算法MIEJoin。按照连接属性对元组进行排序,计算各连接属性的候选集大小,在最小候选集中根据连接谓词进行筛选得到最终的结果集。在此基础上,为提升系统的缓存命中率,提出一种缓存敏感的多属性不等值连接算法CMIEJoin。基于MIEJoin算法建立元组的排列顺序数组,在内存中邻近存储连续访问的数据,以降低缓存的缺失次数并提升算法的运行效率。在TPC-H数据集上的实验结果表明,与BIEJoin算法和NLJoin算法相比,CMIEJoin算法具有较高的运行效率。; 关键词不等值查询不等值连接最小候选集缓存敏感算法查询处理; Keywords non-equi query non-equi join minimal candidate set cache-sensitive algorithm query processing; 分类号 TP392 [自动化与计算机技术—计算机应用技术]; 在线阅读下载PDF 职称材料

题名一种构建StreamCube的超大维表连接算法被引量：2: 6; 作者甘亮贾焰李爱平金鑫; 机构国防科学技术大学计算机学院长沙民政职业技术学院软件学院; 出处《计算机研究与发展》 EI CSCD 北大核心 2011年第1期55-67,共13页; 基金国家"八六三"高技术研究发展计划基金项目(2007AA010502 2007AA01Z474 +1 种基金 2006AA01Z451) 教育部新世纪优秀人才支持计划基金项目(NCET-06-0928); 文摘表连接是关系数据库中最重要的操作之一,在数据流管理系统中同样重要.构建StreamCube的聚集查询时,数据流与超大维表(如IPaddress维表)作表连接将耗费大量有限的计算资源和内存.超大维表需划分为多个块,分块读入内存,造成磁盘I/O频繁.根据维表及其连接键层的特性,降低维表与数据流连接的连接键冗余,将维表无损压缩为可装入内存的连接键范围维表(RJ-DT),引出数据流上非等值连接问题;并提出一种超大维表多表连接算法——多动态索引嵌套循环连接算法(multi dynamicindex nested-loopjoin),该算法实现数据流与压缩维表高效的非等值连接,并拓展为多表连接.理论分析及实验结果表明,该算法可使超大维表连接性能明显改善,最高可达到一个数量级的加速并具有很强的实用性.; 关键词压缩维表 StreamCube 面向列的数据库非等值连接网络安全; Keywords compressioned dimension table StreamCube column-oriented database non-equijoin network security; 分类号 TP311.13 [自动化与计算机技术—计算机软件与理论]; 在线阅读下载PDF 职称材料

	题名	作者	出处	发文年	被引量	操作
1	Spark上的等值连接优化	卞昊穹陈跃国杜小勇高彦杰	《华东师范大学学报（自然科学版）》 CAS CSCD 北大核心	2014	12	在线阅读下载PDF 职称材料
2	跨隐私数据库加密数据等值连接共享协议	景旭李冰冰何东健	《西安交通大学学报》 EI CAS CSCD 北大核心	2012	5	在线阅读下载PDF 职称材料
3	基于Spark的两表等值连接过程优化	张子栋郑延斌	《计算机应用研究》 CSCD 北大核心	2019	1	在线阅读下载PDF 职称材料
4	跨加密关系数据库等值连接大小共享协议	景旭李书琴谭戈旭	《四川大学学报（工程科学版）》 EI CAS CSCD 北大核心	2014	0	在线阅读下载PDF 职称材料
5	面向多属性的不等值连接操作算法	孟庆强何浩奇毕倪飞赵斌吉根林	《计算机工程》 CAS CSCD 北大核心	2019	1	在线阅读下载PDF 职称材料
6	一种构建StreamCube的超大维表连接算法	甘亮贾焰李爱平金鑫	《计算机研究与发展》 EI CSCD 北大核心	2011	2	在线阅读下载PDF 职称材料