一个面向大规模数据库的数据挖掘系统 被引量：28

1

作者 钱卫宁 魏藜 +2 位作者 王焱 钱海蕾 周傲英 《软件学报》 EI CSCD 北大核心 2002年第8期1540-1545,共6页

数据挖掘融合了数据库技术、人工智能和统计学,是目前的研究热点.为了能够集成当前数据挖掘的主要技术并使它们协同工作,在进行数据挖掘基本算法研究的基础上研制开发了一个数据挖掘系统——Golden-Eye.系统实现了在数据挖掘研究中的一... 数据挖掘融合了数据库技术、人工智能和统计学,是目前的研究热点.为了能够集成当前数据挖掘的主要技术并使它们协同工作,在进行数据挖掘基本算法研究的基础上研制开发了一个数据挖掘系统——Golden-Eye.系统实现了在数据挖掘研究中的一些最新成果,集成了泛化、数据清洗这两个数据准备操作以及关联规则发现、例外规则发现、时序模式发现、分类器构造、聚类分析等基本数据挖掘操作,并实现了对挖掘操作的基本管理和结果的图形化显示.整个框架设计充分体现了系统的完整性、协调性和高效性:自底向上将存储控制模块、数据预处理模块、挖掘操作模块、挖掘库管理模块有机地结合在一起,在底层实现了对包括中间结果在内的数据的统一管理,在上层为用户提供了可视化的界面.实验结果表明,该系统能够在大规模数据库上成功地完成用户所指定的数据挖掘操作. 展开更多

关键词 大规模数据库 数据挖掘系统 数据预处理 存储控制 知识发现

在线阅读 下载PDF 职称材料

大规模数据库实时自主存取控制方法研究 被引量：3

2

作者 徐艳 董涛 《科学技术与工程》 北大核心 2017年第13期205-209,共5页

近年来数据库存取压力逐渐增大,当前存取控制方法扩展性差、效率低、并发性能低。为此,提出一种新的大规模数据库实时自主存取控制方法。通过贝尔-拉帕丢拉模型对大规模数据库关系分析,将其划分成能够完成操作的主动元素和储存信息的被... 近年来数据库存取压力逐渐增大,当前存取控制方法扩展性差、效率低、并发性能低。为此,提出一种新的大规模数据库实时自主存取控制方法。通过贝尔-拉帕丢拉模型对大规模数据库关系分析,将其划分成能够完成操作的主动元素和储存信息的被动元素。大规模数据库关系模型依据元素级的密级标识将密级划分成4个等级:绝密、机密、秘密、公开,依据密级实现对数据库模型的定义。介绍了大规模数据库关系模型中的密级区间、用户与角色及数据范围。依据实际应用中的特点,针对某类信息或某些"字段"将数据的密级划分至属性级,实现大规模数据库实时自主存取控制。给出数据库存取规则,详细分析了读规则、更新规则和插入规则。实验结果表明,所提方法查询效率、读取和更新效率及插入效率均较高,存取性能优。 展开更多

关键词 大规模数据库 实时 自主 存取控制

在线阅读 下载PDF 职称材料

阈值上限一定时超大规模数据库的查询方法研究 被引量：3

3

作者 黄瑜 《科学技术与工程》 北大核心 2017年第12期218-222,共5页

在确定查询阈值上限时,当前数据库查询方法只能使用查询树的一条路径,并行性能较差;在对超大规模数据进行查询时,具有查询时间长、响应不及时的弊端。为此,提出一种新的阈值上限一定时超大规模数据库的查询方法,通过RSA算法对超大规模... 在确定查询阈值上限时,当前数据库查询方法只能使用查询树的一条路径,并行性能较差;在对超大规模数据进行查询时,具有查询时间长、响应不及时的弊端。为此,提出一种新的阈值上限一定时超大规模数据库的查询方法,通过RSA算法对超大规模数据库进行加密和解密处理,依据多叉树的定义构造多叉索引树,在此基础上计算各代表数据点与查询点之间的距离;在阈值上限一定时,利用多个从节点机并行处理后,使用主节点机汇集结果,运用后续子树递归处理,直至获取查询结果。实验结果表明,所提方法不仅具有很高的查询效率,而且CPU使用率很高。 展开更多

关键词 阈值 超大规模数据库 查询

在线阅读 下载PDF 职称材料

混合的大规模数据库自动模式抽象方法 被引量：4

4

作者 王雪 周烜 王珊 《计算机学报》 EI CSCD 北大核心 2013年第8期1616-1625,共10页

随着数据库规模的扩大,其模式的复杂度也不断地增加,复杂的模式和文档的缺乏使得理解和操作数据库更加困难.现有的模式抽象方法大多通过关系表中的主外键信息查找出模式中最重要的表,然后使用这些最重要的表来构成单层次的模式总结.在... 随着数据库规模的扩大,其模式的复杂度也不断地增加,复杂的模式和文档的缺乏使得理解和操作数据库更加困难.现有的模式抽象方法大多通过关系表中的主外键信息查找出模式中最重要的表,然后使用这些最重要的表来构成单层次的模式总结.在现实应用中,这些模式总结的主题并不明确.文中陈述了现有方法的不足,然后给出了一种为大规模数据库生成多层次模式抽象的方法.在此方法中,首先使用不同类型的社区社团检测算法来将数据库模式划分为"团",然后使用元聚类方法将这些"团"集成为数据库的主题组,每一个主题组代表数据库的一个主题.最后将这些主题组进行进一步的聚类以生成主题组类,并为每一个主题组类挑选标签以生成多层次的模式抽象.在Freebase——开源的大规模数据库上验证了文中算法的有效性.实验证明文中算法不仅能够精确地识别大规模数据库的主题,同时可以依据数据库的主题生成易于理解、能够帮助用户浏览和检索数据库的多层次模式抽象. 展开更多

关键词 模式 抽象 大规模数据库 主题组 混合

在线阅读 下载PDF 职称材料

基于大规模数据库的备份恢复模型 被引量：1

5

作者 夏斌 王乐 +1 位作者 杨树强 韩伟红 《郑州大学学报（理学版）》 CAS 2007年第4期40-44,共5页

结合事务处理的思想,提出了一个可并行的多层事务备份恢复模型,该模型具有备份速度快、容错能力强、对在线系统影响小等特点.通过在一个实际的、由多个数据库节点组成的大规模数据库系统平台上对该备份恢复模型的实现和应用,证明了该模... 结合事务处理的思想,提出了一个可并行的多层事务备份恢复模型,该模型具有备份速度快、容错能力强、对在线系统影响小等特点.通过在一个实际的、由多个数据库节点组成的大规模数据库系统平台上对该备份恢复模型的实现和应用,证明了该模型的合理性和可用性. 展开更多

关键词 大规模数据库 备份 恢复 事务 设计

在线阅读 下载PDF 职称材料

大规模数据库系统中的面向服务架构研究 被引量：1

6

作者 李慧 宋怀明 +3 位作者 焦丽梅 刘莹 王洋 王启荣 《计算机工程》 CAS CSCD 北大核心 2007年第2期85-87,96,共4页

为了满足复杂的大规模数据库系统所要求的简单、高效、高可靠的需求,该文定义了面向服务的架构。该架构把繁杂多变的系统模块分为多个服务模块,每个模块独立实现其功能,介绍了面向服务的架构如何处理服务间的协调、部署、通信和高可用方... 为了满足复杂的大规模数据库系统所要求的简单、高效、高可靠的需求,该文定义了面向服务的架构。该架构把繁杂多变的系统模块分为多个服务模块,每个模块独立实现其功能,介绍了面向服务的架构如何处理服务间的协调、部署、通信和高可用方案,使诸多松散耦合的服务保持统一的管理和彼此间的联系,面向服务的架构大大简化了复杂的大规模数据库系统,并使整个系统的结构清晰化。 展开更多

关键词 大规模数据库系统 面向服务的架构 互联网通信引擎

在线阅读 下载PDF 职称材料

应用Aprion算法实现大规模数据库关联规则挖掘的技术研究 被引量：15

7

作者 郝海涛 马元元 《现代电子技术》 北大核心 2016年第7期124-126,共3页

随着信息技术的发展,大数据时代的到来,在这种环境下必须进行数据挖掘工作。从大量的应用数据中将潜在的有价值的知识和信息挖掘出来,以便将其应用在实际工作的改进中。目前,数据挖掘的方法有很多,其中关联规则挖掘技术应用比较广泛,这... 随着信息技术的发展,大数据时代的到来,在这种环境下必须进行数据挖掘工作。从大量的应用数据中将潜在的有价值的知识和信息挖掘出来,以便将其应用在实际工作的改进中。目前,数据挖掘的方法有很多,其中关联规则挖掘技术应用比较广泛,这种数据挖掘方式利用Aprion算法,挖掘出置信度和支持度均比较高的关联信息,反映出数据库中的数据相互之间的复杂性和有趣性,进而挖掘出数据之间的有益关联,促进大规模数据库信息挖掘技术的发展,主要从Aprion算法方面分析大规模数据库关联规则挖掘的技术。 展开更多

关键词 Aprion算法 大规模数据库 关联规则挖掘 置信度 支持度

在线阅读 下载PDF 职称材料

基于深度学习的大规模数据库重复记录删除研究 被引量：2

8

作者 职晓晓 《现代电子技术》 2021年第5期114-116,共3页

重复记录直接影响数据库管理的效率,当前重复记录删除的正确率低、误删率高,为了提高重复记录删除的正确率,满足重复记录管理的要求,提出基于深度学习的大规模数据库重复记录删除方法。首先对已有数据库重复记录删除方法进行分析,找到... 重复记录直接影响数据库管理的效率,当前重复记录删除的正确率低、误删率高,为了提高重复记录删除的正确率,满足重复记录管理的要求,提出基于深度学习的大规模数据库重复记录删除方法。首先对已有数据库重复记录删除方法进行分析,找到引起数据库重复记录删除不理想的因素;然后采用深度学习算法对数据库重复记录数据进行学习,建立数据库重复记录的分类器,根据分类结果进行数据库重复记录删除操作;最后通过仿真实验分析数据库重复记录删除效果。结果表明,深度学习算法可以对数据库重复记录进行准确分类和识别,获得较高的删除正确率,误删率明显小于其他数据库重复记录删除方法,研究结果具有一定的理论和实际价值。 展开更多

关键词 重复记录删除 大规模数据库 数据库管理 分类器建立 深度学习算法 效果分析

在线阅读 下载PDF 职称材料

大规模交易数据库的一种有效聚类算法(英文) 被引量：17

9

作者 陈宁 陈安 +1 位作者 周龙骧 CHEN Ning 《软件学报》 EI CSCD 北大核心 2001年第4期475-484,共10页

研究大规模交易数据库的聚类问题 ,提出了一种二次聚类算法—— CATD.该算法首先将数据库划分成若干分区 ,在每个分区内利用层次聚类算法进行局部聚类 ,把交易初步划分成若干亚聚类 ,亚聚类的个数由聚类间的距离参数控制 .然后对所有的... 研究大规模交易数据库的聚类问题 ,提出了一种二次聚类算法—— CATD.该算法首先将数据库划分成若干分区 ,在每个分区内利用层次聚类算法进行局部聚类 ,把交易初步划分成若干亚聚类 ,亚聚类的个数由聚类间的距离参数控制 .然后对所有的亚聚类进行全局聚类 ,同时识别出噪声 .由于采用了分区方法和聚类的支持向量表示法 ,该算法只需扫描一次数据库 ,聚类过程在内存中进行 ,因此能处理大规模的数据库 . 展开更多

关键词 数据挖掘 层次聚类 大规模交易数据库 聚类算法

在线阅读 下载PDF 职称材料

大规模文本数据库中的短文分类方法 被引量：4

10

作者 王永恒 贾焰 杨树强 《计算机工程与应用》 CSCD 北大核心 2006年第22期5-7,共3页

信息技术的飞速发展造成了大量的文本数据累积,其中很大一部分是短文本数据。文本分类技术对于从这些海量短文中自动获取知识具有重要意义。但是由于短文中的关键词出现次数少,而且带标签的训练样本又通常数量很少,现有的一般文本挖掘... 信息技术的飞速发展造成了大量的文本数据累积,其中很大一部分是短文本数据。文本分类技术对于从这些海量短文中自动获取知识具有重要意义。但是由于短文中的关键词出现次数少,而且带标签的训练样本又通常数量很少,现有的一般文本挖掘算法很难得到可接受的准确度。一些基于语义的分类方法获得了较好的准确度但又由于其低效性而无法适用于海量数据。文本提出了一个新颖的短文分类算法。该算法基于文本语义特征图,并使用类似kNN的方法进行分类。实验表明该算法在对海量短文进行分类时,其准确度和性能超过其它的算法。 展开更多

关键词 文本挖掘 分类 短文 大规模文本数据库

在线阅读 下载PDF 职称材料

基于LADBM模块的大规模数据实时仿真实现

11

作者 付杰 陈正江 危拥军 《计算机应用》 CSCD 北大核心 2008年第S2期307-309,共3页

数字城市中的基础数据就是空间数据,由于计算机的硬件和数据量的限制,使得解决海量三维数据的实时仿真问题成为数字城市建设的重要制约因素。研究和分析了Vega大规模数据库调度和管理的原理,通过基于MFC的Vega应用程序设计,实现了对大... 数字城市中的基础数据就是空间数据,由于计算机的硬件和数据量的限制,使得解决海量三维数据的实时仿真问题成为数字城市建设的重要制约因素。研究和分析了Vega大规模数据库调度和管理的原理,通过基于MFC的Vega应用程序设计,实现了对大规模地物模型的实时仿真。 展开更多

关键词 区域 兴趣区域 大规模数据库管理技术 仿真

在线阅读 下载PDF 职称材料

基于数据分区的并行DBSCAN算法 被引量：16

12

作者 何中胜 刘宗田 庄燕滨 《小型微型计算机系统》 CSCD 北大核心 2006年第1期114-116,共3页

DBSCAN是基于密度的聚类算法的一个典型代表算法,它对空间数据库聚类有很好的性能.然而,在对大规模数据库聚类时,DBSCAN需要大量内存支持并伴随着I/O开销.随着高性能计算机的发展,特别是集群式计算机出现,给我们提供了一种解决DBSCAN算... DBSCAN是基于密度的聚类算法的一个典型代表算法,它对空间数据库聚类有很好的性能.然而,在对大规模数据库聚类时,DBSCAN需要大量内存支持并伴随着I/O开销.随着高性能计算机的发展,特别是集群式计算机出现,给我们提供了一种解决DBSCAN算法缺陷的方法,本文提出一种建立在集群式高性能计算机上基于数据分区并行DBSCAN算法.测试结果表明,它极大地降低了DBSCAN对时间和空间的需要. 展开更多

关键词 大规模数据库 聚类 数据分区 DBSCAN算法 并行计算消息传送

在线阅读 下载PDF 职称材料

基于数据交叠分区的并行DBSCAN算法 被引量：9

13

作者 宋明 刘宗田 《计算机应用研究》 CSCD 北大核心 2004年第7期17-20,共4页

DBSCAN是基于密度的聚类算法的一个典型代表 ,它对空间数据库聚类有很好的性能。然而 ,在对大规模数据库聚类时 ,DBSCAN需要大量内存支持并伴随着I/O开销。随着高性能计算机的发展 ,特别是集群式计算机的出现 ,提供了一种解决DBSCAN算... DBSCAN是基于密度的聚类算法的一个典型代表 ,它对空间数据库聚类有很好的性能。然而 ,在对大规模数据库聚类时 ,DBSCAN需要大量内存支持并伴随着I/O开销。随着高性能计算机的发展 ,特别是集群式计算机的出现 ,提供了一种解决DBSCAN算法缺陷的方法。测试表明 。 展开更多

关键词 大规模数据库 聚类 数据交叠分区 DBSCAN算法 并行计算

在线阅读 下载PDF 职称材料

FDBSCAN:一种快速 DBSCAN算法(英文) 被引量：42

14

作者 周水庚 周傲英 +2 位作者 金文 范晔 钱卫宁 《软件学报》 EI CSCD 北大核心 2000年第6期735-744,共10页

聚类分析是一门重要的技术 ,在数据挖掘、统计数据分析、模式匹配和图象处理等领域具有广泛的应用前景 .目前 ,人们已经提出了许多聚类算法 .其中 ,DBSCAN是一种性能优越的基于密度的空间聚类算法 .利用基于密度的聚类概念 ,用户只需输... 聚类分析是一门重要的技术 ,在数据挖掘、统计数据分析、模式匹配和图象处理等领域具有广泛的应用前景 .目前 ,人们已经提出了许多聚类算法 .其中 ,DBSCAN是一种性能优越的基于密度的空间聚类算法 .利用基于密度的聚类概念 ,用户只需输入一个参数 ,DBSCAN算法就能够发现任意形状的类 ,并可以有效地处理噪声 .文章提出了一种加快 DBSCAN算法的方法 .新算法以核心对象邻域中所有对象的代表对象为种子对象来扩展类 ,从而减少区域查询次数 ,降低 I/ O开销 .实验结果表明 ,FDBSCAN能够有效地对大规模数据库进行聚类 ,速度上数倍于 DBSCAN. 展开更多

关键词 大规模数据库 数据挖掘 聚类 快速DBSCAN算法 代表点

在线阅读 下载PDF 职称材料

低压集抄系统实用化分析 被引量：1

15

作者 朱金萍 《农村电工》 2012年第12期32-32,共1页

河南省禹州市电力工业公司低压集抄系统集GPRS／CDMA、低压电力线载波等各种先进的通信技术以及嵌入式计算机、大规模数据库等计算机技术为一体，具有稳定可靠、采集成功率高、维护简单方便等特点。该系统及配套设备经过多个用户现场运... 河南省禹州市电力工业公司低压集抄系统集GPRS／CDMA、低压电力线载波等各种先进的通信技术以及嵌入式计算机、大规模数据库等计算机技术为一体，具有稳定可靠、采集成功率高、维护简单方便等特点。该系统及配套设备经过多个用户现场运行结果证明，系统日采集成功率达到98％以上，达到电能量采集的实用化要求。 展开更多

关键词 低压电力线载波 集抄系统 实用化 GPRS CDMA 嵌入式计算机 大规模数据库 计算机技术 电能量采集

在线阅读 下载PDF 职称材料