并行OLTP系统中增量数据的自动分片技术研究 被引量：4

1

作者 王晓燕 陈晋川 +1 位作者 杜小勇 范旭 《计算机科学与探索》 CSCD 2013年第9期800-810,共11页

近年来,由于数据规模的急剧增长,越来越多的大型应用系统被部署到分布式环境中,它们需要通过数据分片技术,将原有数据集和新增加的数据审慎地划分到不同的节点上,来优化并行联机事务处理(on-line transaction processing,OLTP)系统的性... 近年来,由于数据规模的急剧增长,越来越多的大型应用系统被部署到分布式环境中,它们需要通过数据分片技术,将原有数据集和新增加的数据审慎地划分到不同的节点上,来优化并行联机事务处理(on-line transaction processing,OLTP)系统的性能。针对系统中已有的静态数据和新生成的增量数据,提出了一种新的数据分片策略——数据表依赖分片策略(table dependency partitioning strategy,TDPS)。该策略首先根据数据表之间的相互依赖关系,对初始数据进行划分。当有新的数据到达时,它会自动将每个数据片段分配到最相关的数据分区中。使用TPC-C测试基准进行了一系列的实验,实验结果显示,与以前的方法相比,TDPS策略可以有效地提高系统性能。 展开更多

关键词 数据划分 联机事务处理(oltp) 增量数据

在线阅读 下载PDF 职称材料

Client／Server结构下的商场OLTP系统的设计与实现

2

作者 张凤荔 王道均 《计算机应用》 CSCD 1995年第4期16-18,共3页

本文讨论了商场的特点和选择系统体系结构，并给出了Ｃｌｉｅｎｔ／Ｓｅｒｖｅｒ结构下的商场ＯＬＴＰ系统的设计和实现。

关键词 商场 oltp系统 客户/服务器 设计

在线阅读 下载PDF 职称材料

基于分布式数据库的OLTP应用程序开发平台

3

作者 俞勇 茅维华 《计算机工程》 CAS CSCD 北大核心 1997年第5期24-27,共4页

文中设计了一个为开发在线事务处理应用程序提供直接支持的开发平台，在这个平台上创建的事务处理监视器（TPmonitor）为建立，运行和管理事务处理应用程序确立了一个基本框架，这个平台提供了事务型RPC（远程过程调用），并使用OSITP... 文中设计了一个为开发在线事务处理应用程序提供直接支持的开发平台，在这个平台上创建的事务处理监视器（TPmonitor）为建立，运行和管理事务处理应用程序确立了一个基本框架，这个平台提供了事务型RPC（远程过程调用），并使用OSITP协议中所定义的两阶段提交协议来保证事务的ACID特性. 展开更多

关键词 分布式数据库 oltp 应用程序 开发平台

在线阅读 下载PDF 职称材料

异构体系结构下的混合负载数据库自适应并行技术

4

作者 吴昊亮 刘永宏 +3 位作者 危建朋 陈建宇 万珊 谷峪 《计算机应用》 CSCD 北大核心 2024年第S01期89-94,共6页

混合负载处理(HTAP)数据库通过统一的平台处理不同的工作负载,消除数据在不同平台之间迁移和开发运营的成本,实现对最新事务数据的实时分析。针对在保证系统新鲜度的同时最小化在线事务处理(OLTP)和在线分析处理(OLAP)在系统运行过程中... 混合负载处理(HTAP)数据库通过统一的平台处理不同的工作负载,消除数据在不同平台之间迁移和开发运营的成本,实现对最新事务数据的实时分析。针对在保证系统新鲜度的同时最小化在线事务处理(OLTP)和在线分析处理(OLAP)在系统运行过程中的相互干扰的问题,提出一种中央处理器/图形处理器(CPU/GPU)异构体系结构下的混合负载数据库自适应并行技术。首先,构建异构体系结构下的混合负载数据库系统;其次,针对系统中的数据新鲜度问题,提出基于固定时间段的任务调度方法,以分离数据同步与分析查询;再次,提出一种多流并行分析处理策略,以提高系统分析处理性能;最后,针对高新鲜度的场景提出热数据优化方法,以提供全局最高新鲜度。基于CH-benCHmark基准进行测试和对比实验结果表明,与BatchDB相比,所提混合负载数据库事务性能下降率减小了50%。所提优化策略可以在提供可预测的新鲜度的情况下提供最高的分析处理性能,在少量性能损失的情况下提供最高的新鲜度。 展开更多

关键词 混合负载处理 图形处理器 在线事务处理 在线分析处理 异构体系结构

在线阅读 下载PDF 职称材料

基于锁避免的事务内阻塞分析与调度策略

5

作者 凌向荣 翁思扬 张蓉 《华东师范大学学报（自然科学版）》 CAS CSCD 北大核心 2024年第5期152-161,共10页

在现代教育环境中,高效且可靠的数据管理系统对于在线教育平台和学生信息管理系统的运行至关重要.随着教育数据量的持续增长和多用户访问频率的提高,数据库系统面临并发冲突操作带来的高吞吐要求的挑战.在众多并发控制策略中,基于锁的... 在现代教育环境中,高效且可靠的数据管理系统对于在线教育平台和学生信息管理系统的运行至关重要.随着教育数据量的持续增长和多用户访问频率的提高,数据库系统面临并发冲突操作带来的高吞吐要求的挑战.在众多并发控制策略中,基于锁的控制策略是数据库系统中常用的策略之一,然而,由于锁造成的阻塞会影响数据库中事务并发执行的性能.现有的工作主要通过调度事务间执行顺序或优化存储过程等方法减少锁竞争.为了进一步提升事务吞吐,本文基于锁避免进行事务内的阻塞分析和代价建模,并提出事务内调度策略,通过对工作负载的阻塞分析预估调度代价,然后根据一定规则在事务内部有限程度地交换操作顺序,减少锁阻塞造成的延迟,从而提高性能.最后,通过对比传统的调度策略,验证了提出的调度策略对吞吐的提升及对事务平均延迟的降低的效果. 展开更多

关键词 锁调度 并发控制 事务调度 联机事务处理

在线阅读 下载PDF 职称材料

基于Spirent的Web应用性能评测 被引量：5

6

作者 周鹏 周海鹰 +1 位作者 左德承 李韬 《计算机工程》 CAS CSCD 2012年第24期57-61,共5页

分析现有在线事务处理(OLTP)类应用评测方法,提出一种基于Spirent的Web应用性能评测方法。采用平均事务响应时间、待测系统资源利用率和每秒事务数作为主要测试指标,将Web服务器和数据库服务器作为一个整体应用,综合评测OLTP类Web应用... 分析现有在线事务处理(OLTP)类应用评测方法,提出一种基于Spirent的Web应用性能评测方法。采用平均事务响应时间、待测系统资源利用率和每秒事务数作为主要测试指标,将Web服务器和数据库服务器作为一个整体应用,综合评测OLTP类Web应用的软硬件性能,并快速定位Web应用系统的性能瓶颈。测试结果表明,该方法能将Web应用的系统性能提高40多倍,响应时间降低10多倍。 展开更多

关键词 性能测评 负载测试 性能优化 在线事务处理 Spirent测试工具

在线阅读 下载PDF 职称材料

基于数据仓库的综合查询系统的设计和实现 被引量：7

7

作者 张凤荔 葛晓峰 卢显良 《电子科技大学学报》 EI CAS CSCD 北大核心 1999年第2期207-210,共4页

在详细论述数据仓库思想、体系结构与工作原理以及相关的重要技术的基础上，给出了厂长综合查询系统的数据仓库结构和数据仓库中数据采集、数据的可视化的方法和实现示例。最后讨论了建立行之有效的决策支持系统的构想。

关键词 数据仓库 联机事务处理 综合查询 数据挖掘

在线阅读 下载PDF 职称材料

基于Nash-Pareto策略的自动数据分布方法及支持工具 被引量：2

8

作者 王晓燕 陈晋川 +1 位作者 郭小燕 杜小勇 《计算机研究与发展》 EI CSCD 北大核心 2015年第9期1965-1975,共11页

大数据时代的来临为数据存储与管理提出了新的挑战.随着数据量的迅猛增加,自动数据分布逐渐成为分布式系统中的研究重点和难点.根据对数据分布问题中数据、负载和节点3个要素的研究和分析,将数据分布问题抽象为称为DaWN(data,workload,n... 大数据时代的来临为数据存储与管理提出了新的挑战.随着数据量的迅猛增加,自动数据分布逐渐成为分布式系统中的研究重点和难点.根据对数据分布问题中数据、负载和节点3个要素的研究和分析,将数据分布问题抽象为称为DaWN(data,workload,node)的三角模型,并将3要素之间的相互关联关系抽象为数据分片、数据分配和负载执行3条纽带;据此,提出了解决自动数据分布问题的基本架构,对各功能模块的协动关系进行探讨;同时,结合已有的研究工作,采用Nash-Pareto优化均衡策略使得前述各机制相得益彰,实验结果验证了其有效性.为使研究工作更多地应用于实践,设计并实现了自动数据分布辅助原型工具ADDvisor(automatic data distribution advisor),协同支持自动数据分布的执行,共同促进大规模分布式联机事务处理系统的并行性能和自动化管理技术的发展. 展开更多

关键词 数据分布 三角模型 自动化解决方案 优化均衡 联机事务处理

在线阅读 下载PDF 职称材料

面向事务处理和基于数据集市的Intranet设计方案 被引量：2

9

作者 李振华 墙芳躅 吕国斌 《计算机工程与应用》 CSCD 北大核心 1999年第2期93-95,共3页

目前流行的Ｉｎｔｒａｎｅｔ应用模式在联机事务处理和决策支持方面存在严重不足。该文在对这些不足之处进行分析之后，给出了一个面向事务处理和基于数据集市的Ｉｎｔｒａｎｅｔ设计方案。同时，文中也对一些较新的概念进行了探讨。

关键词 联机事务处理 数据集市 INTRANET网 企业网

在线阅读 下载PDF 职称材料

一种基于图像的关联规则发现算法的研究 被引量：6

10

作者 颜雪松 蔡之华 《计算机工程与应用》 CSCD 北大核心 2003年第2期209-211,共3页

论文介绍的是在图像数据库中的知识发现,介绍了一种在二维彩色图像中发现关联规则的挖掘算法。算法主要由四步组成:属性抽取,对象鉴别,辅助图像创建和对象挖掘。重点是关于图像内容的数据挖掘,并不涉及到其它的知识领域。文章最后对所... 论文介绍的是在图像数据库中的知识发现,介绍了一种在二维彩色图像中发现关联规则的挖掘算法。算法主要由四步组成:属性抽取,对象鉴别,辅助图像创建和对象挖掘。重点是关于图像内容的数据挖掘,并不涉及到其它的知识领域。文章最后对所提出的算法进行了分析。 展开更多

关键词 关联规则发现算法 数据挖掘 图像挖掘 联机事务处理 数据库 图像数据库

在线阅读 下载PDF 职称材料

综合信息获取系统的数据仓库解决方案 被引量：4

11

作者 刘义 常戈群 《计算机工程与应用》 CSCD 北大核心 1999年第12期79-81,共3页

文章首先分析了数据仓库的概念和功能，并简单介绍了８６３／ＣＩＭＳ目标产品一综合信息获取系统。重点从数据采集、数据整合、数据的存储组织和信息表达四个层次介绍了综合信息获取系统的解决方案。

关键词 数据仓库 数据处理 信息获取系统 CIMS

在线阅读 下载PDF 职称材料

多层客户/服务器体系结构下索引优化的研究 被引量：2

12

作者 徐尤南 《计算机应用研究》 CSCD 北大核心 2001年第8期125-127,共3页

研究了在客户 /服务器体系结构下索引优化的若干方法 ,讨论了实时联机事务处理中基础数据表、动态数据表及大型交易表索引优化方法的不同点 ,介绍了如何在应用程序中高效地使用索引。所介绍的方法已成功应用于“中国铁路客票发售和预订... 研究了在客户 /服务器体系结构下索引优化的若干方法 ,讨论了实时联机事务处理中基础数据表、动态数据表及大型交易表索引优化方法的不同点 ,介绍了如何在应用程序中高效地使用索引。所介绍的方法已成功应用于“中国铁路客票发售和预订系统”这一基于多层客户 /服务器体系结构的大型实时联机事务处理系统中。 展开更多

关键词 索引优化 客户/服务器 数据查询 铁路售票 预订系统 体系结构

在线阅读 下载PDF 职称材料

贵州省农业经济智能信息系统研究 被引量：2

13

作者 曾桢 周宁 《贵州财经学院学报》 北大核心 2010年第1期97-101,共5页

目前贵州省已经建立了多个与农业信息相关的信息系统,并且收集了大量的数据。但由于这些系统属于OLTP(联机事务处理)系统,无法对数据进行有效的分析,因而发掘数据背后的知识,建立贵州省农业经济智能信息系统就显得十分有意义。农业经济... 目前贵州省已经建立了多个与农业信息相关的信息系统,并且收集了大量的数据。但由于这些系统属于OLTP(联机事务处理)系统,无法对数据进行有效的分析,因而发掘数据背后的知识,建立贵州省农业经济智能信息系统就显得十分有意义。农业经济智能信息系统的建设目标是支持决策,分析数据,提供预测,为贵州省农业经济研究、农业政策决策、农产品商业开发提供支持。 展开更多

关键词 贵州省 农业经济智能信息系统 联机事务处理 信息分析

在线阅读 下载PDF 职称材料

OLAP技术在ERP系统中的应用 被引量：1

14

作者 方伟 杜承烈 《科学技术与工程》 2007年第10期2412-2414,共3页

介绍了联机事务处理和联机分析处理,通过构建针对ERP系统客户分析的数据仓库,描述了ERP系统中OLAP的设计和实现方法,分析了OLAP服务器的内部结构,并着重研究了OLAP数据库的设计和OLAP服务器对客户端的支持。

关键词 联机事务处理 联机分析处理 企业资源计划

在线阅读 下载PDF 职称材料

C/S环境下防范数据库事务锁冲突机制的研究

15

作者 徐尤南 郭英英 《计算机工程》 CAS CSCD 北大核心 2001年第10期173-174,182,共3页

:结合实例分析了客户服务器环境下应用程序系统可能发生联机事务处理速度迟缓甚至死锁的各种因素,研究了防范联机事务 /(C/S)处理速度迟缓甚至死锁的解决方案。该方案已成功应用于“中国铁路客票发售和预订系统”这一基于客户服务器体... :结合实例分析了客户服务器环境下应用程序系统可能发生联机事务处理速度迟缓甚至死锁的各种因素,研究了防范联机事务 /(C/S)处理速度迟缓甚至死锁的解决方案。该方案已成功应用于“中国铁路客票发售和预订系统”这一基于客户服务器体系结构的大型实时联机/事务处理系统中。 展开更多

关键词 封锁机制 联机事务处理 冲突机制 数据库 客户/服务器

在线阅读 下载PDF 职称材料

固态硬盘混合存储数据库的数据分布优化算法 被引量：5

16

作者 周世民 柴云鹏 +1 位作者 王良 王鑫 《计算机工程》 CAS CSCD 北大核心 2015年第4期55-59,共5页

基于闪存的固态硬盘(SSD)可以有效提升联机事务处理(OLTP)数据库的性能,但由于目前SSD价格仍然较高,一般多与磁盘组成混合存储。为此,提出数据分布的自适应优化算法以及具体的优化策略。该算法能够自动适应应用的特征,通过观测判断各个... 基于闪存的固态硬盘(SSD)可以有效提升联机事务处理(OLTP)数据库的性能,但由于目前SSD价格仍然较高,一般多与磁盘组成混合存储。为此,提出数据分布的自适应优化算法以及具体的优化策略。该算法能够自动适应应用的特征,通过观测判断各个数据元素的性能提升效率,从而在SSD和磁盘之间自动形成理想的数据分布。基于实际数据库系统的实验结果表明,该算法可适应各种SSD空间配置,使基于混合存储的OLTP数据性能得到有效提升。 展开更多

关键词 闪存 混合存储 固态硬盘 数据库 联机事务处理 自适应 TPC-C测试

在线阅读 下载PDF 职称材料

关于数据仓库若干问题的讨论 被引量：13

17

作者 吴宏旻 陈奇 俞瑞钊 《计算机科学》 CSCD 北大核心 1999年第2期39-43,34,共6页

一、决策支持的新手段——从数据库到数据仓库数据库(DB)是传统的决策支持系统(DSS)中一个重要组成部分。但是,一般决策所需的数据总是与一些维数(每一维代表对数据的一个特定的观察视角,如地区、时间)和不同级别(如部门、领域、地区和... 一、决策支持的新手段——从数据库到数据仓库数据库(DB)是传统的决策支持系统(DSS)中一个重要组成部分。但是,一般决策所需的数据总是与一些维数(每一维代表对数据的一个特定的观察视角,如地区、时间)和不同级别(如部门、领域、地区和国家)的统计或计算有关。此外,随着政府及商业应用的发展,数据量急剧增大,用户的需求也越来越复杂,不仅要能查询或操作数据,还要进行数据分析和信息综合。可以说,以多维数据为核心的多维数据分析是决策的主要内容。因此,基于传统DB的DSS已经无法很好地满足需要,出现了许多难以克服的问题: 展开更多

关键词 数据仓库 数据库 数据处理 体系结构

在线阅读 下载PDF 职称材料

数据仓库技术及其对企业信息构架的影响 被引量：1

18

作者 孙宇辉 张根度 齐禹 《计算机工程》 CAS CSCD 北大核心 1996年第S1期278-278,共1页

数据仓库技术是近几年在信息工程领域兴起的一种新技术,由于它在决策支持系统(DSS)中起到了重要的作用,因而日益受到重视.W.H.Inmon把数据仓库定义为在支持管理决策的过程中对面向主题的、集约化的、基于时间变量的、非易变的数据的收集... 数据仓库技术是近几年在信息工程领域兴起的一种新技术,由于它在决策支持系统(DSS)中起到了重要的作用,因而日益受到重视.W.H.Inmon把数据仓库定义为在支持管理决策的过程中对面向主题的、集约化的、基于时间变量的、非易变的数据的收集.数据仓库的关键思想是在查询到来之前将分析决策所需的大量数据从传统的操作环境中分离出来,把分散的、难于访问的操作数据转换成集中统一、随时可用的信息.数据仓库有非常清晰的结构,数据仓库中不同层次的数据其汇总和详尽程度是不同的,它是由元数据、当前详尽数据、过去详尽数据、轻度汇总数据和高度汇总数据五部分构成的.数据由操作环境进入当前详尽层,此时,若发生数据汇总,则处在当前详尽层中的数据经过一定的过滤后进入轻度汇总层,进而进入高度汇总层.同时,当前详尽数据会因变“老”而被转储,成为历史数据.数据仓库的最终目标是建立企业范围内数据的单一逻辑视图,而这些数据可能会分布在不同的物理数据库中(这里所说的数据库是广义的.既包括传统的数据库,也包括文本文件等).数据仓库的设计包括数据建模、物理设计和建立最终用户的商业信息目录.数据仓库的建立涉及到数据复制、数据汇总和版本控制等诸多技术.现代企业迫于竞争压力。 展开更多

关键词 数据仓库 决策支持系统 在线事务处理

在线阅读 下载PDF 职称材料

TOPLINK——银行卡网络交换中心应用软件

19

作者 云德华 余永进 +3 位作者 刘生 沈侃民 史建翔 李伟 《计算机工程》 CAS CSCD 北大核心 1996年第S1期170-175,共6页

TOPLINK是第一个在我国大陆投入运行的ATM/POS交换中心应用软件系统,该系统由华腾软件系统有限公司自主开发,用于交换和控制一个省/市范围内不同银行之间的自动柜员机(ATM)或销售点终端(POS)上的交易.TOPLINK的设计和开发所包括的技术有... TOPLINK是第一个在我国大陆投入运行的ATM/POS交换中心应用软件系统,该系统由华腾软件系统有限公司自主开发,用于交换和控制一个省/市范围内不同银行之间的自动柜员机(ATM)或销售点终端(POS)上的交易.TOPLINK的设计和开发所包括的技术有:远程网络通讯、联机事务处理、客户机/服务器、数据安全保密、图形用户界面、多线程进程等.TOPLINK的开发过程贯彻了软件工程管理规范,诸如:组织机构和职责、软件测试、版本及修改控制、仿真及模拟等. 展开更多

关键词 金融电子化 ATM/POS交易交换中心 远程网络通讯 联机事务处理

在线阅读 下载PDF 职称材料