非阻塞事务型实时数据注入技术研究与实现

1

作者 余楷 李志方 +1 位作者 周敏奇 周傲英 《华东师范大学学报（自然科学版）》 CAS CSCD 北大核心 2016年第5期131-143,164,共14页

伴随着大数据时代来临,传统数据库系统已逐渐无法应对海量数据处理带来的挑战,而分布式数据库系统得到了越来越多的部署和应用.分布式数据库系统部署数据于多台机器上,利用大规模并行计算技术实现了对海量数据的存储、管理和分析.但针... 伴随着大数据时代来临,传统数据库系统已逐渐无法应对海量数据处理带来的挑战,而分布式数据库系统得到了越来越多的部署和应用.分布式数据库系统部署数据于多台机器上,利用大规模并行计算技术实现了对海量数据的存储、管理和分析.但针对金融领域严苛的事务型实时数据注入需求,现有分布式数据库系统对其支持有限,其主要原因在于利用锁和两阶段提交等方式实现分布式事务处理,无法做到非阻塞式数据注入,极大地影响了数据注入的性能.华东师范大学数据科学与工程研究院自主研发的分布式内存数据库系统——CLAIMS,已能提供面向关系型数据集的实时数据分析服务,但尚不能支持实时数据注入.针对上述实时数据注入的问题,本文重点分析了现有数据注入技术和基于分布式事务处理的实现方式,设计了面向元数据的集中式事务处理策略,利用无锁编程技术,实现了支持分布式事务的高性能实时数据注入框架,并通过热备机制实现系统的高可用性.上述框架在CLAIMS系统中的实现,经充分实验表明:该框架能够实现高通量的事务型实时数据注入,同时支持低延时的实时数据查询. 展开更多

关键词 分布式数据库 实时数据注入 事务 CLAIMS

在线阅读 下载PDF 职称材料

基于手机大数据的城市人口流动分析系统 被引量：15

2

作者 包婷 章志刚 金澈清 《华东师范大学学报（自然科学版）》 CAS CSCD 北大核心 2015年第5期162-171,共10页

分析城市人口流动行为有助于合理分配社会资源,有效应对交通压力、维护社会公共治安等.传统的人工分析方法,如问卷调查、座谈访问等,成本高昂且低效率.智能手机的不断发展与普及在为人们日常生活带来极大便利的同时,所产生的用户移动轨... 分析城市人口流动行为有助于合理分配社会资源,有效应对交通压力、维护社会公共治安等.传统的人工分析方法,如问卷调查、座谈访问等,成本高昂且低效率.智能手机的不断发展与普及在为人们日常生活带来极大便利的同时,所产生的用户移动轨迹数据为有效分析城市人口流动行为提供了可能.然而,海量、低质的轨迹数据给查询分析工作带来了诸多挑战.文中提出了一个分布式人口流动分析框架,采用多节点处理任务,从而提升了算法的执行能力和可扩展性.利用手机运营商提供的手机轨迹数据,分析城市人口流动情况,建立了多个模型,包括进出城市的人口流动行为分析模型、市内各区县间的人口流动行为分析模型、居民工作地/居住地人口分析模型.与传统方法相比,本方案的成本更低,效率更高,覆盖人群更广. 展开更多

关键词 人口流动 轨迹数据 分布式框架

在线阅读 下载PDF 职称材料

轨迹数据压缩综述 被引量：21

3

作者 江俊文 王晓玲 《华东师范大学学报（自然科学版）》 CAS CSCD 北大核心 2015年第5期61-76,共16页

移动终端的普及和全球定位系统(Global Positioning System,GPS)的发展,产生了海量的移动轨迹数据.许多基于位置服务(Location-Based Services,LBS)利用这些轨迹数据为用户提供服务.但是轨迹数据的日益增多也带来了许多挑战:数据量巨大... 移动终端的普及和全球定位系统(Global Positioning System,GPS)的发展,产生了海量的移动轨迹数据.许多基于位置服务(Location-Based Services,LBS)利用这些轨迹数据为用户提供服务.但是轨迹数据的日益增多也带来了许多挑战:数据量巨大、查询延时增长、数据冗余.因此,轨迹压缩对于提供更好的服务是非常有必要的.轨迹压缩的目标是在满足压缩轨迹与原始轨迹之间的相似度条件下,尽可能减小轨迹数据量.本文回顾了已有的轨迹压缩工作,包括线段简化压缩方法、基于路网的压缩方法和语义压缩方法,并介绍了基于压缩轨迹的查询处理和轨迹管理系统. 展开更多

关键词 轨迹数据 压缩 查询 管理 压缩率

在线阅读 下载PDF 职称材料

“内存计算数据管理”专辑导读

4

作者 周傲英 《华东师范大学学报（自然科学版）》 CAS CSCD 北大核心 2014年第5期I0001-I0002,共2页

周傲英．华东师范大学长江学者特聘教授，数据科学与工程研究院院长．云计算与大数据研究中心主任．先后于1985和1988年在成都科技大学获得计算机应用学士和硕士学位，1993年在复旦大学计算机系获得博士学位．曾获得国家杰出青年基金．... 周傲英．华东师范大学长江学者特聘教授，数据科学与工程研究院院长．云计算与大数据研究中心主任．先后于1985和1988年在成都科技大学获得计算机应用学士和硕士学位，1993年在复旦大学计算机系获得博士学位．曾获得国家杰出青年基金．目前担任中国计算机学会数据库专业委员会副主任、 展开更多

关键词 计算机应用 数据管理 华东师范大学 导读 专辑 内存 专业委员会 长江学者

在线阅读 下载PDF 职称材料

基于手机轨迹数据的人口流动分析 被引量：6

5

作者 孔扬鑫 金澈清 王晓玲 《计算机应用》 CSCD 北大核心 2016年第1期44-51,共8页

随着通信技术的发展和智能手机的普及,运营商基站所采集的大规模手机轨迹数据在城市规划、人口迁移等领域中发挥了重要价值。针对城市人口流动问题,提出一种利用手机轨迹数据的基于轨迹行为特征的人口流动判定(MF-JUPF)算法。首先,可对... 随着通信技术的发展和智能手机的普及,运营商基站所采集的大规模手机轨迹数据在城市规划、人口迁移等领域中发挥了重要价值。针对城市人口流动问题,提出一种利用手机轨迹数据的基于轨迹行为特征的人口流动判定(MF-JUPF)算法。首先,可对手机轨迹数据进行数据预处理,以提取用户活动轨迹;然后根据进出城市的行为模式提取重要特征,再根据真实标注数据集合利用多种分类模型进行参数训练;最后,根据模型训练结果判定用户轨迹是否为进出城市行为。所提系统使用MapReduce框架进行数据分析,以提高性能和可扩展性。基于真实数据集合的实验结果表明,对于进出城市的判定,该方法的准确率和召回率可达80%以上,与基于信号消失时长的人口流动判定(SD-JUPF)算法相比,在判定进入城市的准确率上提高了19.0%,召回率提高了13.9%;在判定离开城市的准确率上提高了17.3%,召回率提高了6.1%。相比非过滤算法,根据手机轨迹数据特点进行的数据过滤算法可减少处理时间36.1%以上。理论分析和实验结果表明MF-JUPF方法精度高,可扩展性好,因此对城市规划等领域有重要应用价值。 展开更多

关键词 基于位置服务 手机轨迹数据 人口流动 城市规划 MAPREDUCE

在线阅读 下载PDF 职称材料

高可用数据库系统中的分布式一致性协议 被引量：3

6

作者 储佳佳 郭进伟 +2 位作者 刘柏众 张晨东 钱卫宁 《华东师范大学学报（自然科学版）》 CAS CSCD 北大核心 2016年第5期1-9,35,共10页

可用性和一致性是分布式数据库系统中的两个重要特性和基础,需要借助分布式一致性协议来保证.保证一致性需要使用一致性协议为并发的事务更新操作确定一个全局的执行顺序,并协调局部状态和全局状态不断地达到动态一致.可用性的实现,需... 可用性和一致性是分布式数据库系统中的两个重要特性和基础,需要借助分布式一致性协议来保证.保证一致性需要使用一致性协议为并发的事务更新操作确定一个全局的执行顺序,并协调局部状态和全局状态不断地达到动态一致.可用性的实现,需要一致性协议协调多副本之间的一致来实现主备节点的无缝切换.可见,分布式一致性协议是高可用数据库系统的实现基础.本文梳理、综述了经典的分布式一致性协议以及一致性协议在高可用数据库系统中的主要应用,并对分布式一致性协议的实现代价和局限性进行了分析与评估. 展开更多

关键词 高可用性 一致性 分布式一致性协议 分布式数据库

在线阅读 下载PDF 职称材料

基线与增量数据分离架构下的分布式连接算法 被引量：6

7

作者 樊秋实 周敏奇 周傲英 《计算机学报》 EI CSCD 北大核心 2016年第10期2102-2113,共12页

在大数据背景下,数据库系统表连接操作的效率急需优化,尤其对于基线与增量数据分离的数据库系统来说,其连接操作更是成为其性能的主要瓶颈.为了有效提升事务处理的性能,在基线与增量数据分离的数据库系统架构中,通常将基线数据存储于磁... 在大数据背景下,数据库系统表连接操作的效率急需优化,尤其对于基线与增量数据分离的数据库系统来说,其连接操作更是成为其性能的主要瓶颈.为了有效提升事务处理的性能,在基线与增量数据分离的数据库系统架构中,通常将基线数据存储于磁盘中,增量数据存储于内存中,进而获得较高的事务处理吞吐量和可扩展性.Hbase、BigTable、OceanBase等系统是典型的基线与增量数据分离的数据库管理系统,但是他们的表连接效率较低,其主要原因包括:每次表连接前必须先合并基线数据和增量数据;数据存储模式更为复杂,导致过大的网络开销.该文提出了一种基线与增量数据分离架构下的排序归并连接优化算法.该算法对连接属性做范围切分,在多个节点上并行做排序归并连接.该算法无需在连接前合并基线数据和增量数据,进而实现对基线和增量数据并行处理,同时也避免了大量非连接结果集数据的基线与增量合并操作.并在开源的数据库OceanBase上实现了该算法,通过一系列实验证明,该算法可以极大提高OceanBase数据库的表连接处理性能. 展开更多

关键词 分布式连接 增量数据 并行处理 排序归并连接

在线阅读 下载PDF 职称材料

基于Map/Reduce的分布式数据排序算法分析 被引量：2

8

作者 余晟隽 宫学庆 +1 位作者 祝君 钱卫宁 《华东师范大学学报（自然科学版）》 CAS CSCD 北大核心 2016年第5期121-130,共10页

为了解决大规模数据的存储与计算,近年来分布式系统得到了大量的应用.如何在分布式系统中对大规模数据集进行排序是影响许多应用性能的基础问题,其中不仅涉及每个节点上排序算法的选择,更重要的是设计协调各节点的分布式算法.本文总结... 为了解决大规模数据的存储与计算,近年来分布式系统得到了大量的应用.如何在分布式系统中对大规模数据集进行排序是影响许多应用性能的基础问题,其中不仅涉及每个节点上排序算法的选择,更重要的是设计协调各节点的分布式算法.本文总结了分布式系统中常用的分布式排序算法,对每种算法的执行流程、代价模型和适用场景进行了分析,并通过实验对分析结果进行了验证.本文的工作可以帮助开发人员选择和优化分布式环境下大规模数据排序的算法. 展开更多

关键词 分布式系统 排序算法 代价模型

在线阅读 下载PDF 职称材料

内存数据库事务提交的关键技术与挑战 被引量：2

9

作者 胡爽 周欢 钱卫宁 《华东师范大学学报（自然科学版）》 CAS CSCD 北大核心 2016年第5期18-26,共9页

ARIES作为传统事务提交机制从20世纪90年代问世以来,一直是主流商业或开源数据库系统普遍采用的方法.随着应用的高通量化,基于传统硬件设备实现的事务提交机制成为了系统性能提升的首要瓶颈.然而大内存、多核等高性能硬件技术的发展又... ARIES作为传统事务提交机制从20世纪90年代问世以来,一直是主流商业或开源数据库系统普遍采用的方法.随着应用的高通量化,基于传统硬件设备实现的事务提交机制成为了系统性能提升的首要瓶颈.然而大内存、多核等高性能硬件技术的发展又为事务提交机制的优化提供了新的契机.本文详细分析并总结了传统事务提交机制中存在的问题,然后归纳并讨论了现有基于新型硬件的事务提交技术的应用现状与优缺点,最后探讨了事务提交优化的未来发展与挑战. 展开更多

关键词 内存数据库 事务提交 日志处理技术

在线阅读 下载PDF 职称材料

OceanBase数据库监控系统 被引量：1

10

作者 王雷 钱招明 +4 位作者 郭进伟 张蓉 周敏奇 高明 钱卫宁 《计算机应用》 CSCD 北大核心 2016年第A01期237-239,共3页

针对目前Oceanbase数据库监控方面薄弱的问题,基于OceanBase的系统架构以及参考其集群部署,并借助其提供的系统接口,提出一套适用于OceanBase在系统监控、系统预警以及故障定位等方面的可执行方案,以此实现了OceanBase监控系统OBDMS。首... 针对目前Oceanbase数据库监控方面薄弱的问题,基于OceanBase的系统架构以及参考其集群部署,并借助其提供的系统接口,提出一套适用于OceanBase在系统监控、系统预警以及故障定位等方面的可执行方案,以此实现了OceanBase监控系统OBDMS。首先,调研OceanBase在系统架构及集群部署等方面的特点;其次,根据OceanBase提供的系统接口以及系统监控、预警和故障定位等目标,构建OBDMS的系统架构;最后,利用OBDMS的系统架构并结合分布式系统的原理,实现了OBDMS。通过分析对比、实验结果表明:只需在每个监控节点上部署监控代理,OBDMS就能自动收集各个节点上的监控信息,节省了运维时间;并且通过一个月的运行以及压力测试,OBDMS各模块均运行正常,具有较高的可靠性。因此,OBDMS具备部署简单、节省运维时间、可靠稳定等特点。 展开更多

关键词 数据库监控系统 OceanBase 分布式数据库 故障定位 系统预警

在线阅读 下载PDF 职称材料

分布式内存数据库系统的容错管理 被引量：1

11

作者 赵镇辉 黄承晟 +1 位作者 周敏奇 周傲英 《华东师范大学学报（自然科学版）》 CAS CSCD 北大核心 2016年第5期27-35,共9页

在大数据背景下,分布式系统被企业广泛部署和应用,随着分布式系统节点规模的扩大,系统故障的概率也将随之增加,在分布式系统中引入容错机制,对提升分布式系统可用性、可靠性、可恢复性至关重要.CLAIMS系统是面向金融领域的对实时数据进... 在大数据背景下,分布式系统被企业广泛部署和应用,随着分布式系统节点规模的扩大,系统故障的概率也将随之增加,在分布式系统中引入容错机制,对提升分布式系统可用性、可靠性、可恢复性至关重要.CLAIMS系统是面向金融领域的对实时数据进行实时分析的内存数据库系统——在数据不断注入系统时,提供近实时的查询、分析任务.本文主要探讨CLAIMS系统中容错机制.依据租约机制,实现系统中异常节点的快速发现及标记(即Fail-fast).在标记异常节点之后,实现对受影响分析任务的重启(即Fail-over);对异常节点全局内存状态的恢复(即Fail-back).实验结果表明,本文所提算法能够较好地实现CLAIMS系统的容错特性. 展开更多

关键词 分布式内存数据库 容错 租约

在线阅读 下载PDF 职称材料

内存集群计算:交互式数据分析 被引量：4

12

作者 黄岚 孙珂 +1 位作者 陈晓竹 周敏奇 《华东师范大学学报（自然科学版）》 CAS CSCD 北大核心 2014年第5期216-227,共12页

本文围绕大数据分类中决策数据的管理和分析进行展开.重点分析了大数据时代关于商务智能(Business Intelligence,BI)技术新的应用需求;讨论了计算机硬件和体系结构的发展为决策数据管理和分析带来的挑战和机遇;通过对新兴典型应用的分... 本文围绕大数据分类中决策数据的管理和分析进行展开.重点分析了大数据时代关于商务智能(Business Intelligence,BI)技术新的应用需求;讨论了计算机硬件和体系结构的发展为决策数据管理和分析带来的挑战和机遇;通过对新兴典型应用的分析和相关技术和系统特点的总结,说明了基于内存计算的高性能数据管理和分析技术是当前亟待解决的问题,具有广阔的应用前景.在全内存式(in-memory)数据管理环境下,网络通讯将成为整个系统的主要瓶颈.结合内存的特点(数据易失性、内存墙瓶颈),设计针对高性能服务器的无共享分布式内存系统拓扑结构;研究面向异构、多层次缓存和内存结构的分布式数据布局与索引策略,跨核、跨处理器、跨服务器的多粒度并行处理框架,缓存感知、内存感知的分布式数据一致性维护等关键技术,轻量级面向按列存储的数据压缩机制及压缩感知的数据处理机制,将是基于内存计算的高性能数据管理与分析技术的重点研究内容,并将最终实现实时交互式分析处理. 展开更多

关键词 内存数据管理 缓存感知 迭代式处理

在线阅读 下载PDF 职称材料

面向社交数据流连续查询的基准评测

13

作者 李叶 夏帆 钱卫宁 《华东师范大学学报（自然科学版）》 CAS CSCD 北大核心 2014年第5期330-339,共10页

社交数据流上的连续查询处理具有广泛的应用,但其处理技术仍不成熟.本文对社交数据流上的连续查询问题进行建模,定义数据特征、负载类型与分布,以及性能测度.在此基础上,提出一个面向该问题的基准评测.该工作对社交数据流处理应用的系... 社交数据流上的连续查询处理具有广泛的应用,但其处理技术仍不成熟.本文对社交数据流上的连续查询问题进行建模,定义数据特征、负载类型与分布,以及性能测度.在此基础上,提出一个面向该问题的基准评测.该工作对社交数据流处理应用的系统选型、相关查询处理技术性能比较具有重要意义. 展开更多

关键词 基准评测 连续查询 社交数据流 社交媒体

在线阅读 下载PDF 职称材料

分布式可扩展数据流连接算法

14

作者 王晓桐 房俊华 张蓉 《华东师范大学学报（自然科学版）》 CAS CSCD 北大核心 2016年第5期81-88,共8页

Join-Matrix是一种高性能的连接矩阵模型,方便部署于分布式环境下,支持任意连接谓词的数据流连接操作.由于采取随机分发元组作为路由策略,Join-Matrix可利用对元组内容的不敏感性来有效抵御数据倾斜.为了实现工作节点的负载均衡以及网... Join-Matrix是一种高性能的连接矩阵模型,方便部署于分布式环境下,支持任意连接谓词的数据流连接操作.由于采取随机分发元组作为路由策略,Join-Matrix可利用对元组内容的不敏感性来有效抵御数据倾斜.为了实现工作节点的负载均衡以及网络传输代价的最小化,基于连接矩阵模型设计一种高效的数据划分方案尤为重要.针对数据流连接处理,本文设计并实现了一种新颖的连接算子,可灵活地进行划分方案的自适应调整,以应对实时动态变化的数据分布.具体来说,我们根据数据流流量的采样信息和系统额定负载,通过一个轻量级的决策器制定出一个数据划分方案和相应的数据迁移计划,在保证输出结果完整性与正确性的情况下,实现迁移代价的最小化.本文在多种不同的数据集上进行了大量对比实验,结果证明,在资源利用率、系统吞吐率与时间延迟等方面,该连接算子较对比系统具有更高的性能体现. 展开更多

关键词 数据流连接 Join-Matrix 数据划分 分布式计算

在线阅读 下载PDF 职称材料

可扩展数据管理系统中的网络请求服务机制

15

作者 肖冰 郭进伟 钱卫宁 《华东师范大学学报（自然科学版）》 CAS CSCD 北大核心 2016年第5期165-172,共8页

请求服务机制涉及请求的传输和处理,是分布式数据管理系统中各组件交互并完成任务的重要前提.本文以可扩展数据管理系统为背景,抽象系统中的网络服务模型,介绍系统中的网络请求服务机制.从数据库的主要实现出发,分析不同类型的请求在传... 请求服务机制涉及请求的传输和处理,是分布式数据管理系统中各组件交互并完成任务的重要前提.本文以可扩展数据管理系统为背景,抽象系统中的网络服务模型,介绍系统中的网络请求服务机制.从数据库的主要实现出发,分析不同类型的请求在传输以及处理上的不同要求.以OceanBase为例,统计各机制在一个可扩展数据管理系统中的服务比重,并进行相关的分析. 展开更多

关键词 可扩展数据管理系统 网络请求 OceanBase

在线阅读 下载PDF 职称材料

面向不确定数据流的近似ER-Topk查询处理

16

作者 刘骁 刘辉平 金澈清 《计算机工程与应用》 CSCD 北大核心 2017年第4期98-105,共8页

随着移动互联网的快速发展以及信息技术的普遍应用,在许多应用中都产生了海量、不确定性数据,包括金融、军事、位置服务、医疗以及气象等。然而,传统的确定性数据管理方法很难管理不确定数据,亟需开发新型数据管理方法。可能世界模型被... 随着移动互联网的快速发展以及信息技术的普遍应用,在许多应用中都产生了海量、不确定性数据,包括金融、军事、位置服务、医疗以及气象等。然而,传统的确定性数据管理方法很难管理不确定数据,亟需开发新型数据管理方法。可能世界模型被广泛用于为不确定数据建模,通过该模型可以衍生出诸多确定性的可能世界实例。不确定性数据流是指高速到达的海量不确定元组序列,因而不确定数据流管理比不确定性静态数据管理更具挑战性。面向于不确定数据流的ER-Topk查询是一个典型问题,但是处理复杂度高。提出一种近似算法来处理该查询,具有较小的空间复杂度;同时,还通过搜索策略优化来进一步提升查询处理效率。实验结果验证了所提方法的有效性和高效性。 展开更多

关键词 数据流 不确定数据 查询优化

在线阅读 下载PDF 职称材料

基于Raft一致性协议的高可用性实现 被引量：9

17

作者 张晨东 郭进伟 +3 位作者 刘柏众 储佳佳 周敏奇 钱卫宁 《华东师范大学学报（自然科学版）》 CAS CSCD 北大核心 2015年第5期172-184,共13页

随着互联网的快速发展和大数据时代的来临,传统数据库的局限性开始逐渐显现,而支持海量数据存储和高并发访问的分布式数据库系统越来越流行.在此背景下阿里巴巴集团研发了一款适用于海量数据存储的分布式数据库系统(OceanBase),并提供... 随着互联网的快速发展和大数据时代的来临,传统数据库的局限性开始逐渐显现,而支持海量数据存储和高并发访问的分布式数据库系统越来越流行.在此背景下阿里巴巴集团研发了一款适用于海量数据存储的分布式数据库系统(OceanBase),并提供单集群和多集群两种部署模式.但多集群部署模式下的可用性较低,无法满足关键性应用的需求,包括:发生故障时不支持主备集群的自动切换;主备集群之间无法保证日志的强同步.针对上述问题,本文分析了传统数据库的高可用方案,针对OceanBase架构的特点,结合了Raft算法的思想,设计并实现了基于时间戳的分布式选举模块、自动化的集群切换模块和基于QUORUM策略的日志强同步模块.经实验验证,以上模块的实现能够提高系统整体的可用性. 展开更多

关键词 分布式数据库 高可用性 Raft一致性协议 日志同步

在线阅读 下载PDF 职称材料

LBS的隐私保护:模型与进展 被引量：3

18

作者 赵大鹏 梁磊 +1 位作者 田秀霞 王晓玲 《华东师范大学学报（自然科学版）》 CAS CSCD 北大核心 2015年第5期28-45,共18页

近些年来,随着配备定位功能的移动终端数量迅速增加,基于位置服务(LBS)的应用呈现爆炸式的增长,例如查找最邻近的加油站、一公里范围内的所有餐厅等.在用户享受着这些LBS服务为工作、生活带来方便的同时,许多隐私安全问题也逐渐引起了... 近些年来,随着配备定位功能的移动终端数量迅速增加,基于位置服务(LBS)的应用呈现爆炸式的增长,例如查找最邻近的加油站、一公里范围内的所有餐厅等.在用户享受着这些LBS服务为工作、生活带来方便的同时,许多隐私安全问题也逐渐引起了人们的关注.全面了解基于位置服务中现有的隐私保护工作,有利于研究者把握该领域的研究现状、未来发展方向以及存在的挑战.本文对LBS隐私保护领域中近些年的发展进行了研究总结,重点介绍了LBS隐私保护领域现有的攻击模型、隐私保护模型、度量模型以及数据集,并对现有攻击模型与隐私保护模型进行分类总结,根据其特点进行对比分析,最后探讨了LBS隐私保护目前存在的问题以及未来的发展方向. 展开更多

关键词 基于位置服务 隐私保护 攻击模型 度量模型 数据集

在线阅读 下载PDF 职称材料

基于行驶特征的轨迹压缩技术

19

作者 江俊文 张凯 +1 位作者 王晓玲 金澈清 《计算机科学与探索》 CSCD 北大核心 2016年第9期1240-1249,共10页

移动终端的普及和全球定位系统(global positioning system,GPS)的发展,产生了海量的轨迹数据。许多基于位置的服务(location-based services,LBS)利用这些轨迹数据为用户提供服务。但是轨迹数据日益增多带来了许多挑战:数据量巨大,查... 移动终端的普及和全球定位系统(global positioning system,GPS)的发展,产生了海量的轨迹数据。许多基于位置的服务(location-based services,LBS)利用这些轨迹数据为用户提供服务。但是轨迹数据日益增多带来了许多挑战:数据量巨大,查询延时增长,数据分析困难以及数据冗余。轨迹压缩对于提供更好的服务是非常有必要的,因此提出了基于行驶特征的轨迹压缩技术,考虑了行驶特征,并且把轨迹数据建模为马尔可夫序列。行驶特征包括速度、方向和位置,使用高斯分布对速度变化、方向变化和位置距离进行建模,下一个点的状态就能通过之前的信息来进行预测;根据预测的准确度,为每个轨迹点赋予条件自信息量;筛选出满足用户设定准确度阈值的点,组成压缩后的轨迹。在真实数据集上进行了一系列的实验,证明了算法的性能。 展开更多

关键词 轨迹压缩 行驶特征 自信息量 马尔可夫序列

在线阅读 下载PDF 职称材料

面向MAX/MIN优化的SQL Window函数处理 被引量：5

20

作者 马建松 王科强 +3 位作者 宋光旋 张凯 王晓玲 金澈清 《计算机学报》 EI CSCD 北大核心 2016年第10期2149-2160,共12页

Window(窗口)函数作为关系数据库领域中数据分析技术的一种解决方案,其精妙的语义特征使其能代替自连接(Self Join)和相关子查询(Sub Queries)等完成传统复杂查询功能,现已被广泛应用到互联网应用的数据管理和分析中.在目前互联网应用... Window(窗口)函数作为关系数据库领域中数据分析技术的一种解决方案,其精妙的语义特征使其能代替自连接(Self Join)和相关子查询(Sub Queries)等完成传统复杂查询功能,现已被广泛应用到互联网应用的数据管理和分析中.在目前互联网应用步入大数据时代的背景下,针对高吞吐和实时响应等需求,已有的Window(窗口)函数的处理性能已经出现了瓶颈.文中首先介绍了关系数据库中窗口函数在执行器中的两阶段执行框架,然后基于PostgreSQL数据库中原有MAX/MIN Window(窗口)函数执行框架,提出了一种基于临时窗口的优化方法,来优化SQL Window查询针对MAX/MIN函数的处理,并给出了查询代价的分析模型,从理论上分析了该算法的性能.通过与现有商业数据库SQL Server进行性能上的对比,验证了该方案的有效性. 展开更多

关键词 Window函数 查询处理 性能优化 MAX/MIN POSTGRESQL

在线阅读 下载PDF 职称材料