区块链全局账本数据的拆分技术研究 被引量：11

1

作者 于雷 金岩 《高技术通讯》 北大核心 2017年第11期875-888,共14页

分析了区块链用于交易网络的技术特点,指出在目前的区块链技术架构中,交易数据和新区块数据的泛洪式全网广播及全局区块链数据在所有共识节点全复制存储,成为区块链系统规模扩展的瓶颈。考虑到区块链网络存在交易频率局部性这一特征,提... 分析了区块链用于交易网络的技术特点,指出在目前的区块链技术架构中,交易数据和新区块数据的泛洪式全网广播及全局区块链数据在所有共识节点全复制存储,成为区块链系统规模扩展的瓶颈。考虑到区块链网络存在交易频率局部性这一特征,提出了将区块链全网共识划分为若干区域子网共识的方法,并解决了网络划分前后的"双花"问题、节点的跨区移动和跨区支付问题,使得网络I/O负载和区块链数据存储负载在全网均匀划分。该方法是在区块链原有核心协议基础上进行的优化和改进,因此,并不会引入额外的安全问题。最后,利用数学方法理论分析了划分区块链网络前后的系统整体负载变化情况,证明了该方法在资源消耗方面具有明显的优势。 展开更多

关键词 区块链 数据分区 拆分技术 双花问题 跨区交易 扩展性

在线阅读 下载PDF 职称材料

面向海量NetFlow数据的存储和查询处理方法研究 被引量：5

2

作者 陈重韬 王伟平 +2 位作者 孟丹 崔甲 胡斌 《高技术通讯》 CAS CSCD 北大核心 2016年第6期534-541,共8页

针对全国骨干网高速海量Net Flow数据到来速度快、数据量大以及对所存数据进行频繁多维查询操作的特点,提出了一种多维属性聚簇存储(MACS)模型。该模型根据实际应用环境中查询的特点对数据进行空间分片,以并行加流水的方式对数据进行存... 针对全国骨干网高速海量Net Flow数据到来速度快、数据量大以及对所存数据进行频繁多维查询操作的特点,提出了一种多维属性聚簇存储(MACS)模型。该模型根据实际应用环境中查询的特点对数据进行空间分片,以并行加流水的方式对数据进行存储。此外,为Net Flow提出了一种超多面体的查询模式。真实环境实验结果表明,运用MACS模型实现的系统单点数据实时存储速度达到270万条/s,远远快于其他的数据分析系统,并且多维属性查询的速度优于Hive和Impala。 展开更多

关键词 NetFlow 多维属性聚簇存储( MACS)模型 实时数据存储 超多面体

在线阅读 下载PDF 职称材料

基于多目标遗传算法和理想点法的Top-k服务组合研究 被引量：2

3

作者 刘丽 方金云 梁对 《高技术通讯》 CAS CSCD 北大核心 2014年第2期131-137,共7页

针对组合服务QoS优化中单目标优化建模需要精确定义QoS权重和多目标优化建模返回的Pareto最优解集数目过多的问题,借鉴多目标遗传算法(MOGA)和多属性决策领域的理想点法(TOPSIS),提出了一个能够快速返回Top-k最优组合服务、适用于较大... 针对组合服务QoS优化中单目标优化建模需要精确定义QoS权重和多目标优化建模返回的Pareto最优解集数目过多的问题,借鉴多目标遗传算法(MOGA)和多属性决策领域的理想点法(TOPSIS),提出了一个能够快速返回Top-k最优组合服务、适用于较大规模服务组合问题求解的使用了TOPSIS的多目标遗传算法——T_MOGA。该算法在MOGA的方案评估阶段引入理想点法对组合服务进行评估,并通过选择、交叉、变异等操作对种群迭代以获取QoS更好的组合服务方案。T_MOGA有效简化了MOGA的非支配排序过程,减少了算法运行时间,并只返回Pareto最优解集Top-k最优组合服务,方便用户选择。通过实验,从算法的运行时间及得到集合的质量两个方面验证了T_MOGA的有效性。 展开更多

关键词 服务组合优化 TOP-K 理想点法(TOPSIS) 多目标遗传算法(MOGA) 服务质量(QoS)

在线阅读 下载PDF 职称材料

面向多用户环境的MapReduce集群调度算法研究 被引量：2

4

作者 陈重韬 《高技术通讯》 北大核心 2017年第4期295-302,共8页

针对MapReduce集群现有调度策略在多用户环境下无法根据用户的实际资源需求实现动态资源分配的问题,提出了一种基于历史执行信息(HEI)的MapReduce集群调度算法——HEI Scheduler。该算法通过建立集群作业执行信息的收集和分析机制,得到... 针对MapReduce集群现有调度策略在多用户环境下无法根据用户的实际资源需求实现动态资源分配的问题,提出了一种基于历史执行信息(HEI)的MapReduce集群调度算法——HEI Scheduler。该算法通过建立集群作业执行信息的收集和分析机制,得到各用户组资源需求随时间变化的规律,并以作业实际占用slot的时间作为作业占用资源量的衡量标准,进而动态地确定资源池的最小共享资源以及集群剩余资源分配的权值。实验结果表明,执行信息分析机制能够更准确地表征作业对资源的需求,采用集群调度算法HEI Scheduler能够有效地缩短作业的整体执行时间。 展开更多

关键词 MapReduce集群 多用户环境 调度算法 作业执行信息收集

在线阅读 下载PDF 职称材料

面向大数据分析的分布式文件系统关键技术 被引量：77

5

作者 周江 王伟平 +3 位作者 孟丹 马灿 古晓艳 蒋杰 《计算机研究与发展》 EI CSCD 北大核心 2014年第2期382-394,共13页

大数据时代的来临使数据分析和处理能力成为数据中心和互联网公司日益倚重的技术手段．信息规模的扩大和数据结构的多样化，使海量数据存储成为大数据分析研究的热点．传统的分布式文件系统在扩展性、可靠性和数据访问性能等方面难以满... 大数据时代的来临使数据分析和处理能力成为数据中心和互联网公司日益倚重的技术手段．信息规模的扩大和数据结构的多样化，使海量数据存储成为大数据分析研究的热点．传统的分布式文件系统在扩展性、可靠性和数据访问性能等方面难以满足新形势下的需求．设计并实现了一个面向大数据分析、专为大规模集群应用的分布式文件系统Clover．该系统采用基于目录划分和一致性Hash映射的名字空间管理方法，解决了元数据扩展性问题；通过改进的两阶段提交协议，保证了多元数据服务器下分布式元数据操作的一致性；提出了基于共享存储池的高可用机制，通过热备和全局状态恢复机制提高了元数据的可靠性．评测结果表明，Clover的元数据处理能力随服务器的数量线性增长，增加单个服务器的元数据操作性能平均提升了5．13％～159．32％．由于名字空间管理和分布式事务的开销，多元数据服务器会导致复杂操作的性能下降，但是这种下降的幅度很小（小于10％）．与HDFS相比，Clover的文件读写带宽与之接近，并能够保证在元数据服务器失效后文件系统快速恢复，适合于构建高可扩展和高可用的存储系统． 展开更多

关键词 大数据 海量数据存储 分布式文件系统 元数据可扩展性 高可用性

在线阅读 下载PDF 职称材料

镜像等距不变量的构造及其应用

6

作者 胡平 李海洋 +1 位作者 曹伟国 李华 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2013年第7期1005-1011,共7页

提出一种镜像等距不变量的构造方法.在可定向曲面上找到2条相交的测地线,并在交点处计算2个切向量以及它们的叉积,记录叉积的方向;再利用方向和曲面的定向情况判断叉积的符号,利用带符号的叉积的模构造积分核,以此扩展等距不变量的构造... 提出一种镜像等距不变量的构造方法.在可定向曲面上找到2条相交的测地线,并在交点处计算2个切向量以及它们的叉积,记录叉积的方向;再利用方向和曲面的定向情况判断叉积的符号,利用带符号的叉积的模构造积分核,以此扩展等距不变量的构造框架,得到了一组新的不变量.这种不变量既有等距不变性,又能根据符号反映两者是否有镜像关系.通过在人手模型上进行了大量实验的结果表明,该方法对镜像等距的物体具有良好的识别和区分效果. 展开更多

关键词 非刚体 镜像变换 等距变换 不变量 目标识别

在线阅读 下载PDF 职称材料

条件随机场像素建模与深度特征融合的目标区域分割算法 被引量：11

7

作者 李宗民 徐希云 +1 位作者 刘玉杰 李华 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2018年第6期1000-1007,共8页

针对已有的基于深度神经网络的目标区域分割算法在目标边界分割效果中存在的问题,提出融合图像像素信息与图像语义信息的目标区域分割算法.首先通过加入注意力模块的深度神经网络提取图像语义级别的信息,得到图像语义级别的全局特征;然... 针对已有的基于深度神经网络的目标区域分割算法在目标边界分割效果中存在的问题,提出融合图像像素信息与图像语义信息的目标区域分割算法.首先通过加入注意力模块的深度神经网络提取图像语义级别的信息,得到图像语义级别的全局特征;然后利用条件随机场模型对图像局部区域进行像素级别建模,得到图像的局部细节特征;最后综合利用图像的局部细节特征和图像的全局特征,得到目标区域的分割结果.实验结果表明,与已有的算法相比,该算法能够更好地分割出目标的边界区域,抑制边界区域分割粗糙的问题,得到较准确的目标分割区域. 展开更多

关键词 注意力模块 条件随机场 卷积神经网络 目标区域分割

在线阅读 下载PDF 职称材料

面向混合负载的集群资源弹性调度 被引量：4

8

作者 李勇 张章 +3 位作者 孟丹 韩冀中 李青 王旻 《高技术通讯》 CAS CSCD 北大核心 2014年第8期782-790,共9页

针对目前集群资源调度方法难以适应互联网业务多样化、定制化特征的问题,提出了一种面向混合负载的集群资源弹性调度方法。该方法通过构建作业约束描述语言,允许作业基于自身负载特征提出多维度的资源申请和具有负载意识的资源调度算法... 针对目前集群资源调度方法难以适应互联网业务多样化、定制化特征的问题,提出了一种面向混合负载的集群资源弹性调度方法。该方法通过构建作业约束描述语言,允许作业基于自身负载特征提出多维度的资源申请和具有负载意识的资源调度算法,实现在同一集群内各类业务统一部署与管理,及时匹配资源需求的变化;通过建立作业的软约束与硬约束之间的转化机制,满足作业在不同执行阶段对资源的定制化需求。实验表明,该方法相比于Hadoop,可允许作业利用较少资源获得更优性能,在实际生产系统中,基于该方法可将集群资源利用率由62%提升到75%。 展开更多

关键词 集群资源调度 作业约束调度 负载感知 混合负载 互联网数据中心(IDC)

在线阅读 下载PDF 职称材料

一种考虑QoS的Web服务组合Petri网建模方法 被引量：5

9

作者 刘丽 方金云 《计算机科学》 CSCD 北大核心 2013年第6期37-40,共4页

Petri网是一种适合描述Web服务组合的建模方法,但是它无法对Web服务的服务质量(QoS)进行建模和分析。为此,将用户最为关心的服务时间、价格和概率3种QoS因素引入到Petri网模型中进行建模,提出了概率时间价格Petri网PTCPN,给出了PTCPN的... Petri网是一种适合描述Web服务组合的建模方法,但是它无法对Web服务的服务质量(QoS)进行建模和分析。为此,将用户最为关心的服务时间、价格和概率3种QoS因素引入到Petri网模型中进行建模,提出了概率时间价格Petri网PTCPN,给出了PTCPN的语义及分析求解算法,并进行了实例建模和分析。结果表明,PTCPN可以有效支持服务组合功能和QoS的形式化统一建模和分析。 展开更多

关键词 WEB服务组合 QOS PETRI网 建模 分析

在线阅读 下载PDF 职称材料

融合包空间和示例空间特征的多示例学习 被引量：1

10

作者 李宗民 吴雪 +1 位作者 刘玉杰 李华 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2018年第5期851-858,共8页

多示例学习中,包空间特征描述包容易忽略包中的局部信息,示例空间特征描述包容易忽略包的整体结构信息.针对上述问题,提出融合包空间特征和示例空间特征的多示例学习方法.首先建立图模型表达包中示例之间的关系,将图模型转化为关联矩阵... 多示例学习中,包空间特征描述包容易忽略包中的局部信息,示例空间特征描述包容易忽略包的整体结构信息.针对上述问题,提出融合包空间特征和示例空间特征的多示例学习方法.首先建立图模型表达包中示例之间的关系,将图模型转化为关联矩阵以构建包空间特征;其次筛选出正包中与正包的类别的相关性比较强的示例和负包中与正包的类别的相关性比较弱的示例,将示例特征分别作为正包和负包的示例空间特征;最后用Gaussian RBF核将包空间和示例空间特征映射到相同的特征空间,采用基于权重的特征融合方法进行特征融合.在多示例的基准数据集、公开的图像数据集和文本数据集上进行实验的结果表明,该方法提高了分类效果. 展开更多

关键词 多示例学习 图模型 筛选示例 特征融合

在线阅读 下载PDF 职称材料

FQPSK调制在双波散射功率衰落信道下的性能 被引量：1

11

作者 陈重韬 卢继华 张瑞雪 《高技术通讯》 CAS CSCD 北大核心 2016年第5期423-431,共9页

研究了深空通信系统的性能计算。系统采用Feher正交相移键控(FQPSK)调制和双波散射功率(TWDP)衰落信道,因为TWDP信道模型的散射传输波中含有两个镜面反射多径分量,可依据不同参数表达不同的衰落,因此适合描述复杂的电磁深空通信环境;FQ... 研究了深空通信系统的性能计算。系统采用Feher正交相移键控(FQPSK)调制和双波散射功率(TWDP)衰落信道,因为TWDP信道模型的散射传输波中含有两个镜面反射多径分量,可依据不同参数表达不同的衰落,因此适合描述复杂的电磁深空通信环境;FQPSK调制与标准QPSK相比具有频谱主瓣窄和滚降快的优势,因此更适合应用于深空通信系统中。为简化系统性能计算,推导了FQPSK调制在TWDP衰落下的误码率闭式解,并验证了推导的正确性。基于深空通信系统仿真平台,分析了不同种类QPSK调制及各种TWDP衰落参数下的误码率性能。结果表明,FQPSK与QPSK相比,结合卷积编码后可实现性能提升。 展开更多

关键词 深空通信系统 Feher正交相移键控(FQPSK) 双波散射功率(TWDP) 误比特率闭式解

在线阅读 下载PDF 职称材料

一种基于GPS软件接收机的优化捕获算法

12

作者 崔绍龙 姚相振 方金云 《计算机研究与发展》 EI CSCD 北大核心 2014年第8期1794-1801,共8页

在GPS软件接收机系统中,卫星的捕获操作需要进行大量的相关运算,消耗大量的运算时间和硬件资源.虽然软件接收机采用快速傅里叶变换(FFT)算法来代替相关运算,可以一定程度上减少处理时间,但是对于嵌入式系统来说,由于耗时难以令人满意,... 在GPS软件接收机系统中,卫星的捕获操作需要进行大量的相关运算,消耗大量的运算时间和硬件资源.虽然软件接收机采用快速傅里叶变换(FFT)算法来代替相关运算,可以一定程度上减少处理时间,但是对于嵌入式系统来说,由于耗时难以令人满意,限制了其在嵌入式平台上的应用.提出一种自适应搜索算法,利用循环相关操作的原理,在多普勒频移的搜索过程中,采用多级步进,通过不同长度搜索的步长,在保证搜索正确性的前提下,能够减少捕获操作中相关运算的数量;同时,为了减少不必要的硬件消耗和运算消耗,将多级步进预先设置并储存到数据表,从中得到足够精确的多普勒搜索步长,因此利用自适应搜索算法可以减少部分不必要的快速傅里叶变换的数量,提高捕获操作的时间效率.实验证明此方法能够一定程度上提升捕获操作的效率,从而减少捕获所需时间. 展开更多

关键词 全球定位系统 软件接收机 捕获操作 多普勒频移 自适应搜索 多级步进

在线阅读 下载PDF 职称材料

基于滑动窗口的数据流字符串近似查询

13

作者 崔甲 王伟平 +1 位作者 陈重韬 孟丹 《高技术通讯》 CAS CSCD 北大核心 2014年第9期895-902,共8页

针对数据访问模式随着网络技术的发展逐渐从静态磁盘转移到动态数据流的状况,研究了数据流上的字符串近似查询。为了解决数据流的连续性、无边界性、不可预知性和在线计算资源的局限性导致基于静态数据集的近似查询处理方法无法高效地... 针对数据访问模式随着网络技术的发展逐渐从静态磁盘转移到动态数据流的状况,研究了数据流上的字符串近似查询。为了解决数据流的连续性、无边界性、不可预知性和在线计算资源的局限性导致基于静态数据集的近似查询处理方法无法高效地支持数据流的问题,提出了基于滑动窗口数据流的字符串近似查询(AS^3)方法。该方法基于过滤-验证框架和基本窗口索引更新机制,改进并应用非对称特征策略提取数据流和查询关键字的特征,采用了两个新的过滤算法——预剪裁过滤(PPF)算法和流统计(CFS)过滤算法,以及基于矩阵坐标的验证(cV)算法。实验结果表明,As^3方法能够高效地支持基于滑动窗口的数据流字符串近似查询,在保证结果准确率的同时具有较高的实时性及峰值处理能力。 展开更多

关键词 数据流 字符串近似查询 滑动窗口 编辑距离

在线阅读 下载PDF 职称材料

相位矩不变量用于评价基于图像的三维重建结果 被引量：3

14

作者 公明 葛娟 +1 位作者 曹伟国 李华 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2013年第9期1384-1391,共8页

基于图像的三维重建的评价一般要在三维扫描仪获取的精确三维模型上进行,成本高、效率低,且不适用于大型的物体或者大规模的场景.针对该问题,提出一种基于图像相位信息不变性的评价方法.首先获取物体的三维重建模型在某视点下的二维投影... 基于图像的三维重建的评价一般要在三维扫描仪获取的精确三维模型上进行,成本高、效率低,且不适用于大型的物体或者大规模的场景.针对该问题,提出一种基于图像相位信息不变性的评价方法.首先获取物体的三维重建模型在某视点下的二维投影图;然后对该投影图以及真实物体在相近视点下的图像进行边缘提取;再对2幅边缘图像计算文中提出的相位矩不变量,以构造特征向量;最后通过比较特征向量的距离来衡量重建结果的质量.实验结果表明了该方法对评价基于图像重建的三维面片模型的有效性和适用性. 展开更多

关键词 三维重建 评价方法 图像相位 矩不变量

在线阅读 下载PDF 职称材料

基于分级编码的高可靠存储策略

15

作者 冯清青 孟丹 韩冀中 《高技术通讯》 CAS CSCD 北大核心 2013年第11期1103-1109,共7页

研究了适应当前大数据时代的数据可靠性存储,针对已有存储策略难以同时满足高可靠性存储和高空间利用的需求的问题,提出了一种面向大数据的高可靠低冗余分级编码存储策略。该策略考虑到数据因类型不同、生命周期不同而重要程度有别的特... 研究了适应当前大数据时代的数据可靠性存储,针对已有存储策略难以同时满足高可靠性存储和高空间利用的需求的问题,提出了一种面向大数据的高可靠低冗余分级编码存储策略。该策略考虑到数据因类型不同、生命周期不同而重要程度有别的特性,可为不同类型数据分别设定容错级别;将不同冗余度的容错编码方式在一套统一存储架构中实现,用一组简单参数设置为数据选择恰当的容错级别编码存储;通过动态降低历史数据的冗余度进一步减少存储空间开销。实验验证了其有效性。对重要小文件采用高容错级别的编码分片存储,能在系统95%存储节点失效的情况下,根据编码后的部分数据分片快速修复所有数据;对普通文件采用适当放松的容错编码级别,在保证数据快速、无损修复的前提下比传统3副本策略节省1.5倍的存储空间。 展开更多

关键词 大数据 存储 可靠性 容错 低冗余 分级 编码

在线阅读 下载PDF 职称材料