一种基于最大流的分布式存储系统中查询任务最优分配算法 被引量：13

1

作者 徐毅 王建民 +3 位作者 黄向东 董一峰 康荣 乔嘉林 《计算机学报》 EI CSCD 北大核心 2019年第8期1858-1872,共15页

分布式存储系统多采用数据分区和多副本机制来处理海量数据并提供高可用性.为了提高读写效率,现有系统在将任务分发给不同节点时往往需要考虑数据分区的情况,并使得任务分配能够保证数据本地性.然而,给定一个需要访问多个数据分区的查... 分布式存储系统多采用数据分区和多副本机制来处理海量数据并提供高可用性.为了提高读写效率,现有系统在将任务分发给不同节点时往往需要考虑数据分区的情况,并使得任务分配能够保证数据本地性.然而,给定一个需要访问多个数据分区的查询任务,现有系统没有充分考虑节点的实际负载情况,导致虽然任务的分配满足数据本地性,但集群查询响应速度仍受到制约.该文提出一种在分布式存储系统中查询任务的节点分配算法,该算法不仅考虑了数据本地性,还利用了多副本机制确保节点间的负载均衡.算法的基本思想是将任务分配问题转化为最大流问题,并通过二分查找寻求最优分配方案.在实验阶段,该文首先通过模拟实验验证该算法的正确性,之后将该算法集成到Cassandra中作为一种新的负载均衡策略,并与Cassandra原生的两种策略进行性能对比.实验证明,该文提出的算法使得查询性能优于Cassandra原生的策略,平均查询时间缩短为原有策略的50%,某些情况下可以缩短为11%. 展开更多

关键词 数据分区 数据本地性 查询优化 最大流 负载均衡 分布式存储系统

在线阅读 下载PDF 职称材料

一种时序数据模式演化的跟踪与查询方法 被引量：6

2

作者 赵鑫 万英格 刘英博 《计算机研究与发展》 EI CSCD 北大核心 2022年第9期1869-1886,共18页

在物联网与大数据应用蓬勃发展的背景下,各类感知设备产生海量的时序数据,设备管理软件版本的快速迭代导致时序数据的模式演化问题日益凸显.模式演化要求对数据模式进行版本管理,使数据进行模式变更时不产生信息损失,且支持对数据跨模... 在物联网与大数据应用蓬勃发展的背景下,各类感知设备产生海量的时序数据,设备管理软件版本的快速迭代导致时序数据的模式演化问题日益凸显.模式演化要求对数据模式进行版本管理,使数据进行模式变更时不产生信息损失,且支持对数据跨模式版本进行读写操作.结合流行的时序数据库管理系统,调研总结了各类数据库管理系统对模式演化的支持情况,对时序数据及其模式进行了形式化表述,对其模式演化的过程进行了分析,设计了一种面向时序数据的模式演化跟踪及查询方法,形式化表达了模式跟踪及跨模式版本查询的整体框架与关键步骤,并在时序数据库Apache IoTDB上进行了实现与测试.最后,分析了实现系统的性能,并展望了未来研究方向. 展开更多

关键词 时序数据库 时序数据 模式演化 多模式版本数据 查询重写

在线阅读 下载PDF 职称材料

贝叶斯优化方法在需钠弧菌生产1,3-丙二醇中的应用 被引量：2

3

作者 黄新烨 张冶 +2 位作者 张书源 陈振 邱彤 《化工学报》 EI CSCD 北大核心 2022年第11期5039-5046,共8页

1,3-丙二醇是一种重要的化工原料,生物法发酵制备1,3-丙二醇具有操作简便、反应条件温和、副产物少等优点,使用需钠弧菌作为新的工业底盘细胞生产1,3-丙二醇有很好的应用前景。高产菌株的构建过程中优化基因强度组合时,具有单次实验周... 1,3-丙二醇是一种重要的化工原料,生物法发酵制备1,3-丙二醇具有操作简便、反应条件温和、副产物少等优点,使用需钠弧菌作为新的工业底盘细胞生产1,3-丙二醇有很好的应用前景。高产菌株的构建过程中优化基因强度组合时,具有单次实验周期长、成本高且体系复杂、非线性强的特点。为了实现对1,3-丙二醇合成途径关键基因强度组合的快速优化,使用了一种以高斯过程回归算法为代理模型,以增益期望为采集函数的贝叶斯优化方法。在每轮迭代中,高斯过程回归算法用于拟合当前数据并预测未知点的概率分布,增益期望函数将概率分布映射到解空间中,选择解空间中最大值对应的点作为下一轮的实验点,实验后进入下一轮迭代。构建高产1,3-丙二醇的需钠弧菌过程中使用贝叶斯优化方法优化关键基因强度组合,在三轮迭代后搜索到了最优的基因强度组合,1,3-丙二醇的产量达到(13.01±0.63)g/L,较第一组实验点中最高值提高了8.32%。 展开更多

关键词 1 3-丙二醇 需钠弧菌 贝叶斯优化 优化设计 生物过程

在线阅读 下载PDF 职称材料

基于Apache Storm的增量式FFT及其应用 被引量：1

4

作者 赵鑫 马再超 +2 位作者 刘英博 丁雨亭 魏慕恒 《计算机科学》 CSCD 北大核心 2020年第S02期504-507,540,共5页

针对传统单机版批处理式的快速傅里叶变换(Fast Fourier Transform,FFT)难以满足工业生产现场海量流数据实时处理的需求,提出一种基于Apache Storm的增量式FFT方法。该方法设计了非递归FFT的流式计算逻辑,并实现于Apache Storm。基于清... 针对传统单机版批处理式的快速傅里叶变换(Fast Fourier Transform,FFT)难以满足工业生产现场海量流数据实时处理的需求,提出一种基于Apache Storm的增量式FFT方法。该方法设计了非递归FFT的流式计算逻辑,并实现于Apache Storm。基于清华数为框架(DataWay Framework,DWF),采用Bently转子实验台的不对中故障流数据,构建了转子合成轴心轨迹的可视化监测界面,结果表明该方法能实时更新流数据频谱。 展开更多

关键词 增量式FFT Apache Storm 清华数为框架 转子 合成轴心轨迹

在线阅读 下载PDF 职称材料

基于图卷积神经网络的漂移检测方法 被引量：3

5

作者 林雷蕾 肖礼文 +4 位作者 魏代森 徐昱嵩 王静岐 闻立杰 李猛坤 《计算机集成制造系统》 EI CSCD 北大核心 2024年第8期2735-2744,共10页

从时间维度来看,演化是业务过程的必然性。流程挖掘中漂移检测的宗旨是找出运行日志中的变化时间点,进而划分出演化前后的不同业务过程。然而,现有漂移检测算法在执行过程中,都需要人为指定需要监控的演化特征,给用户增加了使用负担。同... 从时间维度来看,演化是业务过程的必然性。流程挖掘中漂移检测的宗旨是找出运行日志中的变化时间点,进而划分出演化前后的不同业务过程。然而,现有漂移检测算法在执行过程中,都需要人为指定需要监控的演化特征,给用户增加了使用负担。同时,还存在准确率低和耗时较长问题。为此,提出一种基于图卷积网络的检测算法:首先,将日志轨迹转为活动图,利用图的节点信息和拓扑结构来刻画日志所有特征;接着,利用图卷积的聚合特性获取到活动图的全局特征;然后,通过增加虚拟节点来表达活动图的所有信息;最后,采用欧氏距离和k-近邻算法来检测漂移点位置。通过真实公开数据集实验测试,表明了本文方法的有效性。 展开更多

关键词 概念漂移 业务演化 图卷积网络 流程挖掘

在线阅读 下载PDF 职称材料

面向过程文本的合规性检查方法 被引量：1

6

作者 林雷蕾 钱忱 +1 位作者 闻立杰 邱泓钧 《软件学报》 EI CSCD 北大核心 2024年第10期4696-4709,共14页

合规性检查是过程挖掘领域的重要场景之一,其目标是判断实际运行的业务行为与理想的业务行为是否一致,进而为业务过程管理提供决策依据.传统的合规性检查方法存在度量指标过多、效率低等问题.此外,现有研究在检查过程文本与过程模型之... 合规性检查是过程挖掘领域的重要场景之一,其目标是判断实际运行的业务行为与理想的业务行为是否一致,进而为业务过程管理提供决策依据.传统的合规性检查方法存在度量指标过多、效率低等问题.此外,现有研究在检查过程文本与过程模型之间的合规性时严重依赖专家知识.为此,提出面向过程文本的合规性检查方法.首先,基于过程模型的执行语义生成图轨迹,并利用词向量模型提取图轨迹中的结构特征.同时,引入霍夫曼树提升词向量模型的效率.接着,对过程文本和模型中的活动特征进行提取,并利用孪生机制提升训练效率.最后,对所有特征进行融合,并利用全连接层预测过程文本与过程模型之间的一致性得分.实验表明,所提方法的平均绝对误差值要比已有方法低2个百分点. 展开更多

关键词 过程挖掘 孪生机制 一致性度量 特征表示

在线阅读 下载PDF 职称材料

离心压缩机转子早期异常判别准则 被引量：2

7

作者 温广瑞 马再超 +2 位作者 吴广辉 董书志 刘学良 《振动．测试与诊断》 EI CSCD 北大核心 2021年第3期421-428,616,共9页

针对美国石油学会(American petroleum institute,简称API)617标准规定的振幅限值准则一般用于离心压缩机转子故障报警,而难以识别因早期微弱故障导致的振动异常现象,提出一种以振动有效值辅助API617振幅限值准则的转子早期异常判别方... 针对美国石油学会(American petroleum institute,简称API)617标准规定的振幅限值准则一般用于离心压缩机转子故障报警,而难以识别因早期微弱故障导致的振动异常现象,提出一种以振动有效值辅助API617振幅限值准则的转子早期异常判别方法。该方法根据离心压缩机现场工况选择了转子临界前后的启停过程监测节点,制定了振幅限值系数的选定原则,设计了基于振幅限值准则的一次判定规则和有效值辅助的二次判定规则。Bently转子实验台各轻度典型故障检测表明,该方法可在API617振幅限值准则失效判定的情况下,识别转子早期状态异常。现场轴流压缩机转子弯曲诱发碰摩故障分析表明,一次判定规则适用于故障报警,二次判定规则可识别转子早期的振动异常。 展开更多

关键词 离心压缩机转子 美国石油学会617振幅限值 振动有效值 早期异常

在线阅读 下载PDF 职称材料

基于不均匀空间划分和R树的时空索引 被引量：11

8

作者 赵馨逸 黄向东 +3 位作者 乔嘉林 康荣 李娜 王建民 《计算机研究与发展》 EI CSCD 北大核心 2019年第3期666-676,共11页

随着移动互联网以及物联网的发展,越来越多的移动设备都内置GPS服务,从而产生了大量的时空数据.这些数据体量大、分布不均匀且带有时间和空间经纬度等多维属性.传统的时空索引还有很多问题有待解决,例如难以处理大规模数据、无法同时处... 随着移动互联网以及物联网的发展,越来越多的移动设备都内置GPS服务,从而产生了大量的时空数据.这些数据体量大、分布不均匀且带有时间和空间经纬度等多维属性.传统的时空索引还有很多问题有待解决,例如难以处理大规模数据、无法同时处理时间和空间维度等.基于Geohash和R-Tree,提出一种2层时空索引GRIST(Geohash and R-Tree based index for spatio-temporal data),第1层是空间索引,它将空间划分为不同大小的网格并使用Geohash进行编码;第2层是时间索引,由R-Tree构成,不同R-Tree索引不同网格里的数据.GRIST索引支持面向时间和面向时空的查询.在大量随机数据和真实Uber数据上的实验表明:GRIST在索引的构建效率上较于GeoMesa和PostGIS系统可以提升10～45倍,在查询效率上可以提升2～4倍. 展开更多

关键词 时空数据 时空索引 时空范围查询 轨迹查询 分布式数据管理

在线阅读 下载PDF 职称材料

面向过程挖掘的日志划分技术综述 被引量：3

9

作者 林雷蕾 闻立杰 +2 位作者 钱忱 宗瓒 王建民 《计算机学报》 EI CAS CSCD 北大核心 2022年第9期1946-1968,共23页

过程挖掘的目标是从软件系统产生的日志数据中提取出有价值信息,用于配置或优化已实施的业务过程.与此同时,大数据、物联网等技术的发展不仅使得业务内容愈加复杂,更是加速了业务演化的速度.在此背景下,有必要对原始日志进行划分,使得... 过程挖掘的目标是从软件系统产生的日志数据中提取出有价值信息,用于配置或优化已实施的业务过程.与此同时,大数据、物联网等技术的发展不仅使得业务内容愈加复杂,更是加速了业务演化的速度.在此背景下,有必要对原始日志进行划分,使得事件日志通过分解而被更有效地分析,进而提升过程挖掘的质量.日志划分的宗旨是根据不同问题采取不同方法将原始事件日志划分为多个子日志,为后续的过程挖掘研究提供支撑.模型发现是过程挖掘中最重要的应用场景,而该场景面临的两大难题就是模型过于复杂和模型不正确.当前,解决这两个难题的方法分别是轨迹聚类和概念漂移,而这两类方法的本质都是对原始事件日志进行了划分.本文针对轨迹聚类和概念漂移两个分支进行归纳总结,试图厘清日志划分内容中这两个分支的异同点.接着,通过文献规约系统地对现有研究进行统计与分析,揭露了两个研究分支的发展趋势.然后,梳理了现有研究方法的主要思路,将轨迹聚类分为距离驱动、模型驱动和混合聚类三类,并将概念漂移分为单一类型和复合类型两类.最后,利用公开数据集测试不同类型算法的优缺点,并指出未来研究的发展方向. 展开更多

关键词 过程挖掘 轨迹聚类 概念漂移 业务演化

在线阅读 下载PDF 职称材料

基于因果分析的烧结生产状态预测模型 被引量：6

10

作者 李浩然 邱彤 《化工学报》 EI CAS CSCD 北大核心 2021年第3期1438-1446,共9页

烧结是高炉炼铁系统中的重要生产单元,其生产水平高低直接关系炼铁企业的生产效益。烧结过程具有时滞性和非线性特征,为了实现对烧结生产状态的准确预测,本文综合自相关分析、收敛交叉映射和误差反向传播神经网络等方法,融合因果性机理... 烧结是高炉炼铁系统中的重要生产单元,其生产水平高低直接关系炼铁企业的生产效益。烧结过程具有时滞性和非线性特征,为了实现对烧结生产状态的准确预测,本文综合自相关分析、收敛交叉映射和误差反向传播神经网络等方法,融合因果性机理和黑箱模型,建立了基于因果分析的烧结生产状态预测模型。该模型通过因果分析层选取解释变量集、自相关窗口和因果性窗口,并通过神经网络层实现对6个烧结生产状态关键变量的准确预测。经过工业数据测试,该模型预测平均误差控制在0.5%~3.1%之间,能够有效辅助工厂进行烧结状态调整。 展开更多

关键词 收敛交叉映射 因果性 神经网络 烧结 模型预测控制 过程系统

在线阅读 下载PDF 职称材料

基于递归神经网络的化工反应过程建模 被引量：5

11

作者 华丰 田亮 邱彤 《高校化学工程学报》 EI CAS CSCD 北大核心 2019年第5期1186-1194,共9页

化工过程系统往往具有很强的非线性。针对含有大量序列数据的化工过程建模,当序列数据作为深层神经网络输入时,往往权重系数过多、训练难度增大。而递归神经网络通过在不同时间步间共享参数,更适用于对序列数据的处理。作者研究了递归... 化工过程系统往往具有很强的非线性。针对含有大量序列数据的化工过程建模,当序列数据作为深层神经网络输入时,往往权重系数过多、训练难度增大。而递归神经网络通过在不同时间步间共享参数,更适用于对序列数据的处理。作者研究了递归神经网络在化工动力学建模中的应用,探讨了化学反应中物质浓度的时序变化,反应动力学参数回归,工业油田轻烃裂解过程模拟以及操作条件优化等3种应用场景。从预测精度和计算速度方面,验证了递归神经网络方法在化工过程建模中的优越性。 展开更多

关键词 化学动力学 递归神经网络 过程建模 深度学习

在线阅读 下载PDF 职称材料

深入探索智能算法与反应网络研究的融合

12

作者 毕可鑫 邱彤 《化工进展》 EI CAS CSCD 北大核心 2022年第6期2818-2825,共8页

反应网络是化工过程机理在微观分子尺度上的表达方式,但网络的复杂性为深入认识生产过程提出了挑战。本文提出了探索智能算法与反应网络研究融合的思路,基于物质转化的“透明工程”的概念,深入剖析反应网络的结构统计指标、结构拓扑特... 反应网络是化工过程机理在微观分子尺度上的表达方式,但网络的复杂性为深入认识生产过程提出了挑战。本文提出了探索智能算法与反应网络研究融合的思路,基于物质转化的“透明工程”的概念,深入剖析反应网络的结构统计指标、结构拓扑特征、节点性质特征、机理动态演化、建模应用性能等特点。随后阐述了使用“数据结构化、智能优化与分析、智能代理建模”三步结合的机理数值化反应网络研究方法,既实现了在微观层面的局部放大,又实现了在工业应用中的准确预测。文中指出,智能算法融合反应网络后可以对实际工业过程执行可视化、可解释性的建模、分析与优化,为相关工业生产提质增效提供决策依据,并进一步帮助人类突破认知的极限,更深入地理解反应过程,提取关键的反应规律,助力化学工业的智能化。 展开更多

关键词 智能 算法 反应 网络 机理数值化 透明工程

在线阅读 下载PDF 职称材料