基于分布式优化与机器学习的电气火灾预警系统设计

1

作者 袁绪锋 《通信电源技术》 2025年第1期31-33,共3页

设计一种基于分布式优化与机器学习的电气火灾预警系统,旨在构建具备高实时性和高扩展性的智能预警体系。系统采用分布式计算、边缘计算与机器学习相结合的架构,依托多种传感器节点实时监测电气火灾早期征兆。数据通过高效传输协议传送... 设计一种基于分布式优化与机器学习的电气火灾预警系统,旨在构建具备高实时性和高扩展性的智能预警体系。系统采用分布式计算、边缘计算与机器学习相结合的架构,依托多种传感器节点实时监测电气火灾早期征兆。数据通过高效传输协议传送至分布式计算平台进行处理,并利用Spark和Kafka实现低延迟数据处理。仿真验证表明,系统在正常与异常工况下的火灾预警准确率和召回率均超过95%,验证了系统的有效性和可靠性。 展开更多

关键词 分布式优化 电气火灾预警系统 机器学习

在线阅读 下载PDF 职称材料

分布式机器学习网络通信优化技术 被引量：3

2

作者 张汉钢 邓鑫源 +3 位作者 宋晔 薛旭伟 郭秉礼 黄善国 《邮电设计技术》 2024年第2期27-30,共4页

Ring all-reduce算法被广泛应用在分布式机器学习之中,其同步过程会受到慢节点的影响进而降低整个系统的效率。对Ring all-reduce中的Reduce_Scatter和Allgather 2个阶段进行分析,针对Reduce_Scatter数据汇总过程提出优化策略,其主要思... Ring all-reduce算法被广泛应用在分布式机器学习之中,其同步过程会受到慢节点的影响进而降低整个系统的效率。对Ring all-reduce中的Reduce_Scatter和Allgather 2个阶段进行分析,针对Reduce_Scatter数据汇总过程提出优化策略,其主要思想是将慢节点多出的计算时间与通信时间进行重叠。使用OMNet++对Ring all-reduce和优化策略进行对比仿真,仿真结果与理论分析相一致,该策略相比Ring all-reduce算法最高能缩短25.3%的训练时间。 展开更多

关键词 Ring all-reduce算法 分布式机器学习 Ring all-reduce优化策略

在线阅读 下载PDF 职称材料

分布式机器学习在RIS辅助的无线信道估计中的应用

3

作者 陈静 邓炳光 冀涵颖 《电讯技术》 北大核心 2024年第4期520-527,共8页

无线信道估计是部署可重构智能超表面(Reconfigurable Intelligent Surface,RIS)辅助通信系统的关键与前提,然而下行链路传输环境下信道估计困难且导频开销大是对智能超表面辅助通信的重大挑战。针对以上问题,提出了一种基于分布式机器... 无线信道估计是部署可重构智能超表面(Reconfigurable Intelligent Surface,RIS)辅助通信系统的关键与前提,然而下行链路传输环境下信道估计困难且导频开销大是对智能超表面辅助通信的重大挑战。针对以上问题,提出了一种基于分布式机器学习(Distributed Machine Learning,DML)训练模型的区域交集切换方案。首先,建立了一个多用户共享的下行信道估计神经网络,通过DML技术协同用户与基站训练网络模型。其次,搭建分层次神经网络结构对用户区域信道进行分类和特征提取。最后,针对用户处于相邻信道交集位置问题采用特征区域模型融合。仿真结果表明,基于区域交集的DML模型方案能在减少信道训练导频开销的同时最大化信道估计的精准性能。 展开更多

关键词 可重构智能超表面(RIS) 信道估计 分布式机器学习(dml)

在线阅读 下载PDF 职称材料

基于机器学习的架空输电线路分布式光纤风速监测方法

4

作者 陈月华 姚文杰 +3 位作者 陈人楷 丁浩 黄宁 张旭苹 《光电子技术》 CAS 2024年第2期96-101,共6页

相位敏感型光时域反射技术(φ-OTDR)与光纤架空复合地线(OPGW)中的既有通信光缆相结合,能够获取架空输电线路沿途风致舞动引发的光纤振动。但是振动信号与实际风速之间的映射规律难以获取,传统上多依赖人工判断。为了解决这个问题,将随... 相位敏感型光时域反射技术(φ-OTDR)与光纤架空复合地线(OPGW)中的既有通信光缆相结合,能够获取架空输电线路沿途风致舞动引发的光纤振动。但是振动信号与实际风速之间的映射规律难以获取,传统上多依赖人工判断。为了解决这个问题,将随机森林算法引入分布式光纤风速监测的数据分析中,在一条全长约44.16 km的220 kV线路上进行了为期3个月的现场实测。实验结果表明,所提出方案能够分布式实时预测风速并评估其对架空输电线路的影响,辅助评估风荷载可能带来的潜在风险,指导后续的运维和改造,确保架空输电线路的安全可靠运行。 展开更多

关键词 分布式光纤传感 架空输电线路 舞动监测 机器学习

在线阅读 下载PDF 职称材料

基于分布式机器学习的弹性光网络资源均衡分配研究

5

作者 甘朝松 单桂娟 徐洪敏 《激光杂志》 CAS 北大核心 2024年第11期139-144,共6页

弹性光网络中存在的多条纤芯具有传输信息的功能,但纤芯之间的距离较小,容易出现串扰现象,增加了弹性光网络的误码率。为提高弹性光网络的服务质量并有效地对网络资源进行均衡分配,提出基于分布式机器学习的弹性光网络资源均衡分配方法... 弹性光网络中存在的多条纤芯具有传输信息的功能,但纤芯之间的距离较小,容易出现串扰现象,增加了弹性光网络的误码率。为提高弹性光网络的服务质量并有效地对网络资源进行均衡分配,提出基于分布式机器学习的弹性光网络资源均衡分配方法。将最小化最大占用频隙号作为优化目标,建立串扰优化模型,并引入分布式机器学习中的双鱼算法对模型进行求解,以此提高纤芯传输质量。采用频谱切片的资源分配方法对弹性光网络资源展开分配,计算链路在网络中的资源碎片率,并根据计算结果为业务分配频谱-时间资源窗口,完成资源均衡分配。实验结果表明,所提方法的资源利用率最高时达到了94%,阻塞率最高仅为2.97%,单位比特能耗最高仅为10 nJ/bit,具有实用性。 展开更多

关键词 分布式机器学习 弹性光网络 串扰优化 双鱼算法 资源分配

在线阅读 下载PDF 职称材料

基于卷积深度网络的含分布式电源配电网可靠性评价

6

作者 潘凯岩 赵瑞锋 +3 位作者 刘海信 卢建刚 余志文 刘宏达 《太阳能学报》 北大核心 2025年第1期412-419,共8页

现代电网维度和不确定性的增加,使传统可靠性评价方法在计算性能上遇到瓶颈。该文提出一种基于卷积深度网络结合蒙特卡洛仿真的可靠性评价方法来提高含分布式电源复合电力系统的计算效率。该方法以分布式发电机组、输电容量和总负荷组... 现代电网维度和不确定性的增加,使传统可靠性评价方法在计算性能上遇到瓶颈。该文提出一种基于卷积深度网络结合蒙特卡洛仿真的可靠性评价方法来提高含分布式电源复合电力系统的计算效率。该方法以分布式发电机组、输电容量和总负荷组成的样本作为输入,利用卷积特性对纳入电力系统的拓扑结构进行特征提取。采用重要性采样降低由分布式光伏与风电机组输出功率不确定性引发的可靠性评价过程波动。通过网络预测出采样系统状态下的负荷削减,以最小负荷削减量评估系统缺电概率和缺电频率组成的可靠性指数。在IEEE RTS可靠性测试系统上的实验结果表明,所提出的方法在计算综合系统可靠性指标方面是有效的。 展开更多

关键词 分布式电源 可靠性指标 配电系统 机器学习 自愈

在线阅读 下载PDF 职称材料

新型光纤分布式喇曼放大技术研究进展

7

作者 李晓琳 《激光技术》 北大核心 2025年第2期195-202,共8页

喇曼放大可实现对光信号在光纤链路中的分布式放大,具有高增益、低噪声的优异放大性能,是长距离光纤通信系统中的关键技术之一。为进一步延伸喇曼放大系统光信号传输距离、降低喇曼放大中的相对强度噪声转移、优化并预测喇曼放大系统增... 喇曼放大可实现对光信号在光纤链路中的分布式放大,具有高增益、低噪声的优异放大性能,是长距离光纤通信系统中的关键技术之一。为进一步延伸喇曼放大系统光信号传输距离、降低喇曼放大中的相对强度噪声转移、优化并预测喇曼放大系统增益大小、带宽、平坦度等性能参数,多种新型光纤分布式喇曼放大技术得到开发并应用。对近年来新型光纤分布式喇曼放大技术研究进展进行介绍,包括基于超长距离光纤激光器的高阶分布式喇曼放大技术、基于宽带非相干抽运源的低噪声喇曼放大技术及基于机器学习的智能分布式喇曼放大技术,并梳理了光纤分布式喇曼放大技术的基本发展趋势及改进方向。 展开更多

关键词 光纤放大器 喇曼放大 分布式放大 宽带抽运 机器学习

在线阅读 下载PDF 职称材料

基于分布式光纤声波监测数据和机器学习的井筒流体类型识别方法 被引量：5

8

作者 刘均荣 韩艳慧 +1 位作者 王哲 刘明 《中国石油大学学报（自然科学版）》 EI CAS CSCD 北大核心 2023年第3期107-114,共8页

基于建立的实尺寸水平井筒流体流动光纤监测模拟试验系统,开展油气水流动模拟试验,获得不同流体流动情况下的分布式光纤声波监测(DAS)数据;利用小波时间散射变换和短时傅里叶变换对DAS数据进行处理,提取流体流动特征,建立基于机器学习... 基于建立的实尺寸水平井筒流体流动光纤监测模拟试验系统,开展油气水流动模拟试验,获得不同流体流动情况下的分布式光纤声波监测(DAS)数据;利用小波时间散射变换和短时傅里叶变换对DAS数据进行处理,提取流体流动特征,建立基于机器学习的井筒流体类型识别分类方法。结果表明:融合低方差散射特征和短时时频特征数据能提高流体类型识别的准确率,并且随机森林算法的识别结果优于BP神经网络和决策树;该方法为井筒多相流体流动识别提供了一种新的技术手段。 展开更多

关键词 分布式光纤声波监测 声纹数据 特征提取 机器学习 流体类型 分类识别

在线阅读 下载PDF 职称材料

基于群智能和机器学习的分布式生产调度算法研究 被引量：1

9

作者 张萌 《河南科技》 2020年第19期52-53,共2页

传统的算法对分布式生产调度的求解难度非常大,而且收敛速度慢、解质量差。由此,本文以分布式装配流水车间为研究对象,尝试使用群智能和机器学习联合算法对其进行求解,并在构建分布式生产调度模数学模型中引入动态订单决策和历史订单分... 传统的算法对分布式生产调度的求解难度非常大,而且收敛速度慢、解质量差。由此,本文以分布式装配流水车间为研究对象,尝试使用群智能和机器学习联合算法对其进行求解,并在构建分布式生产调度模数学模型中引入动态订单决策和历史订单分析学习等动态条件,进而使联合算法的优化解贴近实际生产情况。最后,采用分布式车间调度仿真软件进行建模仿真,验证优化结果的可行性。 展开更多

关键词 群智能算法 机器学习算法 分布式生产调度

在线阅读 下载PDF 职称材料

机器学习分布式大数据分析模型构建方法 被引量：2

10

作者 陆红 《现代信息科技》 2018年第9期85-87,共3页

大数据分析方法很多,通过机器学习构建大数据分析模型进行大数据分析是目前比较有效的方法,大数据特点是数据规模庞大,计算周期长,为了加快计算速度、缩短计算周期,分布式计算方法是解决上述问题行之有效的方法之一。本文介绍了分布式... 大数据分析方法很多,通过机器学习构建大数据分析模型进行大数据分析是目前比较有效的方法,大数据特点是数据规模庞大,计算周期长,为了加快计算速度、缩短计算周期,分布式计算方法是解决上述问题行之有效的方法之一。本文介绍了分布式大数据分析模型的构建方法,着重介绍了机器学习算法、分布式计算框架、分布式计算数据处理过程、分布式计算程序设计方法,期望能够为从事大数据分布式计算、大数据分析的研究人员提供一些可借鉴的方法。 展开更多

关键词 大数据分析 分布式计算 机器学习

在线阅读 下载PDF 职称材料

机器学习分布式网络传输异常数据智能检测方法 被引量：16

11

作者 杨雅彬 刘晴 +1 位作者 武志成 袁芬 《中国测试》 CAS 北大核心 2021年第3期104-109,共6页

对于链路状态数据库的网络传输异常数据检测存在检测数据不完整、较为敏感、检测效率差的问题,提出基于机器学习的分布式网络传输异常数据智能检测方法,通过K最近邻分簇算法对分布式网络节点实施分簇,利用贝叶斯分类算法检测簇头是否出... 对于链路状态数据库的网络传输异常数据检测存在检测数据不完整、较为敏感、检测效率差的问题,提出基于机器学习的分布式网络传输异常数据智能检测方法,通过K最近邻分簇算法对分布式网络节点实施分簇,利用贝叶斯分类算法检测簇头是否出现异常;确定异常簇后,选取小波阈值降噪方法对异常簇内数据进行降噪处理,在此基础上,采用遗传算法检测降噪处理后异常簇内的异常数据,通过群体内最佳个体与最差个体的适应度函数值的差值同既定阈值的比较结果得到最终异常数据。经实验证明,所提方法检测异常数据的平均时间为8.48 s,检测结果与实际结果相似性较高,且检测性能较为稳定,说明该方法具有较高的异常数据检测性能。 展开更多

关键词 机器学习 分布式网络 异常数据 智能检测 贝叶斯分类 遗传算法

在线阅读 下载PDF 职称材料

基于分布式计算框架的机器学习系统分析 被引量：2

12

作者 胡常礼 邵剑飞 《电视技术》 2021年第11期115-118,123,共5页

针对机器学习对大数据处理的消耗大量存储空间和时间的问题,提出利用对数据分区存储和机器学习对分区数据并行处理的方法,对分布式计算框架的机器学习系统框架和矩阵运算对数据处理进行研究,并分析机器学习的模型和数据集分布式处理的方... 针对机器学习对大数据处理的消耗大量存储空间和时间的问题,提出利用对数据分区存储和机器学习对分区数据并行处理的方法,对分布式计算框架的机器学习系统框架和矩阵运算对数据处理进行研究,并分析机器学习的模型和数据集分布式处理的方法,实验仿真结果表明,通过对大数据集进行分布式存储和并行计算,提高了机器学习的效率和对大数据的处理能力。 展开更多

关键词 数据处理 分布式 计算框架 机器学习

在线阅读 下载PDF 职称材料

面向分布式机器学习的网络模态创新 被引量：4

13

作者 郭泽华 朱昊文 徐同文 《电信科学》 2023年第6期44-51,共8页

分布式机器学习作为人工智能的主流计算架构,目前仍然存在数据性能传输不高、模型训练速度慢等缺陷,传统的网络模态无法满足分布式机器学习场景的通信语义,继而无法解决这些缺陷以进一步提升模型训练性能。采用多模态网络技术,基于应用... 分布式机器学习作为人工智能的主流计算架构,目前仍然存在数据性能传输不高、模型训练速度慢等缺陷,传统的网络模态无法满足分布式机器学习场景的通信语义,继而无法解决这些缺陷以进一步提升模型训练性能。采用多模态网络技术,基于应用特点设计了面向分布式机器学习场景的新型网络模态及其运行逻辑,为多模态网络技术在垂直行业的应用提供了借鉴意义。 展开更多

关键词 多模态网络 分布式机器学习 模型训练 人工智能

在线阅读 下载PDF 职称材料

基于机器学习的分布式光伏电站投建人信用风险评估模型研究 被引量：2

14

作者 杨珂 陈绍真 +1 位作者 王波 林伟珍 《征信》 北大核心 2018年第12期33-37,共5页

分布式光伏电站初期投资大、回报周期长。金融机构融资能够解决其资金问题,助其快速发展。如何全面和准确地评估投建人的信用风险状况,是金融机构风险控制的核心环节。在分布式光伏电站投建人的数据基础上,分别用层次支持向量机、决策... 分布式光伏电站初期投资大、回报周期长。金融机构融资能够解决其资金问题,助其快速发展。如何全面和准确地评估投建人的信用风险状况,是金融机构风险控制的核心环节。在分布式光伏电站投建人的数据基础上,分别用层次支持向量机、决策树、随机森林算法和梯度提升决策树算法四种基于机器学习的分类算法建立信用风险评估模型,研究结果表明,四种分类模型对于分布式光伏电站投建人信用风险评估都具有较高的预测精确度(其中以梯度提升决策树为最高),都可以用于信贷决策。 展开更多

关键词 信用风险评估模型 分布式光伏电站 机器学习 分类算法

在线阅读 下载PDF 职称材料

基于分布式计算框架的大数据机器学习分析 被引量：2

15

作者 潘世成 郑国标 赵耀 《电子设计工程》 2020年第11期79-83,共5页

基于大数据挖掘的数据样本多样性与实时性需求,提出了基于分布式计算框架的大数据机器学习系统,对目前算法迭代计算的过程进行分析,以模型向量该变量使迭代的过程划分成为微调与粗调不同阶段,并且还能够发现在部分阶段中大部分样本对于... 基于大数据挖掘的数据样本多样性与实时性需求,提出了基于分布式计算框架的大数据机器学习系统,对目前算法迭代计算的过程进行分析,以模型向量该变量使迭代的过程划分成为微调与粗调不同阶段,并且还能够发现在部分阶段中大部分样本对于计算结果并没有太大的影响,所以能够在迭代过程中直接使用上次迭代计算结果,降低计算量,使计算效率得到提高。通过实验结果表示,算法基于分布式集群环境中能够降低模型训练计算量,并且提高训练模型精准度,使大数据挖掘实时性得到提高。 展开更多

关键词 分布式计算框架 大数据 机器学习 迭代计算

在线阅读 下载PDF 职称材料

地理分布式机器学习:超越局域的框架与技术

16

作者 李宗航 虞红芳 汪漪 《中兴通讯技术》 2020年第5期16-22,共7页

提出了一种面向地理分布式机器学习的软件框架Geo MX,该框架从通信架构和压缩传输机制两方面着手优化通信。对应设计了分层参数服务器(HiPS)架构和双向稀疏梯度传输(BiSparse)技术,旨在分别减少广域传输的梯度流数量和流大小。GeoMX在... 提出了一种面向地理分布式机器学习的软件框架Geo MX,该框架从通信架构和压缩传输机制两方面着手优化通信。对应设计了分层参数服务器(HiPS)架构和双向稀疏梯度传输(BiSparse)技术,旨在分别减少广域传输的梯度流数量和流大小。GeoMX在跨广域分布的数据中心上最高可取得4倍于数据中心内MXNET的训练效率,且几乎无精度损失。 展开更多

关键词 大数据 人工智能 地理分布式机器学习 梯度稀疏化

在线阅读 下载PDF 职称材料

基于分布式机器学习的节点资源负载均衡方法

17

作者 吴争光 宋明康 +2 位作者 柯腾辉 戴鹏 李卫东 《中国新通信》 2022年第15期48-50,共3页

目前,随着短视频、大数据技术的快速发展,区域内网络资源的负载均衡对于区域网络性能的影响越来越大。其中,网络链路、网络节点对于数据的分发、处理所需要时间的不均衡是影响网络资源不均衡的主要原因之一。本文提出了一种面向分布式... 目前,随着短视频、大数据技术的快速发展,区域内网络资源的负载均衡对于区域网络性能的影响越来越大。其中,网络链路、网络节点对于数据的分发、处理所需要时间的不均衡是影响网络资源不均衡的主要原因之一。本文提出了一种面向分布式机器学习的节点资源负载均衡方法,建立基于时间序列的节点空闲时长预测模型,通过空闲节点的当前运行数据预测空闲节点在未来时刻的空闲时长和节点的最大可利用资源。区域核心服务器可将区域内的待处理数据资源进行分布式分发,实现区域网络资源的负载均衡. 展开更多

关键词 分布式机器学习 负载均衡

在线阅读 下载PDF 职称材料

基于机器学习算法的分布式数据库关键性能指标预测分析

18

作者 汤志凤 周亚军 《通讯世界》 2022年第2期193-195,共3页

机器学习算法以人工智能为基础,在分布式数据库运维管理期间,可运用机器学习算法对其关键性能指标进行分析预测,以此提高分布式数据库运维模式实际效果。基于此,本文首先讨论了机器学习算法目标及方式,进行分布式数据库多指标分类预测分... 机器学习算法以人工智能为基础,在分布式数据库运维管理期间,可运用机器学习算法对其关键性能指标进行分析预测,以此提高分布式数据库运维模式实际效果。基于此,本文首先讨论了机器学习算法目标及方式,进行分布式数据库多指标分类预测分析,并总结归纳机器学习算法关键性能指标预测分析原理,进一步基于机器学习算法分类预测模型分析了分布式数据库关键性能指标。 展开更多

关键词 机器学习算法 分布式数据库 关键性指标预测

在线阅读 下载PDF 职称材料

基于机器学习的盾构开挖面地质类型智能识别研究

19

作者 周鲁 刘胜利 +1 位作者 王宇超 谢雄耀 《建筑施工》 2025年第1期17-22,共6页

盾构法被广泛应用于地铁隧道项目中,但是复杂的地质环境会让盾构施工发生卡机,刀盘磨损,超欠挖、地面塌陷等问题。因此,准确、及时地感知地质条件变化至关重要。目前我国大多通过钻孔手段进行地质勘察,而先进的地质预测方法也不能满足... 盾构法被广泛应用于地铁隧道项目中,但是复杂的地质环境会让盾构施工发生卡机,刀盘磨损,超欠挖、地面塌陷等问题。因此,准确、及时地感知地质条件变化至关重要。目前我国大多通过钻孔手段进行地质勘察,而先进的地质预测方法也不能满足盾构快速掘进的要求。因此,提出了一种识别盾构开挖面地质类型的机器学习模型。该模型将遗传算法(GA)与分布式梯度增强库(XGBoost)相结合,通过GA来确定XBGoost模型的最优超参数。同时,依托福州滨海快线三标段项目盾构与地质数据,对模型进行验证,并与其他3种经典机器学习模型LightGBM、Random Forest、SVR进行对比,以进一步验证模型的鲁棒性。结果表明,GA-XGBoost模型精度具有明显优势,通过GA来搜寻模型超参数也可提升模型准确率。 展开更多

关键词 盾构法 地铁隧道 地质勘察 围岩识别 机器学习模型 遗传算法(GA) 分布式梯度增强库(XGBoost)

在线阅读 下载PDF 职称材料

Cloudless-Training:基于serverless的高效跨地域分布式ML训练框架

20

作者 谭文婷 吕存驰 +1 位作者 史骁 赵晓芳 《高技术通讯》 CAS 北大核心 2024年第3期219-232,共14页

跨地域分布式机器学习(ML)训练能够联合多区域的云资源协作训练,可满足许多新兴ML场景(比如大型模型训练、联邦学习)的训练需求。但其训练效率仍受2方面挑战的制约。首先,多区域云资源缺乏有效的弹性调度,这会影响训练的资源利用率和性... 跨地域分布式机器学习(ML)训练能够联合多区域的云资源协作训练,可满足许多新兴ML场景(比如大型模型训练、联邦学习)的训练需求。但其训练效率仍受2方面挑战的制约。首先,多区域云资源缺乏有效的弹性调度,这会影响训练的资源利用率和性能;其次,模型跨地域同步需要在广域网(WAN)上高频通信,受WAN的低带宽和高波动的影响,会产生巨大通信开销。本文提出Cloudless-Training,从3个方面实现高效的跨地域分布式ML训练。首先,它基于serverless计算模式实现,使用控制层和训练执行层的2层架构,支持多云区域的弹性调度和通信。其次,它提供一种弹性调度策略,根据可用云资源的异构性和训练数据集的分布自适应地部署训练工作流。最后,它提供了2种高效的跨云同步策略,包括基于梯度累积的异步随机梯度下降(ASGD-GA)和跨云参数服务器(PS)间的模型平均(MA)。Cloudless-Training是基于OpenFaaS实现的,并被部署在腾讯云上评估,实验结果表明Cloudless-Training可显著地提高跨地域分布式ML训练的资源利用率(训练成本降低了9.2%~24.0%)和同步效率(训练速度最多比基线快1.7倍),并能保证模型的收敛精度。 展开更多

关键词 跨地域分布式机器学习(ML)训练 跨云ML训练 分布式训练框架 serverless 跨云模型同步

在线阅读 下载PDF 职称材料