基于CVAE-LSTM的服务器KPI异常检测

1

作者 沈夏闰 李若楠 张昊田 《系统工程与电子技术》 北大核心 2025年第3期1019-1027,共9页

对于关键性能指标(key performance indicator,KPI)的异常检测是互联网智慧运维流程中的基石,对于故障报警和保障服务器安全具有重要意义。深度生成模型已经能很好地解决机器学习模型深度特征表征能力差的问题,但对于KPI数据中时间信息... 对于关键性能指标(key performance indicator,KPI)的异常检测是互联网智慧运维流程中的基石,对于故障报警和保障服务器安全具有重要意义。深度生成模型已经能很好地解决机器学习模型深度特征表征能力差的问题,但对于KPI数据中时间信息的处理和长时信息的捕获存在不足。为此,提出一种基于条件变分自编码器(conditional variational autoencoder,CVAE)和长短时记忆(long-short term memory,LSTM)网络相结合的KPI异常检测模型,利用CVAE网络强大的表征能力,并将时间信息添加到深度自编码器中,利用LSTM的长时记忆能力,提高模型的长时异常学习和处理能力,使用训练好的CVAE网络来进一步训练LSTM。在3个公开的数据集上与其他深度学习模型进行对比实验,实验结果表明,在F 1值方面,所提模型的性能优于单独的LSTM和一些效果较好的深度学习模型。 展开更多

关键词 关键性能指标异常检测 条件变分自编码器 长短时记忆网络 关键性能指标 深度学习

在线阅读 下载PDF 职称材料

互联网服务场景下基于机器学习的KPI异常检测综述

2

作者 尚书一 李宏佳 +3 位作者 宋晨 卢至彤 王利明 徐震 《计算机研究与发展》 北大核心 2025年第1期207-231,共25页

关键性能指标(key performance indicator,KPI)异常检测技术是互联网服务智能运维的基础支撑技术.为了提升KPI异常检测的效率与准确性,基于机器学习的KPI异常检测技术成为近年来学术界与工业界的研究热点.在综合分析相关研究的基础上,... 关键性能指标(key performance indicator,KPI)异常检测技术是互联网服务智能运维的基础支撑技术.为了提升KPI异常检测的效率与准确性,基于机器学习的KPI异常检测技术成为近年来学术界与工业界的研究热点.在综合分析相关研究的基础上,给出了面向互联网服务的KPI异常检测技术框架.然后,分别针对单变量KPI、多变量KPI和矩阵变量KPI,从挖掘KPI在不同维度域(时间域、度量域、实体域)的依赖模式的角度出发,探讨了用于KPI异常检测的机器学习模型的选择动机.进一步地,以检测性能目标为导向,详细介绍了以准确性目标为核心的KPI异常检测技术(关注如何提升KPI异常检测模型的准确性)和以多目标平衡为核心的KPI异常检测技术(关注如何平衡理论性能与实际应用目标间的关系).最后,梳理了基于机器学习的KPI异常检测技术在KPI监控及预处理、模型通用性、模型可解释性、异常告警管理以及KPI异常检测任务自身局限性5个方面的挑战,同时指出了与之对应的潜在研究方向. 展开更多

关键词 互联网服务 异常检测 关键性能指标 机器学习 智能运维

在线阅读 下载PDF 职称材料

基于应用层协议关键词序列的应用层异常检测方法 被引量：7

3

作者 谢柏林 余顺争 《计算机研究与发展》 EI CSCD 北大核心 2011年第1期159-168,共10页

提出一种基于应用层协议关键词序列的应用层异常检测方法.它用应用层协议关键词和关键词之间的时间间隔构成观测序列,用隐半马尔可夫模型来刻画正常用户在使用每种应用层协议时的行为.该方法可分为模型训练和异常检测两个阶段:在模型训... 提出一种基于应用层协议关键词序列的应用层异常检测方法.它用应用层协议关键词和关键词之间的时间间隔构成观测序列,用隐半马尔可夫模型来刻画正常用户在使用每种应用层协议时的行为.该方法可分为模型训练和异常检测两个阶段:在模型训练阶段,利用前后向算法训练得到正常用户在使用每种应用层协议时其行为的隐半马尔可夫模型;在异常检测阶段,在线统计每个观测序列相对于模型的平均对数或然概率,当发现某个用户在使用某种应用层协议的过程中其行为出现异常时,采取调整该用户数据流的优先级或者带宽的方式来对该用户的异常行为进行控制,从而可以自动纠正用户的异常行为.使用包括DARPA测试数据集在内的一些数据对该方法进行了验证.实验结果表明该方法能很好地描述正常用户在使用应用层协议时的行为,并且在检测用户异常行为时具有很高的检测率和很低的误报率. 展开更多

关键词 应用层异常检测 应用层协议关键词序列 隐半马尔可夫模型 平均对数或然概率 异常行为

在线阅读 下载PDF 职称材料

基于多维度特征分析的KPI异常检测 被引量：5

4

作者 曹志英 曹伟 张秀国 《计算机工程与设计》 北大核心 2021年第5期1439-1447,共9页

为帮助运维人员提前发现未知风险,减少因异常风险带来的损失,提出多种特征融合的异常检测方法。对关键性能指标(KPI)进行多维度的特征提取,使用主成分分析方法(PCA)进行降维,对降维后的数据按照时序模式,使用小波分解提取出高频特征与... 为帮助运维人员提前发现未知风险,减少因异常风险带来的损失,提出多种特征融合的异常检测方法。对关键性能指标(KPI)进行多维度的特征提取,使用主成分分析方法(PCA)进行降维,对降维后的数据按照时序模式,使用小波分解提取出高频特征与低频特征,使用极限梯度提升(XGBoost)模型进行异常检测。实验结果表明,该方法有较好的普适性、查全率和准确度较高,受试者工作特征(ROC)曲线也普遍优于其它模型。 展开更多

关键词 关键性能指标 异常检测 主成分分析 小波分析 时间序列 极限梯度提升模型

在线阅读 下载PDF 职称材料

基于条件随机场的异常协议行为检测方法 被引量：1

5

作者 刘帅 杨英杰 常德显 《计算机应用研究》 CSCD 北大核心 2016年第6期1867-1870,1876,共5页

针对现有异常应用协议行为检测主要针对某种特定应用,缺乏通用性的问题,提出一种基于条件随机场的异常应用协议行为检测方法,从网络数据流中提取应用协议关键字及其时间间隔作为状态特征,同时考虑关键字的频率分布特征,应用条件随机场... 针对现有异常应用协议行为检测主要针对某种特定应用,缺乏通用性的问题,提出一种基于条件随机场的异常应用协议行为检测方法,从网络数据流中提取应用协议关键字及其时间间隔作为状态特征,同时考虑关键字的频率分布特征,应用条件随机场模型对协议行为进行建模,将偏离模型的协议行为判定为异常。相比于传统的基于隐马尔可夫模型建模方法,该方法不必对特征量作严格的独立性假设,具有能够融合多特征的优势。实验结果表明,该方法在检测协议异常时准确率高、误报率低。 展开更多

关键词 条件随机场 异常协议行为检测 异常检测 协议关键字 协议行为

在线阅读 下载PDF 职称材料

基于自适应伽马校正的异常驾驶行为检测方法 被引量：1

6

作者 艾青松 张皓喆 严俊伟 《计算机工程》 CAS CSCD 北大核心 2023年第9期279-286,共8页

针对低照度条件下重型卡车司机异常驾驶行为检测方法存在检测准确率低、检测速度慢等问题,结合图像自适应增强方法和轮廓定位检测思想,提出一种基于自适应伽马校正的异常驾驶行为检测方法。对传入视频图像进行自适应伽马校正,通过抑制... 针对低照度条件下重型卡车司机异常驾驶行为检测方法存在检测准确率低、检测速度慢等问题,结合图像自适应增强方法和轮廓定位检测思想,提出一种基于自适应伽马校正的异常驾驶行为检测方法。对传入视频图像进行自适应伽马校正,通过抑制噪声、改善暗部和提升信息熵来提高识别准确率。基于图像灰度值和信息熵对双阈值伽马函数进行自适应调节,从而获得更丰富的边缘信息和色彩信息。利用K-近邻背景建模法将驾驶员前景图像分离以确定检测区域,通过边缘检测进行驾驶员头部和手部轮廓识别,获得关键定位点间的欧氏距离,并进行异常驾驶行为判断。在此基础上,结合异常行为次数和时间阈值,解决环境干扰和图像噪声的问题。实验结果表明,与单尺度Retinex、多尺度Retinex以及自适应直方图均衡方法相比,所提方法在提高检测准确率的同时有效提高了检测速度,能在不同环境下有效检测异常驾驶行为。 展开更多

关键词 异常驾驶检测 关键点定位 伽马校正 边缘检测 K-近邻背景建模

在线阅读 下载PDF 职称材料

基于核典型相关分析的故障检测方法 被引量：4

7

作者 任嵬 索寒生 +1 位作者 蒋白桦 贾贵金 《控制工程》 CSCD 北大核心 2019年第4期652-656,共5页

针对化工过程中存在大量非线性问题,目前存在的主要方法为将核算法与偏最小二乘算法相结合(KPLS),相比于KPLS算法,将核与典型相关分析相结合的方法(KCCA)能够最大化两组变量相关性,以达到更好的检测效果。然而KCCA方法不能准确地将数据... 针对化工过程中存在大量非线性问题,目前存在的主要方法为将核算法与偏最小二乘算法相结合(KPLS),相比于KPLS算法,将核与典型相关分析相结合的方法(KCCA)能够最大化两组变量相关性,以达到更好的检测效果。然而KCCA方法不能准确地将数据空间分解成与关键性能指标(KPI)相关和不相关的部分,从而忽略了剩余空间仍然涉及与KPI相关的一些信息的事实。文中提出了一种新的改进的KCCA (MKCCA)方法,该方法对核矩阵的可计算负载进行奇异值分解(SVD),得到一个投影模型,将核矩阵适当地分解为KPI相关部分和不相关部分,然后设计两个统计量进行故障检测。最后利用田纳西伊士曼(TE)过程验证了所提出方法的有效性和优越性。 展开更多

关键词 典型相关分析(CCA) 故障检测 非线性 关键性能指标(KPI)

在线阅读 下载PDF 职称材料

基于大数据分析的光通信系统关键设备状态识别

8

作者 周鹤 黄建军 《激光杂志》 CAS 北大核心 2023年第12期167-172,共6页

为有效分析光通信系统关键设备状态,保障光通信系统安全稳定运行,提出基于大数据分析的光通信系统关键设备状态识别方法。利用无线传感技术采集光通信系统关键设备状态信号,经小波阈值方法去噪后,利用数DL-GA算法检测异常数据信号,将异... 为有效分析光通信系统关键设备状态,保障光通信系统安全稳定运行,提出基于大数据分析的光通信系统关键设备状态识别方法。利用无线传感技术采集光通信系统关键设备状态信号,经小波阈值方法去噪后,利用数DL-GA算法检测异常数据信号,将异常数据信号上传至设备状态识别与管理中心,由设备状态诊断模块、设备寿命预测模块、设备识别管理模块,完成对设备状态、寿命的诊断、预测以及可视化管理。实验结果表明:该方法可有效识别光通信系统关键设备状态,信号识别准确性高于99%,识别时间低于187 ms,提高了数据去噪以及异常数据信号检测的效果。 展开更多

关键词 大数据分析 光通信系统 关键设备状态 状态识别 小波去噪 异常检测

在线阅读 下载PDF 职称材料

基于动态内并行潜结构投影的故障检测方法

9

作者 孔祥玉 陈雅琳 +1 位作者 罗家宇 杨治艳 《浙江大学学报（工学版）》 EI CAS CSCD 北大核心 2023年第7期1297-1306,共10页

针对实际工业过程故障检测时存在误报警现象及易缺失部分时段质量数据的问题,提出在线监测动态内潜结构投影(OM-DiPLS)模型.该模型通过引入时延的质量数据,使得在缺失部分时段质量数据时能够实现模型的更新.为了更好地监控质量变量中不... 针对实际工业过程故障检测时存在误报警现象及易缺失部分时段质量数据的问题,提出在线监测动态内潜结构投影(OM-DiPLS)模型.该模型通过引入时延的质量数据,使得在缺失部分时段质量数据时能够实现模型的更新.为了更好地监控质量变量中不可预测的信息,基于OM-DiPLS模型提出在线监测动态内并行潜结构投影模型.该模型将过程数据和质量数据投影到输入输出相关的协变子空间、输出无关但过程相关的输入主子空间、输入残差子空间、不可预测的输出主子空间及输出残差子空间,通过对各子空间构造相应的统计量,实现过程监测.田纳西-伊斯曼过程仿真的实验表明,利用所提算法有效提高了质量相关故障的有效检测率,降低了质量无关故障的误报率. 展开更多

关键词 偏最小二乘 关键性能指标 动态建模 过程监测 故障检测

在线阅读 下载PDF 职称材料

网络服务器行为学习算法研究与实现

10

作者 沈潇婷 董云耀 《机电工程》 CAS 2010年第1期47-50,共4页

通过监视程序运行过程中产生的系统调用来发现程序的异常行为,是网络入侵检测领域的一种行之有效的技术。针对网络服务器正常程序运行事例,建立其正常行为模式的学习算法,从而检测和监视各种异常行为,对非法程序的资源调用发出警报以及... 通过监视程序运行过程中产生的系统调用来发现程序的异常行为,是网络入侵检测领域的一种行之有效的技术。针对网络服务器正常程序运行事例,建立其正常行为模式的学习算法,从而检测和监视各种异常行为,对非法程序的资源调用发出警报以及处理参考意见。研究结果表明,该研究为入侵检测提供了有效的方法。 展开更多

关键词 机器学习 异常检测 系统调用 关键系统调用 层次结构

在线阅读 下载PDF 职称材料

基于偏最小二乘的多特性复杂过程监测方法 被引量：3

11

作者 孔祥玉 陈雅琳 +2 位作者 罗家宇 周红平 叶兴泰 《华南理工大学学报（自然科学版）》 EI CAS CSCD 北大核心 2022年第6期100-110,共11页

作为一种典型的多元统计分析方法,偏最小二乘(PLS)被广泛用于对关键性能指标的异常监测。然而,在复杂的工业过程中,数据可能具有动态、非线性特性或者同时具有动态和非线性特性,基于PLS的线性模型不适用于该过程,且可能导致较高的故障... 作为一种典型的多元统计分析方法,偏最小二乘(PLS)被广泛用于对关键性能指标的异常监测。然而,在复杂的工业过程中,数据可能具有动态、非线性特性或者同时具有动态和非线性特性,基于PLS的线性模型不适用于该过程,且可能导致较高的故障误报率。为此,文中提出了一种基于偏最小二乘的多特征提取算法。首先,基于动态内PLS模型(DiPLS)提取动态特征,得到质量相关动态子空间和动态残差子空间,并针对动态残差子空间进行PLS回归建模,以进一步分离静态信息的质量相关特征;然后,将残差子空间向高维投影,构建非线性PLS模型,以提取变量的非线性特征;最后,在各特征空间中构造统计量,设计了完整的多特性混合系统过程监测策略。田纳西-伊斯曼过程的实例分析结果表明,文中提出的方法有较快的故障检测速度,能达到较好的故障检测效果。 展开更多

关键词 偏最小二乘 关键性能指标 多特征提取 过程监测 故障检测

在线阅读 下载PDF 职称材料

面向工业平稳/非平稳复杂系统的在线故障监测技术 被引量：3

12

作者 孔祥玉 王晓兵 +1 位作者 李红增 罗家宇 《浙江大学学报（工学版）》 EI CAS CSCD 北大核心 2021年第10期1856-1866,共11页

针对复杂系统中关键性能指标(KPI)相关故障检测方法检测精度低的问题,提出基于双层改进潜结构投影(DL-IPLS)的KPI相关故障检测方法.利用协整分析和主元分析建立底层模型,对非平稳和平稳变量进行特征提取.将提取的信息进行融合,建立改进... 针对复杂系统中关键性能指标(KPI)相关故障检测方法检测精度低的问题,提出基于双层改进潜结构投影(DL-IPLS)的KPI相关故障检测方法.利用协整分析和主元分析建立底层模型,对非平稳和平稳变量进行特征提取.将提取的信息进行融合,建立改进潜结构投影的上层模型,根据融合信息对KPI的贡献进行空间分解.在2个正交子空间中设计统计量,实现KPI相关故障的在线监测.田纳西-伊斯曼过程和青霉素发酵过程的仿真结果表明,在面向工业平稳和非平稳复杂工业系统检测时,所提方法有效提高了KPI相关故障的检测率,降低了KPI无关故障的误报率. 展开更多

关键词 数据驱动 协整分析 改进潜结构投影 关键性能指标 过程监控 故障检测

在线阅读 下载PDF 职称材料

PID—200型光离子化有害气体监测仪

13

《中国乡镇企业信息》 1995年第4期15-15,共1页

由于该研究有效地抑制了 UV 灯无效辐射,增加共振辐射强度以及晶体熔融烧结技术的使用,使仪器主要性能指标达国外同类仪器先进水平,填补了国内空白,使我国成为继美国、加拿大之后世界上第三个掌握光离子化痕量分析与检测仪器关键技术的... 由于该研究有效地抑制了 UV 灯无效辐射,增加共振辐射强度以及晶体熔融烧结技术的使用,使仪器主要性能指标达国外同类仪器先进水平,填补了国内空白,使我国成为继美国、加拿大之后世界上第三个掌握光离子化痕量分析与检测仪器关键技术的国家。该仪器使用光离子能量为10.6eV 的 展开更多

关键词 光离子化 痕量分析 仪器使用 性能指标 辐射强度 烧结技术 关键技术 检测仪器 离子能量 气体监测仪

在线阅读 下载PDF 职称材料