基于日志数据的窗口化异常检测方法

1

作者 王锐 《电信工程技术与标准化》 2024年第1期75-80,共6页

传统的异常检测方法采用不定时巡检和用户反馈等被动方式发现问题,效率低、无法主动发现故障。本文提出了一种基于日志数据的窗口化异常检测方法,首先对历史日志数据进行预处理,获取日志模式库,再将日志数据转换成事件统计矩阵,结合COPO... 传统的异常检测方法采用不定时巡检和用户反馈等被动方式发现问题,效率低、无法主动发现故障。本文提出了一种基于日志数据的窗口化异常检测方法,首先对历史日志数据进行预处理,获取日志模式库,再将日志数据转换成事件统计矩阵,结合COPOD算法快速定位异常点,及时发现具体异常日志,保证检测高效及准确。经实验数据表明,本文提出的异常检测方法能有效检测出多事件中存在的异常数据,且在大数据处理过程中效率较高。 展开更多

关键词 异常检测 日志数据 COPOD算法

在线阅读 下载PDF 职称材料

图书馆大规模日志数据的快速聚类 被引量：3

2

作者 宋爱波 庄晓青 +2 位作者 何洁月 业宁 董逸生 《应用科学学报》 CAS CSCD 2003年第3期284-288,共5页

给出了一种简单有效的算法,用于对图书馆大规模日志数据的快速聚类和借阅趋势分析.首先,根据读者基本的借阅规律,把日志数据聚成若干子类,然后,给出了对子类结果进行再次聚类的模糊算法.最后,为了预测读者的借阅趋势,对每一类进行了回... 给出了一种简单有效的算法,用于对图书馆大规模日志数据的快速聚类和借阅趋势分析.首先,根据读者基本的借阅规律,把日志数据聚成若干子类,然后,给出了对子类结果进行再次聚类的模糊算法.最后,为了预测读者的借阅趋势,对每一类进行了回归分析.该算法具有线性复杂度,对大规模数据集是可伸缩的,实验证明是可行的. 展开更多

关键词 数字图书馆 日志数据 聚类算法 回归分析 模糊算法 借阅规律 借阅趋势

在线阅读 下载PDF 职称材料

校外访问日志数据分析

3

作者 徐强 罗天龙 《通讯世界》 2015年第6期303-304,共2页

随着网络技术和信息化水平的不断发展,高校师生在校外科研、学习和办公的情况越来越多。Ezproxy作为一款经济、便捷的透明代理软件系统,成为国外高校普遍采用的一种校外访问方式。本文通过对Ezproxy软件日志数据的分析,得出本校校外访... 随着网络技术和信息化水平的不断发展,高校师生在校外科研、学习和办公的情况越来越多。Ezproxy作为一款经济、便捷的透明代理软件系统,成为国外高校普遍采用的一种校外访问方式。本文通过对Ezproxy软件日志数据的分析,得出本校校外访问用户的各种访问信息,为今后校外访问系统的优化提供了有用的数据支撑。 展开更多

关键词 校外访问 日志数据

在线阅读 下载PDF 职称材料

基于广义回归神经网络的电网信息系统日志数据分析技术研究 被引量：13

4

作者 邹保平 黄文思 +2 位作者 张文晋 韩泽华 程仲汉 《电子设计工程》 2017年第13期114-117,共4页

针对目前电网信息系统处理日志数据量大且系统处理速度慢的问题,根据现有数据处理系统以及基于神经网络的数据分析方法,通过利用Flume数据采集系统、主从结构模型HDFS和并行编程模式的Map Reduce综合支持的数据调用程序,优化传统的广义... 针对目前电网信息系统处理日志数据量大且系统处理速度慢的问题,根据现有数据处理系统以及基于神经网络的数据分析方法,通过利用Flume数据采集系统、主从结构模型HDFS和并行编程模式的Map Reduce综合支持的数据调用程序,优化传统的广义神经网络算法,提高系统分析数据做出响应的速度。最后选取电网信息系统的部分样本进行实验测试:较其他数据处理算法来说,GRNN算法数据处理响应时间提高近52%,处理结果的准确性提高10%左右。 展开更多

关键词 日志数据 广义回归神经网络 电网信息系统 MAPREDUCE

在线阅读 下载PDF 职称材料

电网区块链多层次日志数据分布式存储方法 被引量：5

5

作者 蔡玺 张文轩 《电子设计工程》 2023年第23期31-34,40,共5页

针对电网日志数据面临恶意篡改而导致存储不完整的问题,该文提出电网区块链多层次日志数据分布式存储方法。构建基于区块链的数据分布式存储模型,利用实体私钥对数据签名分布式写入区块链。评估日志中数据地址对目的主机威胁程度,提取... 针对电网日志数据面临恶意篡改而导致存储不完整的问题,该文提出电网区块链多层次日志数据分布式存储方法。构建基于区块链的数据分布式存储模型,利用实体私钥对数据签名分布式写入区块链。评估日志中数据地址对目的主机威胁程度,提取日志关键属性组成告警向量,构建密文索引结构。使用隐私加密保护技术计算密文存储位置,将密文存储位置传送到区块链中,结合PoW共识算法实现数据安全存储。利用密码学算法结合区块链技术校验数据存储完整性,实现电网多层次日志数据分布式存储。由实验结果可知,该方法与实际功率数据存在的最大误差为2 kW,其余均一致,说明使用该方法存储结果具有完整性。 展开更多

关键词 区块链 日志数据 分布式存储 数据加密

在线阅读 下载PDF 职称材料

融合Transformer与1D-CNN的日志异常检测方法

6

作者 赵海鹏 容晓峰 《西安工业大学学报》 2025年第1期138-148,共11页

为了解决现有日志异常检测方法在均衡日志序列的全局趋势和局部特征方面的不足,提出一种基于自编码器的无监督日志异常检测方法。该方法采用多层Transformer堆叠组成编码器,提取具备完整性和全局依赖性的多层融合特征,并通过1D-CNN与全... 为了解决现有日志异常检测方法在均衡日志序列的全局趋势和局部特征方面的不足,提出一种基于自编码器的无监督日志异常检测方法。该方法采用多层Transformer堆叠组成编码器,提取具备完整性和全局依赖性的多层融合特征,并通过1D-CNN与全连接神经网络构成的解码器聚焦数据的局部特征,重构输入数据。实验结果表明,该方法能够准确表示并识别数据特征,分别在三种公开数据集中取得99.7%、97.5%和96.4%的最高F 1值,较基准方法LogAnomaly平均提高7.9%。此外,通过消融实验验证了该方法在特征提取模块的有效性及其对实验结果的影响。 展开更多

关键词 日志数据 异常检测 自编码器 TRANSFORMER 融合特征

在线阅读 下载PDF 职称材料

一种分布式日志采集与分析系统 被引量：8

7

作者 张宏海 刘亚宁 《信息技术与信息化》 2022年第6期87-90,共4页

随着业务增长,服务器端的机器数量也在不断扩张,对于集群日志进行实时的采集和分析就变得越来越复杂,业界出现了许多基于日志数据处理的平台,但目前使用最广泛的是ELK平台。基于开源的ELK(elasticsearch、logstash和kibana)作为系统框架... 随着业务增长,服务器端的机器数量也在不断扩张,对于集群日志进行实时的采集和分析就变得越来越复杂,业界出现了许多基于日志数据处理的平台,但目前使用最广泛的是ELK平台。基于开源的ELK(elasticsearch、logstash和kibana)作为系统框架,实现了一种分布式日志采集与分析系统,完成对服务器产生的海量日志进行数据收集、处理、查询和可视化的构建。系统分为四个部分,包括数据收集、数据处理、数据存储以及数据展示,系统中每个部分都具备横向扩展的能力,具备高可用的机制,可以根据不同的维度和条件实现近实时的高效数据查询和检索。 展开更多

关键词 日志文件 日志数据收集 日志数据分析 日志数据处理 ELK平台

在线阅读 下载PDF 职称材料

基于改进孤立森林算法的Linux日志异常检测方法 被引量：1

8

作者 赵海涛 李红烨 《指挥控制与仿真》 2024年第5期114-118,共5页

为高效、正确地识别Linux日志中的异常行为,提出一种基于改进孤立森林算法的Linux日志异常检测方法。该方法在孤立森林算法的基础上引入注意力机制,在处理日志数据时能够动态地调整关注的特征和样本点,并根据样本的异常程度动态调整关... 为高效、正确地识别Linux日志中的异常行为,提出一种基于改进孤立森林算法的Linux日志异常检测方法。该方法在孤立森林算法的基础上引入注意力机制,在处理日志数据时能够动态地调整关注的特征和样本点,并根据样本的异常程度动态调整关注的程度。实验结果表明,该方法相较于传统方法,在精确率、性能等方面均有显著提升。 展开更多

关键词 异常检测 Linux日志数据 孤立森林 注意力机制

在线阅读 下载PDF 职称材料

数据库日志异常增加故障排除1例

9

作者 李春林 周根鸿 《数字技术与应用》 2022年第5期11-13,共3页

目的:探讨利用数据库日志文件进行安全预警,保护数据库安全。方法:定期巡视数据库日志文件,发现异常时进行分析,使用数据日志分析工作进行分析。结果:日志异常必定反映出数据产生异常。结论:加强对数据库日志文件的定期巡查和分析,确保... 目的:探讨利用数据库日志文件进行安全预警,保护数据库安全。方法:定期巡视数据库日志文件,发现异常时进行分析,使用数据日志分析工作进行分析。结果:日志异常必定反映出数据产生异常。结论:加强对数据库日志文件的定期巡查和分析,确保数据库的安全运行。 展开更多

关键词 数据库安全 数据库日志 定期巡视 安全预警 数据日志 故障排除 定期巡查 异常

在线阅读 下载PDF 职称材料

基于播出日志的数据分类评析系统的设计

10

作者 李一君 叶灵 《现代电视技术》 2016年第1期64-68,共5页

本文立足于播出日志的数据利用,介绍了一款以B/S架构,以SQL数据库作为查询数据库的数据分类评析系统设计思路,阐述了该系统的主要功能模块和实现方法。

关键词 播出日志数据 数据自动分类 KNN算法 B/S结构

在线阅读 下载PDF 职称材料

基于数据库日志的电力多维系统智能运维模型 被引量：1

11

作者 宋景慧 胡春潮 《信息技术》 2022年第10期85-90,96,共7页

为提升电力多维系统运行稳定性,设计基于数据库日志的电力多维系统智能运维模型。通过基于数据块的关系数据库异常日志挖掘方法和基于异常分析的电力多维系统智能运维策略,完成电力多维系统异常事件挖掘与运维。在运维过程中,通过系统... 为提升电力多维系统运行稳定性,设计基于数据库日志的电力多维系统智能运维模型。通过基于数据块的关系数据库异常日志挖掘方法和基于异常分析的电力多维系统智能运维策略,完成电力多维系统异常事件挖掘与运维。在运维过程中,通过系统检修故障比,判断异常事件出现时系统的运维程度,获取电力多维系统智能运维最优策略,实现电力多维系统智能运维。实验结果显示:该模型能够有效挖掘电力多维系统中异常事件信息;系统故障比降低至3%以内,故障出现概率稳定在1%左右,并可降低检修电力多维系统的开销,提升电力多维系统运行稳定性。 展开更多

关键词 数据库日志 电力多维系统 智能运维模型 异常事件

在线阅读 下载PDF 职称材料

包含记录器和数据日志功能的软件

12

《电子产品世界》 2004年第06B期46-46,共1页

关键词 记录器 数据日志 PMD-1024LS 测量软件

在线阅读 下载PDF 职称材料

一种云上日志采集与分析系统的研究与实现 被引量：1

13

作者 张宏海 刘亚宁 +3 位作者 武学成 田丰 刘硕 刘中一 《信息技术与信息化》 2023年第11期16-19,共4页

民航客运运价搜索业务与用户访问量息息相关,且日志量与访问量成正比,高峰时每天日志量可达TB级,而低谷时日志量仅几百MB,因此利用云服务自身的弹性扩展能力,对日志量高峰和低谷时的服务器资源进行动态调整,就变得尤为重要,这样不但可... 民航客运运价搜索业务与用户访问量息息相关,且日志量与访问量成正比,高峰时每天日志量可达TB级,而低谷时日志量仅几百MB,因此利用云服务自身的弹性扩展能力,对日志量高峰和低谷时的服务器资源进行动态调整,就变得尤为重要,这样不但可以节省服务器资源的使用,带来巨大经济效应,还可以降低运维成本。以民航客运运价搜索系统上云为背景,基于ELK体系架构,提出了一种云上日志采集与分析系统的研究与实现,完成对云上产生的海量日志进行数据收集、处理、查询和可视化构建。与云下的日志采集与分析系统相比,在功能相同的情况下,使用了近一半的服务器资源实现了云下两倍的日志数据存储。 展开更多

关键词 日志数据 日志收集 日志分析 云上ELK

在线阅读 下载PDF 职称材料

大数据共享与开放及保护的挑战 被引量：5

14

作者 邬贺铨 《中国信息安全》 2017年第5期55-58,共4页

大数据包括物理空间的数据、信息空间的数据和智慧空间的数据,这是三元数据。作为网络层面的数据,包括自媒体数据、富媒体数据、基层网络数据、日志数据。麦肯锡曾统计,大数据的利用能给美国的保健、欧洲公共管理服务的提供者等带来数... 大数据包括物理空间的数据、信息空间的数据和智慧空间的数据,这是三元数据。作为网络层面的数据,包括自媒体数据、富媒体数据、基层网络数据、日志数据。麦肯锡曾统计,大数据的利用能给美国的保健、欧洲公共管理服务的提供者等带来数千亿美元的年度价值,会给经销商带来60%的利润增加,会给制造业带来50%的成本降低。 展开更多

关键词 数据共享 保护 物理空间 媒体数据 网络数据 信息空间 日志数据 公共管理

在线阅读 下载PDF 职称材料

统一移动应用数据采集与分析平台设计与实现 被引量：1

15

作者 翁湦元 钱克非 郝晓培 《铁路计算机应用》 2022年第3期35-41,共7页

随着Web应用、小程序、公众号、App等各种移动应用的普及,作为直接面向终端用户的移动互联网服务入口,其运行性能、稳定性及用户体验尤为重要。文章提出统一移动应用数据采集与分析平台设计方案,包括移动应用端和服务端两部分;移动应用... 随着Web应用、小程序、公众号、App等各种移动应用的普及,作为直接面向终端用户的移动互联网服务入口,其运行性能、稳定性及用户体验尤为重要。文章提出统一移动应用数据采集与分析平台设计方案,包括移动应用端和服务端两部分;移动应用端采用分层的结构化设计与统一接口定义,实现移动应用的多渠道兼容;服务端通过消息队列实现日志数据处理解耦,支持实时与离线两种日志处理模式,兼顾数据分析的准确性与实时性。该平台提供的多渠道移动应用数据采集分析服务具有低代码侵入、易于快速部署的特点,可有效整合来自多种渠道移动应用的日志数据,实现移动应用的统一监控与综合分析,帮助运营人员及时全面掌握各类移动应用运行状态及用户行为,对持续改进移动互联网服务、增强移动应用稳定性、提升用户服务体验具有积极作用。 展开更多

关键词 移动应用 移动端应用统一监控 用户行为分析 日志数据采集 日志数据分析

在线阅读 下载PDF 职称材料

一种基于Logstash的高效数据处理方法 被引量：4

16

作者 张宏海 刘亚宁 《信息技术与信息化》 2022年第7期84-87,共4页

ELK平台是目前业界使用最广泛的日志数据处理平台,但Logstash在性能上有严重短板,无法进行复杂数据处理。为了更加高效、实时的处理生产系统中日益增长的海量日志数据,基于logstash系统,通过自定义的Ruby插件,实现一种高效数据处理的方... ELK平台是目前业界使用最广泛的日志数据处理平台,但Logstash在性能上有严重短板,无法进行复杂数据处理。为了更加高效、实时的处理生产系统中日益增长的海量日志数据,基于logstash系统,通过自定义的Ruby插件,实现一种高效数据处理的方法,解决了性能问题,并且可实现复杂数据处理。系统由三部分组成,分别是数据输入、数据处理和数据输出。数据输入和数据输出部分保留了Logstash丰富的插件功能以及其高可用的特点,可用不同的插件进行切换。数据处理部分使用Ruby脚本对所有数据进行定制化的数据处理,提高了Logstash的数据处理效率,在实际生产环境中,性能提升将近50%,增强了Logstash的数据处理能力,尤其是在复杂数据处理过程中,可同时产生多个事件,支持复杂的统计功能。 展开更多

关键词 ELK平台 日志数据 Logstash系统 高性能 复杂数据处理

在线阅读 下载PDF 职称材料

多源日志的远程存储和分析管理

17

作者 毕红双 王宝生 张京京 《信息通信》 2016年第3期160-162,共3页

在现代计算机系统和软件开发过程中日志数据越来越受到业内人士的普遍重视。文章旨在实现对日志数据的远程备份并按照一定的规则挖掘出对后续的日志管理有帮助的记录。首先使用TCP可靠传输协议把日志数据存入到远端服务器上,为了实现对... 在现代计算机系统和软件开发过程中日志数据越来越受到业内人士的普遍重视。文章旨在实现对日志数据的远程备份并按照一定的规则挖掘出对后续的日志管理有帮助的记录。首先使用TCP可靠传输协议把日志数据存入到远端服务器上,为了实现对日志数据的较为全面的分析管理,把不同格式的日志数据做统一化处理,并写入到数据库中,实现对日志数据的安全管理。 展开更多

关键词 日志数据 日志数据的远程备份 统一日志格式 数据挖掘

在线阅读 下载PDF 职称材料

一种改进的模糊聚类日志异常检测方法 被引量：2

18

作者 何书前 孙学朝 +1 位作者 蒋文娟 余绪杭 《现代电子技术》 2022年第16期30-34,共5页

随着分布式信息系统的普及与应用,系统的在线运行管理变得尤为重要。如何利用各类系统运行产生的日志数据保障在线业务应用不间断服务已成为当前研究的热点问题,而基于机器学习方法的日志数据异常检测是该领域的有效路径。围绕日志数据... 随着分布式信息系统的普及与应用,系统的在线运行管理变得尤为重要。如何利用各类系统运行产生的日志数据保障在线业务应用不间断服务已成为当前研究的热点问题,而基于机器学习方法的日志数据异常检测是该领域的有效路径。围绕日志数据的异常检测问题,文中提出一种模糊聚类的无监督学习方法,通过引入模糊隶属度函数,对不同的分类对象赋予不同模糊隶属度,可有效分类噪声与奇异数据点的影响,效果明显优于传统的其他同类机器学习方法。其次,针对日志数据正常与异常数据聚群的不平衡问题,引入不平衡补偿因子,进一步提高异常检测的性能。实验结果表明:模糊聚类算法明显优于现有无监督机器学习方法,准确率达到96%,召回率为100%,综合评价指标F1值为97.9%;改进的算法则在原基础上,准确率和F1分别提升1个百分点。 展开更多

关键词 日志数据 模糊聚类 异常检测 机器学习 分布式信息系统 无监督学习

在线阅读 下载PDF 职称材料

一种基于HIVE和分布式集群的大量数据高效处理方法研究 被引量：33

19

作者 侯晓芳 王欢 李瑛 《中国电子科学研究院学报》 北大核心 2018年第3期315-320,共6页

为了对海量电子日志数据进行有效处理,提出一种基于HIVE和分布式集群的综合解决方案。首先,从需求分析出发,阐述了分布式集群搭建、虚拟机的Flume配置和HIVE数据处理;然后,进行数据采集和清洗、业务逻辑处理及优化、数据合并与查询。实... 为了对海量电子日志数据进行有效处理,提出一种基于HIVE和分布式集群的综合解决方案。首先,从需求分析出发,阐述了分布式集群搭建、虚拟机的Flume配置和HIVE数据处理;然后,进行数据采集和清洗、业务逻辑处理及优化、数据合并与查询。实验以统计分析网站访问排名为例,对具体的表结构和实施过程进行描述,并验证其可行性。结果表明:与其他框架相比,所提大数据综合处理方法在数据采集和日志处理方面更效率,且省去了处理业务逻辑的大量Java代码,可用性更佳。 展开更多

关键词 分布式集群 虚拟机 日志数据 HIVE HADOOP 大数据

在线阅读 下载PDF 职称材料

电子商务网站营销数据分析技术初探 被引量：2

20

作者 蔡景蕊 《环渤海经济瞭望》 2008年第1期56-57,共2页

电子商务(EC)在现代商务企业的发展中占有越来越重要的地位。如何利用信息技术掌握更多的商务信息已备受商家们的关注,站点分析技术正是为商家和网站提供了这样一种有效的分析工具。本文讨论了一些站点分析的相关技术信息和几种网站分... 电子商务(EC)在现代商务企业的发展中占有越来越重要的地位。如何利用信息技术掌握更多的商务信息已备受商家们的关注,站点分析技术正是为商家和网站提供了这样一种有效的分析工具。本文讨论了一些站点分析的相关技术信息和几种网站分析浏览者行为的理论与算法,及数据仓库的相关理论知识。并对站点日志数据进行了实例分析,并指出了站点分析技术发展的方向。 展开更多

关键词 日志数据 信息技术 数据仓库 联机分析处理

在线阅读 下载PDF 职称材料