日志主要记录软硬件的运行信息,通过查看系统日志,可以找到系统出现的问题及原因,确保系统的稳定性和正常运行。日志解析的目的是将半结构化的原始日志解析为可阅读的日志模板,现有解析方法往往只注重于对原始日志的解析,而忽略了后期...日志主要记录软硬件的运行信息,通过查看系统日志,可以找到系统出现的问题及原因,确保系统的稳定性和正常运行。日志解析的目的是将半结构化的原始日志解析为可阅读的日志模板,现有解析方法往往只注重于对原始日志的解析,而忽略了后期模板处理,导致结果的精度不能进一步提高。自此,提出了一种日志解析方法FMLogs(logs parsing based on frequency and MinHash algorithm)。该方法通过设计正则表达式和调节阈值参数以获得最佳性能,同时采用了字符级频率统计和MinHash方法对长度相同和不同的日志模板进行合并。FMLogs在七个真实数据集上进行了广泛的实验,取得了0.924的平均解析准确率和0.983的F 1-Score。实验结果表明,FMLogs是一种有效的日志解析方法,在解析日志的同时具有较高的准确性和效率,并能保证性能的稳定。展开更多
文摘日志主要记录软硬件的运行信息,通过查看系统日志,可以找到系统出现的问题及原因,确保系统的稳定性和正常运行。日志解析的目的是将半结构化的原始日志解析为可阅读的日志模板,现有解析方法往往只注重于对原始日志的解析,而忽略了后期模板处理,导致结果的精度不能进一步提高。自此,提出了一种日志解析方法FMLogs(logs parsing based on frequency and MinHash algorithm)。该方法通过设计正则表达式和调节阈值参数以获得最佳性能,同时采用了字符级频率统计和MinHash方法对长度相同和不同的日志模板进行合并。FMLogs在七个真实数据集上进行了广泛的实验,取得了0.924的平均解析准确率和0.983的F 1-Score。实验结果表明,FMLogs是一种有效的日志解析方法,在解析日志的同时具有较高的准确性和效率,并能保证性能的稳定。
