4 个月前

日志记录的自动解析

日志记录的自动解析

摘要

软件日志分析有助于维护软件解决方案的健康状态并确保合规性和安全性。现有的软件系统由多种异构组件组成,这些组件生成的日志格式各异。一种常见的解决方案是使用手动构建的解析器来统一日志,但这是一项繁琐的工作。相反,我们探索了通过使用机器翻译(MT)自动化解析任务的可能性。我们开发了一种工具,该工具生成合成的 Apache 日志记录,用于训练基于循环神经网络的机器翻译模型。对实际日志记录的评估表明,这些模型可以学习 Apache 日志格式并解析单个日志记录。实际日志记录与机器翻译预测之间的中位相对编辑距离小于或等于 28%。因此,我们证明了使用机器翻译方法进行日志解析具有很大的潜力。

代码仓库

WulffHunter/log_generator
官方
GitHub 中提及

基准测试

基准方法指标
machine-translation-on-v-a-trained-on-t-hM_C
Median Relative Edit Distance: 0.28
machine-translation-on-v-b-trained-on-t-hM_C
Median Relative Edit Distance: 0.25
machine-translation-on-v-c-trained-on-t-hM_C
Median Relative Edit Distance: 0.27

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
日志记录的自动解析 | 论文 | HyperAI超神经