400-050-6600

使用 AI 进行日志解析:更快、更准确

来源:CPDA数据分析师网 / 作者:数据君 / 时间:2021-06-09

网络安全日志无处不在地记录了系统运行时状态以及系统活动和事件的消息
它们成为系统行为的主要来源,并且在对正常系统执行中的异常进行分类时至关重要,日志通常是非结构化的文本消息,由于它们的创建速度不断提高,因此很难手动处理。日志中的原始数据是非结构化、嘈杂和不一致的;因此,一些预处理和解析是必不可少的。

使用正则表达式解析日志是可用于网络日志分析的最广泛使用的方法
正则表达式 是指定如何匹配字符序列的字符序列,在一次性解析之外,您很可能会使用正则表达式来重复解析和规范化日志文件,作为分析基础设施的一部分,但是随着日志文件格式的变化,正则表达式会失败,这可能会导致日志数据的处理和评估方式失败,由于日志结构的来源、格式和时间各不相同,因此通常会出现这种情况,随着源数量的增加,自定义正则表达式解析器的数量也会增加。

NLP 的进展
为了减少为每个日志创建数百个自定义解析器的需要,现在使用自然语言处理 (NLP) 方法来自动化解析网络安全日志的任务,这些最初的 NLP 技术是 N-gram 分析、距离度量和词嵌入(word2vec),这些方法试图评估原始日志数据,从中提取必要的特征(来源、时间、动作),并以可以使用常用技术分析的方式重构日志,当日志的特征未知时,使用 NLP 方法,过去几年 NLP 取得了进展,利用了比 word2vec 更复杂的神经网络词表示,双向编码器采用两个序列进行编码,一个是正常的顺序,另一个是相反的顺序,它由两个编码器组成,用于对两个序列进行编码,对于最终输出,两种编码结果都被考虑,语言模型的双向训练使他们能够更深入地了解文本的上下文。

进入赛博特
虽然 在与书面人类语言相关的各种 NLP 任务中取得了最先进的结果,但将其预训练的基础模型直接应用于网络安全日志需要额外的实验和训练以及调整输入序列的大小可以输入到 BERT 模型中,项目是一项正在进行的实验,旨在训练和优化变压器网络,以提供对异构网络安全数据日志的灵活和稳健的解析。它是 库的一部分用于将 GPU 加速带入现实世界的网络安全用例,cyBERT 和 CLX 的目标是允许网络安全人员、网络数据科学家、数字取证分析师和威胁猎人开发网络安全日志数据工作流,这些工作流不需要自定义正则表达式解析过程来将数据转化为用于评估和诊断的格式.

网络安全日志以固定顺序包含文件路径、IP 地址、端口号和十六进制值,而不是您在典型的字符串中看到的内容,这些日志输入的组合可能会导致复杂的正则表达式,这些正则表达式可能会根据来源或创建时间而变化,无需创建正则表达式解析器,因为它可以直观地确定每个日志输入,而无需考虑每个字符组合。

游戏规则改变者

具有足够的通用性,企业可以使用它并针对其自定义网络行为对其进行训练,不是在 BERT 中使用默认的英语单词语料库,而是使用自定义标记器和在大量不同网络日志的大型语料库上从头开始训练的表示法开发的,提供由 NLP 支持的工具集来执行日志解析是网络安全的关键和时间敏感领域的游戏规则改变者。


最新开班信息

【武汉28期】CPDA数据分析师线下培训开班公告

https://www.chinacpda.com/openclass/detail/?id=2681


【北京108期】CPDA数据分析师线下培训开班公告

https://www.chinacpda.com/openclass/detail/?id=2645


【上海60期】CPDA数据分析师线下培训开班公告

https://www.chinacpda.com/openclass/detail/?id=2706


CPDA企业内训

https://www.cpda.cn/trainning/

 

大数据人才培养优秀合作机构 受邀参会 交流经验

https://www.chinacpda.com/data/detail/?id=2729


CPDA项目数据分析师为什么要更名?

https://www.chinacpda.com/question/4504.html


数据分析师最新开班信息

https://www.chinacpda.com/openclass/


数据分析师职业前景

https://www.chinacpda.com/career/


数据分析师考试时间

https://www.chinacpda.com/examine/


数据分析师职业资格认证

https://www.chinacpda.com/association/


海南智企数据分析师事务所

https://www.chinacpda.com/shiwusuo/14202.html

 

王兴海老师 高级经济师

https://www.chinacpda.com/shizi/9433.html

 

用数据改变人生,百万年薪不是梦,获得CPDA证书仅是一个开始

https://www.chinacpda.com/shouquanzhongxin/14854.html

 

大数据专业就业前景及就业方向如何?

https://www.chinacpda.com/wenti/11706.html

 

CPDA数据分析师学习方式和课程体系

https://www.chinacpda.com/xuexiarea/18089.html

 

数据分析师的职业进阶之路

https://www.chinacpda.com/zixun/4048.html

 

首个《中国大数据人才培养体系标准》正式发布!

https://www.chinacpda.com/dongtai/9669.html

 

CPDA数据分析师全国授权中心招募

https://www.chinacpda.com/recruit.php


数据分析免费试听课程

https://www.chinacpda.com/listen/


CPDA数据说给你带来精彩的视频案例讲解

https://www.chinacpda.com/videocenter/

 

数据分析师职业考核

https://www.chinacpda.com/examine/

 

数据分析师职业规划

https://www.chinacpda.com/career/

 

CPDA数据分析师授权中心

https://www.chinacpda.com/train/

 

数据分析相关动态

https://www.chinacpda.com/data/?page=77

 

数据分析师为您解答更多问题

https://www.chinacpda.com/qa/

 

数据分析案例展示

https://www.chinacpda.com/case/

 

查找您周边省份授权培训中心:

https://www.chinacpda.com/train/

 

2021年CPDA数据分析师线上报名:

https://www.chinacpda.com/baoming.php

 

CPDA数据分析明星导师:

https://www.chinacpda.com/startutor/

 

CPDA数据分析师培训优秀学员:

https://www.chinacpda.com/student/

 

全国免费客服热线:400-050-6600

中国商业联合会数据分析专业委员会





Prev article

将精准医学推进日常实践

Next article

在跳到机器学习之前,您需要一个坚实的分析基础

课程服务

认证服务

在线咨询