借助机器学习加速进行内部威胁检测

NEWS前沿动态

借助机器学习加速进行内部威胁检测

来源：CPDA数据分析师网 / 作者：数据君 / 时间：2021-04-06

大多数工程师会将日志整合到可以访问云的单个位置
从而使此操作更容易实现，除了通过转换和充实工作流将日志从异构源构造为具有特定架构的数据集外，还将以“原始”格式存储日志，从这里可以开发用户的行为以及威胁分类的其他方法，基于规则的威胁分类将获取此数据并查找某些行为，并返回满足特定条件的结果，基于统计的威胁分类可以从通过总体人口抽样得出的分布中寻找有意义的风险异常值。

威胁分类
许多研究人员致力于通过机器学习来建立威胁分类模型，监督内部学习是解决内部威胁检测问题的一种传统方法，它是根据日志中捕获的训练数据建立数据分类模型，不幸的是用于监督学习方法的训练过程在处理高度不平衡的数据时往往既耗时又昂贵，尝试应对与培训时间和数据相关的挑战，已经产生了利用GPU硬件上的深度学习和图形分析的新方法，在过去的十年中，以Python编码语言编写的机器学习框架的新创新利用了GPU的强大功能，这些框架提供了在GPU中的数据上探索，转换和应用算法的能力，但是其速度是CPU所没有的。

这可以减少培训时间和费用
并有机会在不受传统机器学习方法相同约束的数据上应用先进的分析技术，例如深度自动编码器是一种深度学习算法，可以表示数据中的非线性关系，并且不一定需要与每个日志关联的标签来生成代表网络上用户行为基线的功能，自动编码器能够对正常行为进行编码，并且在解码时，将出现小的错误，如果生成的新特征向量包含非正常行为，则解码后的输出将导致错误，并可能触发警报以供进一步研究。

图分析
图分析是一种关于网络的性质以及实体（顶点）之间的关系（边）的分析方法。在由许多实体组成的动态网络中，图分析可以告诉我们有关它们之间的行为和关系的信息。出现的问题是这些网络中许多网络可以发展到的规模。如果网络是从系统用户交互中捕获的日志派生的，则边缘的数量可能达到数十亿，GPU上图形分析的创新提供了使用标准图形算法比同等CPU方法快1000倍的能力来处理这种规模的网络，从而获得更快的洞察力和应用响应。

内部威胁检测的目的是将非正常行为与大量已记录的行为区分开
为了识别潜在的威胁，组织必须建立相关的算法，并以有效的方式使这些过程自动化，GPU的应用不再局限于图形和显示，而是已扩展到科学计算，工程仿真和AI，利用这些算法和高级硬件，可以极大地提高用于机器学习和深度学习的计算密集型程序的性能。

Prev article

2021年CPDA数据分析师考试报名时间

返回列表

Next article

自动化机器学习和预测分析的建议