关于如何使用机器学习进行异常检测的7个问题?

Q&AQ&A问答

关于如何使用机器学习进行异常检测的7个问题?

来源：CPDA数据分析师网 / 作者：数据君 / 时间：2021-04-08

离群值和异常之间有什么区别？
离群值是远离分布的均值或位置的观测值，但是它们不一定代表异常行为或由其他过程生成的行为，另一方面，异常是由不同进程生成的数据模式。

药品中是否有异常检测的应用程序？
异常检测在制药生命科学领域有许多应用，包括在药品制造中使用统计过程控制或质量控制和多元SPC图表进行过程监控和质量控制，及时的异常检测对于避免异常事件并遵守安全标准至关重要，识别场外交易中的异常现象可用来对抗药品零售数据中的处方滥用行为，实时检测多参数临床试验数据中的异常有助于确保临床试验的成功。

是否也用于异常检测？
生成对抗网络是新颖的无监督学习方法，在识别异常方面非常有效，由于设计是迭代式的，并且对抗训练已得到优化，以利用重构的样本来减少残留损失，因此它们在半结构化和非结构化数据中均能很好地工作，它们对于医学图像分析（帮助放射科医生发现难以识别的肿瘤），面部识别，文本到图像的翻译等非常有用。

相关数据会影响异常检测吗？我们以什么方式以及如何减少影响？在开始异常检测之前清理并删除相关性是否更可取？
正如网络研讨会中提到的，我们认为相关性不会影响异常检测，但是我们有许多可用的技术来帮助确定如何处理相关变量。一个建议是使用像主成分分析这样的技术来减少维度的数量，有什么建议的算法适合于与识别网络活动或数据中的异常活动有关的异常检测？如网络研讨会所述，有许多方法和算法可以很好地适用于异常检测的各种应用程序和用例。其中一些是递归神经网络，生成对抗网络，隔离林，深度自动编码器等。如果您对网络/图分析特别感兴趣，则用于识别网络图异常的两种主要方法是：直接邻居离群值检测算法和社区邻居算法。

“新颖性”是我们努力发现的主要内容
质量控制图适用于已知模式，但是自动识别新模式会更加困难。我希望对在该领域提供帮助的工具有一些想法，对于单变量质量控制图，规则用于检测少数常见模式，诸如偏小二乘之类的经典多变量方法将捕获涉及多个变量的模式，单变量方法不会检测到这些模式，自动编码器是全面的工具，将涵盖广泛的不同模式，它可以捕获多变量，周期性，非线性且具有相互作用的模式，您可以使用一组“正常”数据来训练自动编码器，新数据中存在但训练集中不存在的任何模式都将被标记，我们在社区上有一个模板。

通过进行PCA缩减尺寸会影响数据集中的异常吗？会导致异常消失吗？如果是这样，如何预防呢？

进行PCA将捕获原始数据集中一定百分比的方差，因此我们使用PCA进行异常检测的方法是计算从原始点到低维空间中表示的点的“距离”，距离越大（即，将观测值映射到低维空间时“丢失”的距离越大），我们就越将其视为异常。

CPDA企业内训

https://www.cpda.cn/trainning/

CPDA项目数据分析师为什么要更名？

https://www.chinacpda.com/question/4504.html

海南智企数据分析师事务所

https://www.chinacpda.com/shiwusuo/14202.html

王兴海老师高级经济师

https://www.chinacpda.com/shizi/9433.html

用数据改变人生，获得CPDA证书仅是一个开始

https://www.chinacpda.com/shouquanzhongxin/14854.html

大数据专业就业前景及就业方向如何？