您需要了解的有关暗数据的所有信息-以及如何将其变为现实
来源:CPDA数据分析师网 / 作者:数据君 / 时间:2020-05-11
黑暗数据为组织提供了巨大的机会和责任
如果有效地利用了它,它可以用来产生其他方面无法获得的见解。考虑到这一点,重要的是要使这些暗数据可访问,以便为那些创新的用例提供支持,另一方面,缺乏对组织内收集的所有数据的可见性,可能导致难以准确管理成本,并且容易意外地违反保留策略。它还可能妨碍确保遵守诸如欧盟通用数据保护法规之类的法规的努力。
那么如何做才能程度地利用暗数据的益处并避免这些问题呢?
一些实践在处理暗数据时,重要的实践是通过与组织内的潜在用户交流正在收集哪些数据来吸引人们的注意,企业需要评估保留数据是否有意义以及保留有意义的时间,这对于避免在收集和存储将来不会使用和将来不会使用的数据方面招致潜在的巨大成本至关重要,更重要的是,要确保正确处理和保护数据,这一点至关重要处理暗数据时,的挑战可能就是简单地访问它,因为通常将其存储在孤立的存储库中,该存储库靠近收集数据的位置。此外,它可能以难以查询或分析能力有限的系统和格式存储。
,下一步就是确保所收集的数据可以真正有效地使用。两种主要方法是:
(1)投资于可以查询数据当前存储位置的工具。
(2)将数据移入集中式数据存储平台。
我建议将这两种方法结合起来
首先采用能够通过单个界面发现,分析和可视化来自多个平台和位置的数据的工具,这将提高数据可见性并减少多次存储相同数据的趋势。其次,利用可以有效聚合和存储原本无法访问的数据的存储平台,以减少必须跟踪和管理的数据存储的数量,考虑到组织中拥有暗数据所带来的潜在力量和陷阱,将其带离暗中值得付出努力。
到目前为止IT团队一直严格限制AIOps技术-仅依靠它来增强人类已经完成的工作
在2020年,我们将认识到IT专业人员对AIOps系统独立运行的信任度更高,因为我们意识到我们的认知能力是更快地解决事件的真正障碍。这种信任将使该技术满足严格的时间表要求,以解决影响客户的问题。
限制神经网络部署
中性网络构成了我们今天知道的AIOps系统,但是这种方法可持续吗?不幸的是,神经网络的局限性阻碍了跨管理环境的广泛部署,例如缺乏可行的见解,诊断和预测能力不足以及培训时间过长。而且,尽管客户和供应商都在神经网络上进行了大量投资,但随着部署的扩展,其在应用将受到限制。随着领域逐渐摆脱对神经网络的依赖,我们将看到一种多维方法来进行数据选择,模式发现,围绕这些发现的逻辑推理和交流,并出现了补救措施。
扩展我们定义数据的能力
我们将重点放在机器学习算法上,以理解数据。简而言之,您所获得的数据是否告诉您正在查看什么?但是,在2020年,我们将看到另外两个焦点,它们将帮助AIOps技术更深入,更准确地定义其输入的数据:拓扑数据分析和博弈论分析,在拓扑数据分析中,我们定义拓扑形状而不是像机器学习算法那样定义概率分布。这些拓扑形状可以对从事件和地图到空间关系的所有模型进行建模-我们发现概率模型尤其困难,但是对于AIOps创新至关重要。在游戏理论分析中,我们研究了决定游戏的策略,使我们能够从数据集转向策略和结构。特别是,博弈论分析在将AI应用于安全用例方面具有巨大的潜力。