为什么今天的数据爆炸对IT来说是致命的炸弹
来源:CPDA数据分析师网 / 作者:数据君 / 时间:2020-08-31
弄清潜在问题所在的挑战是艰巨的:
1、报告呈现不正确吗?
2、报表逻辑或周围的业务逻辑是否存在问题?
3、数据输入到商务智能(BI)系统中是否有问题?
4、数据是从适当的数据仓库实例中提取的吗?
5、在将数据驱动到数据仓库的各种数据馈送的加载,转换,提取或源中是否存在问题?
复杂性的潜力是巨大的
就在10年前,大多数大型企业声称拥有少量核心数据服务(平均三个),即使情况有些乐观,但随着云的发展,向SaaS和合作伙伴的流程外包,移动工作和连接的IoT设备的发展,可能的企业数据源总数已激增至数百万,并进入了专门的数据聚合器和仓库它可以在混合IT基础架构中的几乎任何地方运行,我们正处于数据爆炸之中,而关键任务数据的爆破已远远超出了传统数据质量检查的范围。需要一种新方法来确保决策的完整性:信任跨多个数据集,系统和业务部门的高风险决策。
吸引我们的市场力量
公司的大部分业绩取决于执行决策。高管依靠准确的数据和业务环境来制定关键决策,不良的数据质量和对BI系统下数据环境的真实可见性的缺乏,导致决策对收益产生巨大影响。不良的BI数据就像不良债务一样,代价高昂。一种估计3.1万亿每年损失,由于涉及重新调整或修理的数据管理需求较差的数据质量,成本和劳动力,高管希望他们确信自己正在正确地查看所需的数据,并且在从源到仪表板的整个过程中,都没有意外地更改或更改过这些数据。
即将到来的数据爆炸
商业决策总是用尽时间。根据错误的数据更改策略是灾难性的。由于缺少关键指标而未能采取行动也是同样糟糕的选择,进入BI系统的数据是否成为商业的定时炸弹?决策支持系统通常订阅少数数据提供者,例如内部会计数据,经济指标,行业报告,现在,数据可以无处不在:来自数以百万计的应用程序上的已连接用户,数以千计的新闻源和源,成千上万的IoT设备和自动化的报告流程。由于降低了存储成本,提高了计算能力以及将所有内容存储在弹性公共云资源和超融合私有云中的举措,我们已经看到了数据范围的大规模扩展。
如果在过去两年中创建90%的全球数据的趋势继续下去
您可以立即看到,将这种数据管道引入生产性渠道会遇到问题,一旦可管理的存储库和数据立方体将变得差异化程度较小的数据湖,终成为数据沼泽,通过数据迁移点燃保险丝
领先的数据库,BI和数据管理供应商中已经存在实用程序,以确保在数据管道的“内部”成功传输。例如,您可以使用平台将数据从一个数据仓库提取/传输/装载(ETL)到另一个位置,并且可以很好地管理基于记录的ETL流程的数据完整性。
标准迁移工具非常适合确保在一个供应商认可的系统管道内的数据不会被破坏
不幸的是,企业需要更多的数据维度以及各种复杂的分析和报告工具以及常见的竞争优势,如果不能完全确定从多个来源收集的数据是否已分类并路由到其适当的目的地,那么在BI方案中会发生什么?数据需要从上下文的角度理解要支持的决策过程。
到目前为止,数据完整性可能是一个死记硬背的过程
但复杂的分布式环境中的数据解释和路由还不是,难怪世界上大多数被调查表示他们对业务数据的质量不满意,并且使他们无法进行快速升级。
客服热线:400-050-6600
商业联合会数据分析专业委员会