为什么大多数数据平台都会失败以及如何成功?
来源:CPDA数据分析师网 / 作者:数据君 / 时间:2021-05-25
如果那样的话,到2021年数据分析已成为世界上热门的专业之一,数据科学家,工程师和分析人员几乎有充分的理由将数据科学家,工程师和分析人员嵌入到现代企业的几乎每个职能领域中,从营销到客户服务,对客户数据和预测分析的投资到拥有数百年历史的银行公司,使用人工智能来大规模检测欺诈,企业都被推崇通过数据破坏或革新其传统行业的概念。
但是这种模型(解决业务部门级问题的嵌入式数据团队)并不总是可扩展或可持续的,随着公司中越来越多的团队能够使用数据,冗余会蔓延,工作分散,基础设施维护成本可能会飙升,我们共同探讨公司在构建数据平台时面临的共同挑战,并重点介绍克服这些挑战的一些实践。
孤岛发生,特别是在快速增长期间,当员工着手解决其特定团队的特定问题时,他们可能不会考虑他们构建的解决方案如何适合公司的整体生态系统,这些团队级别的盲人会导致孤岛,在此情况下,组织内从事相似工作的不同团队不会相互交流或相互学习,孤岛工作可以使数据科学家更快地移动,但是随着时间的流逝,孤岛会阻碍围绕共享目标和关于良好数据平台特性的核心价值的协调。筒仓还会导致“建立帝国”的不良习惯-员工或团队试图通过资源或访问数据来获得权威或影响力,要打破这些障碍,首先要确保您了解公司内部当前数据运作方式的全貌以及由谁负责这些流程,与核心领域的数据工程师和科学家交谈,确定可能存在的冗余,效率降低和错过的机会,您可以通过更好的协作来解决这些机会。
立即与您的数据分析师和工程师建立联系,将有助于简化他们对未来平台的采用,采用过时的数据处理方法,仅仅因为您的CTO使用流行语(例如“数据驱动”)并不意味着高管对您组织中数据的运作方式有清晰的了解-更不用说理解,创建和转换数据所需的数据素养了,资产没有这些知识,您的CTO不太可能会在您对数据平台的愿景上进行投资,在某些情况下,可能也不愿意停止依赖旧版软件,而不是投资于基于云的技术或更现代的数据堆栈,他们被行为经济学家称为“沉没成本谬误”的猎物-误导性坚持坚持继续投资无法成功的事物的原因仅仅是因为您已经对其进行了投资。
可能更愿意继续做过去的工作,而不是采取大胆的新举措,例如运营公司范围内的数据平台,无论哪种情况,帮助管理层了解现代数据平台可以带来的更大视野和潜在价值,这是获得利益相关者认可的关键,如果公司内的数据使用者(使用数据的业务负责人)不以数据平台的想法出售,那么他们可能不支持更改其团队已建立的流程,从案例研究开始,使用案例研究(内部或外部),午餐和学习课程以及其他材料来鼓励讨论和集思广益,以探讨如何对数据进行投资可以对您的业务产生积极影响,计算坚持使用过时技术的有形成本,保持具体的讨论,分享您的利益相关者可以预期的时间或资源的实际估计,以及哪些关键指标将受到影响。
说要构建一个数据平台,实际上要构建一个是两个完全不同的事情,通常除非您的公司要雇用整个数据平台团队,否则建立一个数据背后的动力和动力通常会落在一些激动的数据工程师和一两个总监身上,除了构建可满足更高层次需求的平台之外,还可以考虑通过烘焙可提供前期价值的功能来量身定制项目,以支持相邻的功能区域,例如通过处理其利益相关者的临时请求来找出某个团队花费了多少时间,或者确定拥有一个数据平台将如何提高他们的杠杆作用和生产率。
要获得它,您必须将平台与它不仅可以帮助满足公司目标(即降低成本,提高客户保留率或加快增长),而且还可以满足数据从业人员的需求紧密联系在一起,安全与合规,安全和合规性问题将是任何新平台面临的另一项技术挑战,您为集中化数据和增加对数据的可访问性所做的工作越多,人们对确保安全性的关注就越多,投资数据目录或沿袭解决方案将使您步入正轨,但是这些工具通常缺乏自动化,它们是内置在孤岛中的,并且不会以用例特定的方式来利用元数据。
保留策略和协议以安全的方式为您的平台提供支持,计划实施数据可观察性和监视,以便您可以从提取到分析的所有时间了解数据资产的运行状况,检测和识别错误或异常将有助于确保安全性并建立对数据的信任,向前进,实施可扩展(有效)的数据平台需要耐心,决心和(与艰巨的挑战一样)一次仅一步之遥,仅当您现在和将来将其价值传达给您的组织时,您的数据平台才会扩展,为了获得成功,围绕执行此愿景制定一项全面而切合实际的策略。
商业联合会数据分析专业委员会