忘记大数据中的“大数据”而只考虑数据?
来源:CPDA数据分析师网 / 作者:数据君 / 时间:2021-07-19
解决此数据“拼图难题”通常被忽略
而Hadoop之类的工具虽然很明确,但只是工具带中的一种工具,在处理现实生活中的复杂性时可能是笨拙的工具,新的“新”应用程序架构,随着人们构建新的业务应用程序,他越来越关注大数据和云领域,这些应用程序具有突出的共同要素:
操作数据仍存储在常规关系数据库中
MongoDB,Cassandra,Giga,ActiveSpaces更频繁地用于处理瞬态和快速移动的数据以进行实时分析
通过直接集成到某种Hadoop进行离线或面向批处理的分析
到今天为止,结果分析仍存储在运营数据存储中,但这主要是由于可用的各种Web框架支持所致,随着新框架获得支持,这种情况将会改变,从而导致新架构的使用增加。
巨大的动力挑战
大数据项目的早期迭代是作为科学实验驱动的,通常由长期从事理论研究但缺乏实践经验的顾问进行管理,这加剧了供应商的负担,并离开了市场,而没有针对特定行业或特定问题的许多成功案例,对于某些人来说,它成为IT“玩转”数据的借口,不幸的是要应对真正的挑战意味着要向后退一步,以考虑数据本身,而不是数据的大小,对于大多数企业而言,很难将其退一步,因为它涉及决策,投资和个性。
障碍与机遇
数据安全和企业变革是的障碍和机遇两个,大数据引发的隐私和其他问题正在影响着社会和我们的各种文化,导致数据主权和保护立法进入了讨论,具体来说PCI数据以及在业务部门之间匿名化或保留的需要,这些业务可能会滥用公众或客户的信任而导致访问过多,关于企业变革的问题,奎因指出了科学实验,这些实验无助于告知公司潜在的变化,在大数据周期过去之前,需要认真考虑数据治理和数据管理以及如何设置和管理这些数据,奎因描绘了以下情况以强调他的观点:
想象一下,您有成千上万的应用程序和数据库
每个人都有一个所有者,并且(可能)有一个特定的业务领域,并且通常是从特定/独特的角度来看
每个人都由各种IT和业务守门员守护
试图以一致的方式整理此数据集通常需要一个集中的数据治理小组
在大多数情况下,这些小组都失败了(例如:公司范围内的数据仓库计划)
这些都是非常现实的问题,Quinn以外的其他人也开始提出。
如果您不能采取行动,那有什么关系?
而Hadoop之类的工具虽然很明确,但只是工具带中的一种工具,在处理现实生活中的复杂性时可能是笨拙的工具,新的“新”应用程序架构,随着人们构建新的业务应用程序,他越来越关注大数据和云领域,这些应用程序具有突出的共同要素:
操作数据仍存储在常规关系数据库中
MongoDB,Cassandra,Giga,ActiveSpaces更频繁地用于处理瞬态和快速移动的数据以进行实时分析
通过直接集成到某种Hadoop进行离线或面向批处理的分析
到今天为止,结果分析仍存储在运营数据存储中,但这主要是由于可用的各种Web框架支持所致,随着新框架获得支持,这种情况将会改变,从而导致新架构的使用增加。
巨大的动力挑战
大数据项目的早期迭代是作为科学实验驱动的,通常由长期从事理论研究但缺乏实践经验的顾问进行管理,这加剧了供应商的负担,并离开了市场,而没有针对特定行业或特定问题的许多成功案例,对于某些人来说,它成为IT“玩转”数据的借口,不幸的是要应对真正的挑战意味着要向后退一步,以考虑数据本身,而不是数据的大小,对于大多数企业而言,很难将其退一步,因为它涉及决策,投资和个性。
障碍与机遇
数据安全和企业变革是的障碍和机遇两个,大数据引发的隐私和其他问题正在影响着社会和我们的各种文化,导致数据主权和保护立法进入了讨论,具体来说PCI数据以及在业务部门之间匿名化或保留的需要,这些业务可能会滥用公众或客户的信任而导致访问过多,关于企业变革的问题,奎因指出了科学实验,这些实验无助于告知公司潜在的变化,在大数据周期过去之前,需要认真考虑数据治理和数据管理以及如何设置和管理这些数据,奎因描绘了以下情况以强调他的观点:
想象一下,您有成千上万的应用程序和数据库
每个人都有一个所有者,并且(可能)有一个特定的业务领域,并且通常是从特定/独特的角度来看
每个人都由各种IT和业务守门员守护
试图以一致的方式整理此数据集通常需要一个集中的数据治理小组
在大多数情况下,这些小组都失败了(例如:公司范围内的数据仓库计划)
这些都是非常现实的问题,Quinn以外的其他人也开始提出。
如果您不能采取行动,那有什么关系?
突出显示了随着时间推移而衰减的数据的业务价值,以指出在将捕获,分析和决策等待时间保持在限度时,洞察力有价值,从数据中获取价值的客户不一定在大海捞针,而是致力于缩短导致数据价值下降的周期,这一点强调了通常被忽视的大数据方面发现,理解和决定如何对数据采取行动可能比收集更多数据和花更长的时间到达组织可以移动的地方更有意义。