缺乏现代数据集成会阻碍业务目标
来源：CPDA数据分析师网 / 作者：数据君 / 时间：2021-07-20
云趋势及其对数据集成的影响
调查发现，本地系统仍然很重要，但是许多组织正在转移数据集成的重点，以将数据从新数据源和旧系统快速交付到云平台，前瞻性企业通过部署自动数据管道，实时数据流和集成了云数据仓库和数据湖的数据湖屋进行创新，这些创新为企业带来了敏捷性。其他人则在努力使用过时的工具和技术，甚至使用电子表格进行数据集成，尽管存在障碍，但随着云迁移以及数据仓库和数据湖的融合，趋势正朝着正确的方向发展。
BI，分析的云数据管理趋势
绝大多数企业显然正在向云迁移，大多数受访者都将云平台用于其组织的某些BI和分析数据管理中，只有7％的人表示他们没有使用云。但是，受访者并未发现将分析迁移到云没有任何麻烦。在回应该声明时：“我们正在迁移到云，但是大多数或所有相同的本地挑战仍然存在。” 18％的人说的很对，而大多数人（51％）的话说的是对。只有19％的人说那不是事实。
在那些主要平台的人中：
65％的客户拥有云数据仓库（所有受访者中只有57％）；62％的企业拥有本地数据仓库
58％的企业拥有云数据湖（所有受访者中的45％）；29％的企业拥有本地数据湖
在那些说Microsoft Azure是其主要平台的人中：
53％的企业拥有云数据仓库；81％的企业拥有本地数据仓库
49％的人拥有云数据湖；32％的企业拥有本地数据湖
尽管对数据分析的需求不断增长，但被问到以下问题的受访者中，超过五分之一（22％）表示它是云迁移的重要推动力：“进行分析的用户数量增长的驱动力有多重要以及他们所需的数据，以加快您的组织对云数据管理的采用？” 45％的人反应冷淡，他们说“这和其他司机一样重要”。另有五分之一（20％）的人表示它“不如其他驱动程序重要”，而5％的人则表示“根本不是重要的驱动程序”。
尽管在云平台上的分析可能并非没有问题，但绝大多数受访者（79％）计划扩展针对当前在云平台上的BI和分析的数据管理，其中36％的复选框“显着增加”，而43％的复选框表示“有所增加”。另有12％的云用户计划“保持相同”。只有百分之一的人计划减少这种使用。
这些结果突出了三个要点：
数据集成策略需要支持云中的各种用例，而不仅仅是纯粹的分析，对于某些组织而言，作为业务应用程序和运营的数字化转型的一部分，迁移到云至少与分析同样重要，数字转换通常会增加并增强数据的作用。用户和自动化功能都需要连续且及时的数据，以做出更明智的决策，数据集成必须灵活地满足日常运营数据需求以及数据科学和分析需求，
由于数据集和模型是重要的工具
因此某些组织仍然更喜欢将分析保留在本地，这些企业中的许多仍然关注安全性和可用性。他们担心云提供商平台遭到黑客攻击，未经授权的访问以及潜在的服务中断，即使这些平台显示出越来越可靠的安全性和可用性。如果这些相关组织使用云，则它们通常会更喜欢私有云的安排，然而我们的研究发现，组织认为云计算是其重要的推动力，而他们对云做出了重大承诺。在这些受访者中，五分之四（80％）拥有云数据仓库，而65％的受访者拥有云数据湖，近五分之三（59％）的人期望他们的云数据管理在未来12个月中将大大增加。
数据仓库和数据湖的融合
拥有单一数据体系结构的目标得到十分之七的受访者（72％）的认可，这对我们来说是一个机会，因为它可以提供更多选项来管理越来越多样化的数据结构，终用户类型和业务用例，只有11％的人同意以下说法，由于终架构的复杂性以及构建数据湖和/或现代化数据仓库所需的工作，这将带来更多问题，围栏上有12％的人说这不会帮助或阻碍他们与数据相关的需求，对于45％的受访者来说，数据湖似乎是问题所在，他们对“我们的数据湖基本上是数据沼泽”的说法产生了共鸣，10％的人表示这是“非常正确的”，有35％的人表示这是“一定的”，另外35％的人表示这不是事实，数据仓库的情况更好：总共有30％的人在陈述中发现了事实：“我们的数据仓库是数据消亡的地方。” 尽管有三分之二（65％）的人拒绝了这个想法，但有7％的人说的很对，而23％的人说的是对。
资料整合
企业使用各种方法来集成其数据，其中很大一部分（占调查受访者的73％）表示他们正在使用传统的ETL，实时复制和/或更改数据捕获在35％的受访者中排名第二，不到五分之一（18％）的用户使用数据虚拟化或联合身份验证，要求为该陈述提供“真实价值”：“大多数数据集成仍通过电子表格完成，” 14％的人“非常正确”，三分之一（33％）的回答“相当真实”，一半（50％）的人选择“不正确”，使用电子表格通常会导致数据一致性和质量问题，因为每个用户可能会以不同的方式开发和执行流程。随着数据量和复杂性的增加，电子表格程序也变得不足。
数据集成显然是企业的障碍
使用电子表格可能会导致问题。超过一半（57％）的人表示以下陈述是“非常正确”（13％）或“有点正确”（44％）：“到我们的数据集成请求得到满足时，业务已转移至其他优先事项。” 只有39％的人说那是不正确的，及时的数据也是获得数据见解的关键，在报告数据刷新率不到一个小时的用户中，有49％的用户使用实时复制，34％的人使用ELT，34％的人使用数据准备。
标准ETL通常是造成延迟的原因
因为从源系统提取正确的数据，将其发送到暂存区进行转换，然后再将其再次移至目标数据仓库或BI平台需要花费时间，加速和可伸缩性是组织评估工作负荷是否会因将顺序更改为ELT而受益的主要原因，然后企业可以利用云中强大且可扩展的处理来运行数据转换，清理和充实过程，传统的ETL可能仍将继续成为传统BI报告的重要选择，但是随着用户寻求访问和集成更多，多种多样的数据源以及进行更复杂的查询，ELT可能成为。
ELT还适合统一的数据体系结构策略
调查发现，本地系统仍然很重要，但是许多组织正在转移数据集成的重点，以将数据从新数据源和旧系统快速交付到云平台，前瞻性企业通过部署自动数据管道，实时数据流和集成了云数据仓库和数据湖的数据湖屋进行创新，这些创新为企业带来了敏捷性。其他人则在努力使用过时的工具和技术，甚至使用电子表格进行数据集成，尽管存在障碍，但随着云迁移以及数据仓库和数据湖的融合，趋势正朝着正确的方向发展。
BI，分析的云数据管理趋势
绝大多数企业显然正在向云迁移，大多数受访者都将云平台用于其组织的某些BI和分析数据管理中，只有7％的人表示他们没有使用云。但是，受访者并未发现将分析迁移到云没有任何麻烦。在回应该声明时：“我们正在迁移到云，但是大多数或所有相同的本地挑战仍然存在。” 18％的人说的很对，而大多数人（51％）的话说的是对。只有19％的人说那不是事实。
在那些主要平台的人中：
65％的客户拥有云数据仓库（所有受访者中只有57％）；62％的企业拥有本地数据仓库
58％的企业拥有云数据湖（所有受访者中的45％）；29％的企业拥有本地数据湖
在那些说Microsoft Azure是其主要平台的人中：
53％的企业拥有云数据仓库；81％的企业拥有本地数据仓库
49％的人拥有云数据湖；32％的企业拥有本地数据湖
尽管对数据分析的需求不断增长，但被问到以下问题的受访者中，超过五分之一（22％）表示它是云迁移的重要推动力：“进行分析的用户数量增长的驱动力有多重要以及他们所需的数据，以加快您的组织对云数据管理的采用？” 45％的人反应冷淡，他们说“这和其他司机一样重要”。另有五分之一（20％）的人表示它“不如其他驱动程序重要”，而5％的人则表示“根本不是重要的驱动程序”。
尽管在云平台上的分析可能并非没有问题，但绝大多数受访者（79％）计划扩展针对当前在云平台上的BI和分析的数据管理，其中36％的复选框“显着增加”，而43％的复选框表示“有所增加”。另有12％的云用户计划“保持相同”。只有百分之一的人计划减少这种使用。
这些结果突出了三个要点：
数据集成策略需要支持云中的各种用例，而不仅仅是纯粹的分析，对于某些组织而言，作为业务应用程序和运营的数字化转型的一部分，迁移到云至少与分析同样重要，数字转换通常会增加并增强数据的作用。用户和自动化功能都需要连续且及时的数据，以做出更明智的决策，数据集成必须灵活地满足日常运营数据需求以及数据科学和分析需求，
由于数据集和模型是重要的工具
因此某些组织仍然更喜欢将分析保留在本地，这些企业中的许多仍然关注安全性和可用性。他们担心云提供商平台遭到黑客攻击，未经授权的访问以及潜在的服务中断，即使这些平台显示出越来越可靠的安全性和可用性。如果这些相关组织使用云，则它们通常会更喜欢私有云的安排，然而我们的研究发现，组织认为云计算是其重要的推动力，而他们对云做出了重大承诺。在这些受访者中，五分之四（80％）拥有云数据仓库，而65％的受访者拥有云数据湖，近五分之三（59％）的人期望他们的云数据管理在未来12个月中将大大增加。
数据仓库和数据湖的融合
拥有单一数据体系结构的目标得到十分之七的受访者（72％）的认可，这对我们来说是一个机会，因为它可以提供更多选项来管理越来越多样化的数据结构，终用户类型和业务用例，只有11％的人同意以下说法，由于终架构的复杂性以及构建数据湖和/或现代化数据仓库所需的工作，这将带来更多问题，围栏上有12％的人说这不会帮助或阻碍他们与数据相关的需求，对于45％的受访者来说，数据湖似乎是问题所在，他们对“我们的数据湖基本上是数据沼泽”的说法产生了共鸣，10％的人表示这是“非常正确的”，有35％的人表示这是“一定的”，另外35％的人表示这不是事实，数据仓库的情况更好：总共有30％的人在陈述中发现了事实：“我们的数据仓库是数据消亡的地方。” 尽管有三分之二（65％）的人拒绝了这个想法，但有7％的人说的很对，而23％的人说的是对。
资料整合
企业使用各种方法来集成其数据，其中很大一部分（占调查受访者的73％）表示他们正在使用传统的ETL，实时复制和/或更改数据捕获在35％的受访者中排名第二，不到五分之一（18％）的用户使用数据虚拟化或联合身份验证，要求为该陈述提供“真实价值”：“大多数数据集成仍通过电子表格完成，” 14％的人“非常正确”，三分之一（33％）的回答“相当真实”，一半（50％）的人选择“不正确”，使用电子表格通常会导致数据一致性和质量问题，因为每个用户可能会以不同的方式开发和执行流程。随着数据量和复杂性的增加，电子表格程序也变得不足。
数据集成显然是企业的障碍
使用电子表格可能会导致问题。超过一半（57％）的人表示以下陈述是“非常正确”（13％）或“有点正确”（44％）：“到我们的数据集成请求得到满足时，业务已转移至其他优先事项。” 只有39％的人说那是不正确的，及时的数据也是获得数据见解的关键，在报告数据刷新率不到一个小时的用户中，有49％的用户使用实时复制，34％的人使用ELT，34％的人使用数据准备。
标准ETL通常是造成延迟的原因
因为从源系统提取正确的数据，将其发送到暂存区进行转换，然后再将其再次移至目标数据仓库或BI平台需要花费时间，加速和可伸缩性是组织评估工作负荷是否会因将顺序更改为ELT而受益的主要原因，然后企业可以利用云中强大且可扩展的处理来运行数据转换，清理和充实过程，传统的ETL可能仍将继续成为传统BI报告的重要选择，但是随着用户寻求访问和集成更多，多种多样的数据源以及进行更复杂的查询，ELT可能成为。
ELT还适合统一的数据体系结构策略
我们的研究表明，组织不必对数据仓库和数据湖分别进行管理（更不用说其他数据孤岛）了，他们对拥有更统一的数据体系结构非常感兴趣，这个整体平台可以在处理系统上支持ELT，实时数据流，数据管道和其他数据准备过程，从而提供速度，更快的数据刷新率和更高的可伸缩性。
开班信息
【山东14期】CPDA数据分析师线下培训开班https://www.chinacpda.com/openclass/detail/?id=3101
【北京110期】CPDA数据分析师线下培训开班公告
https://www.chinacpda.com/openclass/detail/?id=3072
【青海6期】CPDA数据分析师线下培训开班
https://www.chinacpda.com/openclass/detail/?id=3143
京公网安备 11010502034401号
课程体系 
试听申请 
复听申请 
在线报名 
考试大纲 
考试报名 
准考证打印 
