为未来做准备从今天创建可选性开始数据

NEWS前沿动态

为未来做准备从今天创建可选性开始数据

来源：CPDA数据分析师网 / 作者：数据君 / 时间：2020-09-01

紧随数据仓库之后，我们看到了支持Web应用程序的开源数据库的问世

不久之后，数据量增加到一台机器不再能够处理分析工作负载的地步，反过来这导致了大规模并行处理的创建，并且商业世界开始使用术语“大数据”，终，成本急剧上升，而刚性的IT基础架构又变得更加复杂，这些基础架构缺乏支持数据科学和分析所需的灵活性，输入Hadoop，这开始使这一切有意义，并创建了后来成为其遗产的数据湖。

数据湖正在涌向云企业正在寻求分离存储和计算

以获取更好的灵活性并控制成本和性能，不幸的是IT仍在弗兰肯斯坦式的本地硬件，数据仓库和沼泽中，支持历史早的遗留数据库系统，将企业数据迁移到基于云的数据湖是一项繁琐而复杂的任务，通常会导致业务运营中断并激怒分析师，此外IT如何成功迁移而不发现自己被众多新技术供应商所束缚？有一种方法可以减轻数据迁移，ETL（提取，传输，加载）功能和供应商锁定的麻烦：可选性。

三个步骤创建可选性

长期设计数据基础架构时，数据工程师和管理员必须牢记三个关键事项：

1、拥抱存储与计算的分离

2、提交开放数据格式

3、利用抽象来适应未来的体系结构

让我们检查所有这些步骤。

分开存储和计算

从历史上看，在数据中心内配置服务器的技术是为每个服务器分配自己的内存，CPU和硬盘，数据存储在本地CPU和内存中，优点：由于数据穿越网络的延迟小，因此具有一些性能优势，缺点：很大-IT必须购买足够的硬件和足够的功能来处理预期的使用量，结果购买的硬件和计算量通常比大多数时候所需的要多，从而使昂贵的资源投资经常得不到充分利用。

通过选择利用云部署模型中可用的分离，您可以灵活地扩展存储和彼此独立地进行计算

这样可以节省更多成本并提高性能效率，好处包括仅需支付实际使用的费用，对性能和成本进行更好的控制，大大减少数据重复和数据加载以及使同一数据可被多个平台访问。

开放数据格式

Hadoop对大数据分析的贡献之一是针对高性能进行了优化的开放数据格式，这三种文件格式彻底改变了数据格局。这些格式为列状且经过读取优化，允许将数据存储在文件系统或对象存储中，并且在使用SQL执行分析时仍具有闪电般的快速性能。

更好的是，您可以通过多种工具访问这些格式

一种常见的模式是将用于数据科学活动，例如训练机器学习模型，而将用于BI和SQL用例，两者都访问相同的打开文件格式，因此无需进行转换，从历史上看，关系数据库管理系统利用了专有的存储格式，这些格式需要大量的工程挑战和成本来从中提取数据，从而使云迁移策略变得复杂并使您只能使用过时的架构，开源文件格式是避免数据锁定的关键，而数据锁定则是糟糕的供应商锁定。

抽象：面向未来的架构的秘密

只是必须执行大规模数据迁移并确定将完全不同的数据存储放入云中而又不影响分析师工作效率的“方式和时间”的想法足以使IT团队感到头痛。分析师只希望一件事：对数据的不间断访问。他们不在乎数据在哪里。创建可选项的第三步是在用户及其数据之间部署抽象层。抽象层有很多名称：消费层，查询联合，数据虚拟化，语义层和查询结构。

抽象层将SQL查询作为输入，并尽快管理执行

具有高度可伸缩性，并且能够向下推谓词和列投影，仅将必要的内容带入内存。这就造成了一种情况，分析师可以在任何地方访问他们的数据，而不必担心ETL或其他活动会干扰他们的工作，抽象层为IT人员提供了时间和灵活性，可以按自己的速度将数据移动到云中，而不会影响分析操作。

通过遵循这三个步骤，任何企业都可以为其自身创建选择，这对于构建可以经受时间考验以及将来可能遭受考验的基础架构而言是至关重要的好处，有选择总是好事。有了它们，IT在晚上可以睡得更好。

CPDA企业内训

https://www.cpda.cn/trainning/

cpda项目数据分析师为什么要更名？

https://www.chinacpda.com/question/4504.html

海南智企数据分析师事务所

https://www.chinacpda.com/shiwusuo/14202.html

王兴海老师高级经济师

https://www.chinacpda.com/shizi/9433.html

用数据改变人生，获得CPDA证书仅是一个开始