之间的主要区别 是输入数据源的类型。如果您的数据集有限（即使数据量很大），并且在处理时未进行更新，则可能会使用批处理管道。在这种情况下，输入源可以是文件，数据库表，对象存储中的对象等中的任何一种。我想再强调一下一次时间，即通过批处理，我们假设数据在所有处理时间内都是可变的，并且输入记录是恒定的，我们为什么要注意这一点？因为即使使用文件，当始终添加或更改文件时，我们也可以拥有无??限的数据流，在这种情况下，我们必须应用流方法来处理数据，因此如果我们知道我们的数据有限且不可变，那么我们需要开发一个批处理管道。

转变其核心IT和财务职能。数据是这些转换的核心。他们面临许多与IT相关的挑战，包括不灵活和不可扩展的基础架构；组织内的数据孤岛以及各种数据模型和文件大小；缺乏企业数据治理；以及针对所需性能的基础架构超额配置。

老实说，“数据湖”是每个人都在谈论的流行语之一，像许多流行语一样，很少有人真正知道如何解释它，应该做什么以及/或者如何设计和构建它，太恐怖了！数据湖是关于从企业数据中获取价值的，而根据这些统计数据，它的必杀技似乎很难捉摸，我希望对此进行更改并分享我的想法，并希望就如何设计，构建和使用成功的提供一些指导，以供您考虑，敏捷的数据湖，为什么要敏捷？因为要成功，就必须要成功。

当我听到“数据仓库优化”这句话时，我不寒而栗。听起来这是一项复杂的工作。毕竟，数据仓库是大型，笨重且复杂的系统，可以存储人们要对业务运营方式做出重要决策的TB级甚至PB级的数据。对现代业务中如此不可或缺的部分进行任何形式的修改，即使是老练的CPDA数据分析师也会一头雾水。

如今，我们正处于信息时代，正在创建大量数据（仅在近两年中就创建了多达90％的数据）。这些数据来自各种来源，并采取许多不同的形式：人为生成的文档和社交媒体传播；我们用于经营业务的交易数据；并且产生数据流的传感器的数量正不断增加。

近年来，随着数据存储的可负担性和可访问性增加，数据湖已越来越受欢迎。这使IT团队每天拥有数量越来越多的各种已知和未知数据集，污染了数据湖的数量和种类。结果，每个人都面临着数据积压。IT团队可能需要数周的时间才能在数据仓库或数据湖中发布新的数据源。同时，业务线工作者或数据科学家需要花费数小时才能找到，理解所有数据并将其置于上下文中。IDC发现，数据专业人士和业务用户仅将19％的时间真正用于分析信息和提供有价值的业务成果。