大数据辩论：批处理与流处理

NEWS前沿动态

大数据辩论：批处理与流处理

来源：CPDA数据分析师网 / 作者：数据君 / 时间：2020-07-27

尽管企业可以同意基于云的技术对于确保整个企业的数据管理

安全性，隐私和流程合规性至关重要，但是对于如何更快地处理数据（批处理与流处理）仍然存在着有趣的争论，每种方法都有其优点和缺点，但是您选择批处理还是流式处理都取决于您的业务用例，让我们深入讨论，以确切了解哪些用例需要使用批处理与流处理。

批处理与流处理：有什么区别？

批处理是在特定时间间隔内分组在一起的数据点的集合，经常用于此的另一个术语是数据窗口，流处理处理连续数据，并且是将大数据转换为快速数据的关键，两种模型都很有价值，并且每种模型都可以用于解决不同的用例，更让人困惑的是，您可以在流媒体中进行批量处理窗口，通常称为微批处理。

批处理模型需要随时间推移收集一组数据

而流处理则需要将数据（通常是微型批处理）实时地输入到分析工具中，当处理来自遗留系统的大量数据或数据源时，通常无法使用批处理，在这种情况下无法在流中交付数据。根据定义，批处理数据还要求将批处理所需的所有数据加载到某种类型的存储设备，数据库或文件系统中，然后再进行处理，有时IT团队可能会闲着闲逛，等待所有数据加载，然后再开始分析阶段。

数据流还可以参与处理大量数据，但是当您不需要实时分析时，批处理效果

由于流处理负责处理运动中的数据并快速提供分析结果，平台生成近乎即时的结果。

这个比那个好吗？

无论您是按批处理还是按流处理，当一起工作时，两者都更好，尽管流处理适合于时间紧迫的用例，并且在收集所有数据后批处理可以很好地工作，但这不是一个好于另一个的问题-这实际上取决于您的业务目标。

但是我们发现尝试利用流技术的公司发生了重大变化

近对 16,000多位数据专业人员的调查显示，数据科学面临常见的挑战，包括从脏数据到数据的整体访问或可用性的所有方面，不幸的是由于数据不断变化，流媒体往往会加剧这些挑战，在进入实时之前，解决这些可访问性和质量数据问题是关键。

当我们与组织讨论如何收集数据并加快创新时间时，他们通常会实时共享他们想要的数据

这促使我们问：“实时对您意味着什么？” 业务用例可能有所不同，但实时性取决于事件创建或数据创建相对于处理时间需要多少时间，可以是每小时，每五分钟或每毫秒，为了比喻组织为何将其批处理数据流程转换为流数据流程，对于企业而言，啤酒可以转换为您的管道数据，不必等到拥有所有要处理的数据，而是可以在几秒或几毫秒内以微批次处理它。

为什么要一个使用另一个？

如果您在流处理方面没有悠久的历史，您可能会问：“为什么我们不能像以前那样批量处理？” 当然可以但是如果您有大量数据，则不是何时需要提取数据，而是何时需要使用数据，公司将实时数据视为改变游戏规则的人，但是如果没有合适的工具，到达实时状态仍然是个挑战，尤其是因为企业需要处理来自大量不同数据系统（例如社交媒体）的数据量，种类和类型不断增加的情况，Web，移动，传感器，云等，我们看到企业通常希望拥有更敏捷的数据流程，以便他们可以更快地从想象力转变为创新，并更快地应对竞争威胁。例如，来自风力涡轮机上传感器的数据始终处于打开状态，因此数据流一直在不断流动，因为没有数据的开始或停止，所以一种典型的用于摄取或处理该数据的批处理方法已过时，这是一个理想的用例，其中流处理是必经之路。

企业正在将优先级转移到实时分析和数据流上，以实时收集可操作的信息

尽管过时的工具无法应对数据分析所涉及的速度或规模，但当今的数据库和流应用程序已具备应付当今业务问题的能力，这是大数据辩论的一大收获：仅仅因为有一把锤子并不意味着那是完成工作的正确工具，批处理和流处理是两种不同的模型，而不是一个选择另一个，是关于智能和确定哪种更适合您的用例。

CPDA企业内训

https://www.cpda.cn/trainning/

cpda项目数据分析师为什么要更名？

https://www.chinacpda.com/question/4504.html

海南智企数据分析师事务所

https://www.chinacpda.com/shiwusuo/14202.html

王兴海老师高级经济师

https://www.chinacpda.com/shizi/9433.html

用数据改变人生，获得CPDA证书仅是一个开始

https://www.chinacpda.com/shouquanzhongxin/14854.html