流数据分析能否让实时成为现实？

Q&AQ&A问答

流数据分析能否让实时成为现实？

来源：CPDA数据分析师网 / 作者：数据君 / 时间：2020-12-24

实时分析无需处理批处理带来的数小时或数天的延迟，而是可以在几毫秒内完成决策
流数据分析以传统流程（例如批处理）无法提供的方式，为公司及其客户带来了生机，在许多现代用例中，陈旧或过时的数据与根本没有数据一样好，这些用例通常是流数据集成和分析的候选者，它们可以成为数字转换的强大驱动器，到2022年大多数主要的新业务系统将使用流数据来提供个性化体验，发现欺诈，建立预测性AI或发现新的商机，流SQL数据库采用流数据分析的一个障碍是需要重新构建数据管理基础架构。

越来越多的传统公司必须改建围绕批处理而构建的数据管理系统
该处理每天进行一次，甚至不经常进行，每项业务都必须实时转移，所有数据都将在几毫秒内流入并进行分析，用于流数据的个标准SQL接口，工程师可以使用它来构建复杂的查询和多方联接，而无需专业技能或微服务。物化在生成数据时进行计算和增量维护，因此可以根据需要立即访问查询结果，合作的目标是使流数据分析像批处理系统一样易于使用，为此围绕SQL构建了一个解决方案，以利用庞大的现有用户群。

人们使用相同的技能已有30年了，现在他们也正在处理流数据
合并来自多个来源的数据流，并提供了一个SQL查询引擎以在流数据馈送之上运行，许多客户使用将数据导入，企业通常将实时数据集成报告为分析程序面临的挑战之一，企业现在意识到，如果没有可靠且一致的实时数据集成，就无法保证用于实时或近实时分析的高质量数据，使用SQL分析流数据的另一个优点是公司可以使用现有的商业智能工具，尚未做好应对数据隐私的准备，实现实时数据集成的障碍包括复杂的体系结构，旧系统，不断变化的产品格局，文化挑战，甚至定义相关的用例。

流数据管理和流数据分析代表了从对静止数据进行的传统数据分析的根本转变，并且技能短缺很普遍
流数据分析允许公司实时进行更复杂的分析，例如向购物者推荐配件以购买游戏机或在100毫秒内将交易标记为欺诈，对于处理欺诈的银行而言，实时拒绝交易要比第二天撤销费用便宜，如果您等待第二天处理数据，就会失去很多机会，除了需要立即进行周转之外，这些决策还需要大量数据来支持分析。

到2024年底将有75％的企业从测试AI转变为实现AI投入运营

这将推动流数据和分析基础架构增长5倍，流数据分析还可以帮助公司管理来自传感器和其他新来源的大量数据，流技术可以以低延迟对大量数据进行有意义的处理，对于大多数新的数据分析用例，采用流优先的方法，批处理已成为过去，批处理将仅用于遗留数据管道，以聘用更多工程师并扩展产品推广，已经研究了这个问题十年，并建立了独特的方法，在未来几年中，所有业务都将成为实时业务，但是当前的方法要求在成本，速度和技能之间达成折衷，明年将使公司工程团队的规模扩大一倍，并将在其他部门中增加新职位。

客服热线：400-050-6600

商业联合会数据分析专业委员会

Prev article

获得财务中的数据集成的办法？

返回列表

Next article

如何预测与的现代瘟疫有关的消费者行为变化？