使用实时功能现代化数据仓库
来源：CPDA数据分析师网 / 作者：数据君 / 时间：2020-12-17
但是对于一些快节奏，对时间敏感的业务流程，接近时间还不够快
他们需要真正的实时，其中数据在几秒钟内（是几微秒）即可处理，示例包括金融交易系统，业务活动监视，公用电网监视，电子商务产品推荐和设施监视的应用程序，对于需要现代化其数据仓库环境以近距离或实时处理数据的组织（有时称为“实时数据仓库”），有许多技术可供您考虑，该列表包括数据联合和虚拟化，数据复制和同步，当日微型批次，列式数据库管理系统，数据仓库设备，MPP计算架构，弹性云，数据库内分析，内存内功能和固态驱动器，请注意这些标记已经抬高；它们不仅必须在各种短时间范围内（有时称为“正确的时间”运行，而且还必须在范围更广的数据结构上以的数量运行。
可以提供快速处理的当前解决方案包括
用于流数据的复杂事件处理，大数据的一种形式是流数据。数据作为一系列数据记录或多或少连续流入组织中，每个数据记录描述一个业务事件，例如当用户向其机器，产品，车辆和移动设备添加传感器时，或者当用户登录Web或企业应用程序时，流将联机，流数据被捕获，分类和处理以确定反应，然后由软件执行自动响应或向用户发出警报-全部在几秒钟或几毫秒之内，已经出现了独立的CEP工具来处理流，并且用户在对其进行现代化升级以实现真正的实时操作时，正在将工具添加到其数据仓库环境中。
Hadoop用于流数据
Hadoop的早期版本缺乏实时性，通过引入用于捕获和分析流数据的开源项目，这种情况已大大改善，这些承诺可以处理实时速度和我们期望在Hadoop中实现的海量数据，Hadoop将因其低成本和海量存储功能而成为的实时平台，毕竟流数据会急匆匆增加大量数据，Hadoop上的交互式SQL，许多用户证明了自己的价值，然而数据管理专业人员呼吁在Hadoop上更好地支持标准SQL，以便他们可以利用其SQL技能和基于SQL的工具，同样数据分析人员需要近乎实时的查询响应，以支持诸如数据探索和临时查询之类的分析实践。
提供了这些功能和其他功能
他们需要真正的实时，其中数据在几秒钟内（是几微秒）即可处理，示例包括金融交易系统，业务活动监视，公用电网监视，电子商务产品推荐和设施监视的应用程序，对于需要现代化其数据仓库环境以近距离或实时处理数据的组织（有时称为“实时数据仓库”），有许多技术可供您考虑，该列表包括数据联合和虚拟化，数据复制和同步，当日微型批次，列式数据库管理系统，数据仓库设备，MPP计算架构，弹性云，数据库内分析，内存内功能和固态驱动器，请注意这些标记已经抬高；它们不仅必须在各种短时间范围内（有时称为“正确的时间”运行，而且还必须在范围更广的数据结构上以的数量运行。
可以提供快速处理的当前解决方案包括
用于流数据的复杂事件处理，大数据的一种形式是流数据。数据作为一系列数据记录或多或少连续流入组织中，每个数据记录描述一个业务事件，例如当用户向其机器，产品，车辆和移动设备添加传感器时，或者当用户登录Web或企业应用程序时，流将联机，流数据被捕获，分类和处理以确定反应，然后由软件执行自动响应或向用户发出警报-全部在几秒钟或几毫秒之内，已经出现了独立的CEP工具来处理流，并且用户在对其进行现代化升级以实现真正的实时操作时，正在将工具添加到其数据仓库环境中。
Hadoop用于流数据
Hadoop的早期版本缺乏实时性，通过引入用于捕获和分析流数据的开源项目，这种情况已大大改善，这些承诺可以处理实时速度和我们期望在Hadoop中实现的海量数据，Hadoop将因其低成本和海量存储功能而成为的实时平台，毕竟流数据会急匆匆增加大量数据，Hadoop上的交互式SQL，许多用户证明了自己的价值，然而数据管理专业人员呼吁在Hadoop上更好地支持标准SQL，以便他们可以利用其SQL技能和基于SQL的工具，同样数据分析人员需要近乎实时的查询响应，以支持诸如数据探索和临时查询之类的分析实践。
提供了这些功能和其他功能
此外Hadoop的某些供应商发行版还支持文件系统增强功能，可快速提取数据流，因此这些功能可立即用于分析和操作工作负载，用于处理和分析流数据的功能还可以用于流ETL，ETL可以在数据到达时对其进行聚合，转换和其他处理，流式ETL避免了在加载时间之前应用结构的开销和延迟，并且通过加速ETL流程，大大加快了下游决策制定和其他业务流程。
京公网安备 11010502034401号
课程体系 
试听申请 
复听申请 
在线报名 
考试大纲 
考试报名 
准考证打印 
