var _hmt = _hmt || []; (function() {   var hm = document.createElement("script");   hm.src = "https://hm.baidu.com/hm.js?8c9c5a8618dc4aea3be27b32962e5871";   var s = document.getElementsByTagName("script")[0];    s.parentNode.insertBefore(hm, s); })();
400 050 6600
数据分析师

手机号

验证码

30天自动登录

数据分析然后存储:持续智能之旅

来源:CPDA数据分析师网 / 作者:数据君 / 时间:2020-07-21

应用程序和IT基础架构的实时数据流使组织不堪重负

先存储后分析架构难以满足对细化,上下文相关的实时洞察的需求,大多数数据只是暂时性的,但无穷无尽,高数据量和分布式数据源使集中式收集昂贵且缓慢,并且应用程序易碎。洞察力是粗略的,对于实地决策者而言为时已晚,他们需要精细的,因地制宜的,连续的运营情报,持续智能的用例广泛,包括动态管理移动网络中的连接质量,城市中的实时流量监视和路由,优化SaaS应用程序的性能,资产和设备库存管理以及跟踪,对客户不断变化的需求的动态响应电网,实时情境化的客户体验以及复杂IT系统和移动网络中欺诈/黑客的检测,它们的全部特点是需要了解流数据并在上下文中实时,并发且大规模地自动响应。持续智能应用程序状态化地融合了流数据和传统数据,响应于来自分布式源的流数据而动态地分析,学习和预测。 

 

开发和运行关键业务连续智能应用程序变得容易

这些应用程序使用细粒度的上下文关系来实时分析,学习和预测流数据,从而以任意规模提供本地相关的实时响应,持续智能包含事件流中的基础结构服务模式,例如“发布/订阅,它满足了应用平台的需求,以帮助组织开发,部署和操作有状态的应用程序,这些应用程序使用流事件,实时分析,学习和预测以提供实时洞察和响应流。尽管现代数据库可以存储数据以供以后分析,更新关系表或修改图,但持续的智能驱动着数据的到来分析采用分析-存储架构,该架构可以自动构建并连续执行分布式实时模型。流数据。流分析应用程序使用自上而下的UI或查询/响应用户驱动的控制环,而持续智能应用程序则持续计算和流化见解。

 

活动流向“永远在线”的世界

事件流已成为一种强大的云原生模式,它允许任何数量的“生产者”(应用程序,容器,用户,设备和基础结构)异步发布记录其状态更改的事件,并发布到由代理管理的主题上,这些代理将事件排入队列,到达顺序中的主题,这是一种有用的基础结构模式,可帮助组织在分析异步生成的事件之前对其进行缓冲:分析这些事件的应用程序超出了它们的范围,因此应用程序层面临的挑战是实时分析和响应事件(根据事件的上下文含义)。 

 

没有专门解决应用程序需求

代理是一个数据移动器,可以缓冲来自任意数量的数据源的事件,以便按主题将到达的顺序按顺序传递给不同的应用程序,只要它们准备好使用它们即可,每个应用程序都可以独立使用事件并以自己的速度运行,因此事件流是下一代应用程序的重要推动者,而下一代应用程序受数据的到达驱动,就像数据库更新是传统应用程序的推动者一样,但是需要注意的是,事件流基础架构无法理解其含义 事件应用层关注。

 

流基础架构管理

尽管事件流基础架构获得了所有成功,但要大规模运行通常很难,这通常是由于在跨集群扩展代理同时扩展主题队列存储和分发的挑战,越来越多地依赖代理存储所有时间的事件,因此如果发生灾难性故障,可以通过重播事件来重新创建应用程序的状态,但是终必须找到更持久(和更小容量)的数据表示形式,原始数据对于分析并不是真正有用,相反,有用的是数据源部分的状态变化表示,如果交通信号灯每秒发红光,它仍然是红色的,此外灯上继电器上的电压转换并不是真正有用的:我们只需要知道灯是红色的,以及何时改变即可。

 

集中事件队列可以通过添加仅用于缓冲的另一层存储(主题队列)来增加网络成本并影响应用程序响应时间

调整和扩展代理群集很难,因为无法确定先验将“发布”多少个源或其事件发生率,而且代理也无法通过传达队列深度来驱动事件的消耗率应用程序流处理器,其目标是保持,这是令人担忧的,因为即使在早期消息中有足够的早期证据表明一个重要问题,流处理器也可能太迟才到达关键事件。

 

Prev article

CPDA数据分析师通过对数据的科学分析揭示数据中的情报

Next article

深度学习专利将成为未来的热门话题

数据分析师

报名咨询

数据分析师

报名缴费

数据分析师

客服中心

数据分析师

课程服务

数据分析师

认证服务