大数据的无服务器架构

当前位置：首页 - 前沿动态

NEWS前沿动态

大数据的无服务器架构

来源：CPDA数据分析师网 / 作者：数据君 / 时间：2020-07-27

使用无服务器架构，服务器提供者将在对资源的需求很高时自动增加计算能力，并在对资源的需求下降时智能地缩减规模

在这种体系结构中，终用户只关心他们要执行的任务（获取报告，执行查询，执行数据管道等），而无需担心采购，供应和管理基础架构的麻烦。

传统与无服务器架构

那么无服务器的主要优势是什么？成本，规模和环境选择开始，传统架构依赖于基础架构管理员估算工作负载并相应调整硬件和软件大小的能力，迁移到云表示对本地架构的改进，因为它允许基础架构按需扩展。

但是仍然需要管理员来定义条件和规则以扩展和管理云基础架构

下一步的工作是利用无服务器架构，并允许基础架构根据工作负载的变化在后台自动决定何时调配，扩展和停用资源无服务器架构的一个很好的例子，自动确定所需的基础架构，并根据工作负载和SLA进行智能扩展，因此与传统的和其他托管的云大数据架构相比，无服务器架构可为客户每年节省超过50％的基础架构成本。

这种智能自动化功能使每月可以为部署AI，机器学习和分析的客户处理超过EB的数据，而无需客户配置和管理任何基础架构

为大数据采用无服务器架构的价值

大数据处理着大量数据，这些数据以高速到达，这使得预先估算处理该数据所需的基础架构变得困难而低效。本地基础架构对处理能力施加了限制，价格昂贵，并且管理和维护复杂。自行或作为云提供商的托管服务在云中部署大数据可改善处理限制并简化资本支出，但会产生管理开销并尝试优化基础架构，在某些时间段利用率不当，利用率不足或利用率过高会导致云成本远远高于本地处理成本。

为了成功地利用无服务器平台处理大数据，您需要寻找解决以下问题的解决方案：

1、会降低大数据基础架构的成本吗？

2、它是否提供自动化和资源来执行数据管道并提供任何规模的分析？

3、会降低运营成本吗？

4、它会帮助我的数据团队扩大规模，而不会因业务对数据的需求而过时吗？

像这样的无服务器平台对部署大数据的团队非常有吸引力，因为它解决了导致大数据项目失败的因素，因为它降低了基础架构的复杂性和成本，并减少了对稀缺专家的依赖。

通过提供一个简单的界面来定义大数据引擎的运行时特征来减少管理开销

用户只需要指定小和群集大小，是否利用竞价型实例和群集组成即可满足其价格绩效目标。然后接管并根据业务需求和工作负载的SLA自动管理基础结构，而无需进一步的手动干预

无服务器体系结构可自动扩展以避免在处理大量突发传入负载时的延迟

并且还可以缩减扩展以避免空闲的资源浪费，可以在不到5分钟的时间内从5个节点扩展到200个节点，作为参考还管理着云中的Spark集群（500多个节点）。

无服务器大数据架构的TCO

在定价方面无服务器架构通过仅在需要时才添加计算能力，并在资源闲置时有序地缩减规模来提供性能，不会出现基础架构管理开销或云资源超支的情况，此外正如我们在上表中看到的那样，当工作负载突然增加时，利用数据团队不会受到调配计算资源的困扰，通过这种合作关系，这些团队可以专注于构建功能强大的端到端数据管道，从而使数据科学家能够部署对业务产生重大影响的更快的IOT，机器学习和高级分析应用程序。

可以构建可扩展的无服务器数据管道，从而以较低的运营成本运行，而通常由单个开发人员进行设计和维护，成本的降低使大数据的利益更易为广大受众所用。

CPDA企业内训

https://www.cpda.cn/trainning/

cpda项目数据分析师为什么要更名？

https://www.chinacpda.com/question/4504.html

海南智企数据分析师事务所

https://www.chinacpda.com/shiwusuo/14202.html

王兴海老师高级经济师

https://www.chinacpda.com/shizi/9433.html

用数据改变人生，获得CPDA证书仅是一个开始

https://www.chinacpda.com/shouquanzhongxin/14854.html

大数据专业就业前景及就业方向如何？