随着Spark对大数据的使用不断增长有五个趋势值得您注意

NEWS前沿动态

随着Spark对大数据的使用不断增长有五个趋势值得您注意

来源：CPDA数据分析师网 / 作者：数据君 / 时间：2020-11-24

趋势1：从存储到计算能力的转变
大型仓库致力于使用Hadoop的分布式存储机制，从而推动了数据仓库现代化的时代，近，企业开始将注意力集中在从大数据的数据分析中获取价值（从而将数据转换为可提供竞争优势的可行见解），结果专用于分析数据的处理能力或RAM已经开始超过专用于存储数据的资源，Spark具有大规模的内存数据处理能力，是这种智能计算发展的核心，我们应该期待Spark投资的显着增长，尤其是在竞争激烈的行业中，例如金融服务，制造业和制药业。

趋势2：改进的基于云的基础架构
企业利用Spark来利用开放源社区贡献的快速创新周期，与任何本地实施相比，在云中升级到较新版本的软件要快得多，企业在Spark上快速启动并运行的一种方法是利用基于云的实施。但是，这仅对数据量较小的小型公司和初创公司是可行的选择，对于拥有大量数据量或在大型数据中心进行投资的企业而言，将其数据迁移到云中的成本很高，较大的组织选择了一种混合策略，其中使用Spark的云实现来分析流数据，而使用本地Spark集群来分析历史数据和聚合数据。

在过去几年中，通过亚马逊，谷歌和微软的大量投资，云基础设施得到了显着改善。可伸缩性，弹性和易用性是主流云基础架构的支柱。迁移到云从未如此简单。基于这些云基础架构的改进，即使是拥有大量数据的组织现在也可以采用完全基于云的Spark实施。这将导致Spark的更广泛采用。

趋势3：改进的安全性和治理模型
Spark初是数据科学家的游乐场，他们可以使用大得多的数据量和不同类型的数据来构建复杂的数据和预测模型，总的来说，Spark在企业中已被用作集群的一部分，而集群初是由数据科学家用来进行原型设计和快速迭代的，因此对企业要求（例如安全性和数据治理）的需求降至，随着越来越多的企业在生产部署中使用Spark从大数据中获取关键的业务见解，现在要求Spark实现提供与传统数据架构和其他Hadoop组件相同的保护措施来保护数据，治理模型也是必需的。

随着采用Spark的增加，用于Spark实施的企业级安全性和数据治理框架的可用性也会增加。先进的安全平台和治理模型将吸引金融和保险等传统保守的行业部门，进而导致Spark的更广泛采用。

趋势4：BigDL的到来
直到近，Spark批处理才被用于深度学习，因为它需要大量的精力来优化Spark的计算引擎以训练深度学习模型。这就是英特尔推出其大数据深度学习框架BigDL的地方。英特尔将BigDL开发为基于Apache Spark的分布式深度学习库，并将其贡献给开源社区，以将大数据处理和深度学习结合在一起。

BigDL可用于在Spark上编写深度学习程序，这有助于解决一些关键用例和相关技术挑战。这些包括：

1、在存储数据的同一大数据Spark集群上使用深度学习来分析大数据的能力
2、向大数据（Spark）程序或工作流添加深度学习功能的能力
3、利用现有的Hadoop / Spark集群运行深度学习应用程序
4、使通常不是深度学习专家的大数据用户和数据科学家更容易使用深度学习

总体而言，BigDL的出现为世界带来了新的可能性，并且可能跨越了大数据和深度学习领域，而出现了一组新的用户和用例。

趋势5：Python和Spark越来越受欢迎
开发人员已将Python用作Spark的编码语言，而不是Scala或Java，这已成为近几年的规范。这种趋势背后有几个原因。Python更易于学习和使用，并且由于它是一种解释型语言，因此无需编译或处理JAR或任何其他依赖项。使用Python，代码的可读性，可维护性和熟悉性要好得多。Python附带了众所周知的用于数据分析和统计的库，可以说它们比Spark Machine Learning Library上提供的库更加成熟且经过时间测试。

另外，可能有人认为Scala社区对典型程序员的帮助远不如Python社区大。这使Python成为一种更有价值的学习语言。重要的是，找到，雇用和培训Python程序员并使他们加入Spark变得更加容易。这是另一个重要因素，将进一步推动Spark的采用。

CPDA企业内训

https://www.cpda.cn/trainning/

CPDA项目数据分析师为什么要更名？

https://www.chinacpda.com/question/4504.html

海南智企数据分析师事务所

https://www.chinacpda.com/shiwusuo/14202.html

王兴海老师高级经济师

https://www.chinacpda.com/shizi/9433.html

用数据改变人生，获得CPDA证书仅是一个开始

https://www.chinacpda.com/shouquanzhongxin/14854.html

大数据专业就业前景及就业方向如何？