什么是大数据为什么我需要对其进行可视化？

Q&AQ&A问答

什么是大数据为什么我需要对其进行可视化？

来源：CPDA数据分析师网 / 作者：数据君 / 时间：2021-04-21

大数据和可视化：了解数量和种类
任何从事分析工作的人都知道，您必须利用多种信息来源来创建业务案例或报告，以说服利益相关者采取行动，而不是采取行动或改变路线，实际上将大数据元素整合在一起的示例，以创建定义外国概念的文章，这使我们认识到数据可视化的重要性，当您从所有这些来源中获取资源时，利益相关者很容易迷失在演示文稿中。

为什么演示与大数据息息相关
想象一下这个例子：您正坐在董事会会议上，会议桌上有一堆文件供PowerPoint演示文稿参考，这些文件是许多电子表格，其文本几乎不可读（由于将27列缩小为合法尺寸的复印纸）。当您应该听有关您的公司为什么要购买XYZ的演示文稿时，您会迷失在电子表格的列中，因为信息太多，所以很难问问题，大数据并不意味着更大的电子表格。这意味着将数据视为源，我们阅读了10篇文章以获取此博客文章的信息，然后我们抛弃了不需要的信息，以便呈现重要的信息，同样将重点放在数据可视化上也会做同样的事情-清除无关的数据。

大数据快照使会议变得更加愉快和高效，以下是一些快速入门的可视化数据的提示：

1.移至电子表格之外，尽管Excel作为数据源非常出色，但它不能提供强大的数据可视化效果。

2.确定您要用数据讲的故事，数据可视化成为您分析问题的基础。

3.利用散点图和折线图，图是用于数据可视化的出色工具，但是图的类型很重要。与标准的饼图和条形图选择相比，散点图和折线可以提供更好的视觉效果。

数据仓库和数据湖之间的差异
每天生成和存储的数据量激增，各种各样的公司都存储着可能在某天被证明有价值的数据。在此之前，他们不一定要花费时间和资源来创建用于将数据存储在传统数据仓库中的架构，取而代之的是，企业越来越多地转向数据湖来存储大量的非结构化数据，我们将研究数据仓库和数据湖之间的差异，这两种范例的当前冲突以及组织如何利用基于云的数据湖湖。

数据仓库和数据湖的兴起
在90年代末和2000年代初，组织开展了大规模运动，将其数据存储在数据仓库中作为单一事实来源。当时，有许多未联网的旧版应用程序和软件程序创建数据，这些数据在连接时可以帮助推动组织的宝贵见解和预测。您可以快速了解联接表的概念是如何产生的：可以通过各种逻辑将存储在一个环境中的数据绑定到另一个环境。但这需要一个周到的架构来连接各个部分。

但是企业很快了解到，将大量数据收集和整理为单一的事实来源非常困难

出现的一个显着挑战是组织使用的新系统将数据存储在预定义架构的范围之外，缺乏灵活性为及时从其数据中获取价值创造了障碍，关系数据库的这种刚性很快就受到了无模式NoSQL数据库的挑战。不再有一个僵化的架构，即每个数据都必须“恰到好处”，而是出现了可以将信息记录为文档或文件的新技术，例如对象存储和文档数据库。这种对数据结构的思考方式的转变也导致人们对数据存储方式的看法发生了变化，从而使数据湖诞生了。

传统上，数据仓库和数据湖之间存在三个主要区别。但是，这在过去几年中已经发生了变化。

1.结构化数据与非结构化数据。数据仓库需要非常结构化的表格数据。因此，交易文本数据适合数据仓库。数据湖之所以不同，是因为它可以接受非结构化数据，这为组织不仅存储文本信息，而且还存储图像，音频和视频文件打开了大门。

2.写模式与读模式。点的直接影响是，必须先将数据仓库定义为架构，然后再将信息写入架构。必须预先确定所有列和行，以便结构化数据确切知道要去哪里。使用数据湖，该信息可以简单地包含在数据文档中。然后，数据科学家可以在读取时创建模式，选择在提出问题时可以回答其问题的信息。

3.分层结构与平面结构。数据仓库由许多表构成，可以将这些表连接起来以查询见解，因此存在有关如何连接每个表的层次结构。产品表可以连接到交易表，而必须连接另一个表以显示产品位于哪个仓库。数据湖比较平坦-通常，它将不同的数据块存储在内部的信息流中文档。对于数据湖，采购订单可能包含订购的物品，订单ID和买方的地址。这些没有在离散表中链接在一起；它们全部存储在包含所有信息的单一平面结构中，而不必连接表。

数据仓库和数据湖：融合到数据云中
您可能会认为这两种数据存储理念截然不同，但是在过去几年中，这些技术开始融合，当企业将大量数据存储在数据湖中时，我们越来越多地看到它们在问数据问题或为数据提供结构时直接在数据湖顶部抽象一个数据仓库，为了帮助解释这种转变，请考虑一个用来钓鱼的钓具盒的类比，钓具箱的底部通常是一个敞开的部分，可以免费存放所有工具，诱饵，诱饵，绳子，重物等。这类似于数据湖，您可以在其中将任何东西放置在存储系统中而无需太多结构，但是在该数据湖上方提取数据仓库的这种转变类似于在钓具箱上的顶部插入物，该插入物箱具有用于将特定物品存储在一起的不同部分–可以为配重保留一部分，为钩子保留另一部分，为钩子保留另一部分，引诱尽管所有这些项目都可以存储在下面的部分中，但渔民可以选择拉出特定项目并在顶部进行组织。

滑车箱的两个部分都在这里是有原因的，就像数据湖和数据仓库有特定的用途一样
类似于数据湖可以接受任何数据并且具有极其灵活的方式，钓具箱的底部是一种有效的存储几乎任何东西而又不区分其内容或去向的方式，就像钓具箱的顶部井井有条一样，渔民可以快速找到特定的诱饵，数据仓库也可以提供围绕性能的优化，我们看到这种模式转变在两家主要的云提供商中正在发挥作用，经典的AWS数据湖是使用AWS Glue和S3构建的，该服务允许用户跨海分布式处理器集群，但是越来越多的AWS提供了直接在AWS数据湖基础架构之上使用选项。

微软也有类似的转变
已将其SQL仓库改造为数据平台，该平台是数据湖和数据仓库的融合，现在除了提供专用的计算，Spark等之外，还提供了完整的数据体验，包括数据提取，数据管道和无服务器SQL，数据存储和数据湖分析的未来为探索提供了许多有趣的方向，我们可能会看到用于清理，充实和建模数据的脱机处理的兴起，以及越来越多的利用数据的引擎，这一切都是为了使公司能够相对便宜地存储大量数据，同时又灵活地使用它们。

释放数据湖中包含的见解

无论您使用AWS数据湖还是Azure数据湖，都可以帮助您从数据中提取价值，通过使用诸如无服务器查询引擎或无服务器的SQL可以为用户提供可操作的情报，您可以将其无缝地注入产品，服务和体验中，使用专用的计算群集，您可以创建一个精简，灵活的数据仓库层以检查数据，这使您的组织能够利用数据湖中的信息来在任何地方注入见解，公司使用和存储数据的方式每天都在演变-是您的吗？

CPDA企业内训

https://www.cpda.cn/trainning/

CPDA项目数据分析师为什么要更名？

https://www.chinacpda.com/question/4504.html

数据分析师开班信息

https://www.chinacpda.com/openclass/

数据分析师职业前景

https://www.chinacpda.com/career/

数据分析师考试时间

https://www.chinacpda.com/examine/

海南智企数据分析师事务所

https://www.chinacpda.com/shiwusuo/14202.html