我们如何了解结构化和非结构化数据？
来源：CPDA数据分析师网 / 作者：数据君 / 时间：2021-02-03
数据的“结构”是指一种组织和存储在数据库或仓库中以便可以访问和分析的特定方式
不同类型的信息更适合以结构化或非结构化格式存储，继续阅读以了解有关结构化和非结构化数据的更多信息，为什么结构化和非结构化数据之间的差异如此重要，以及云数据仓库如何处理它们，结构化数据与非结构化数据，对于程序而言，结构化数据更容易理解，而非结构化数据则构成了更大的挑战，但是两种类型的数据在数据分析中都起着重要作用。
结构化数据
就像“结构化”一词所暗示的那样，这是高度组织化且格式整齐的数据，结构化数据被组织以表格格式（即，行和列）和有不同的行和列之间的关系，因此它是高度组织和格式化的，易于存储，处理和访问，它可以与大多数标准分析模型轻松配合，大多数BI工具也知道如何使用它，从而允许用户从技术角度优化资源，它还需要较少的存储空间，结构化数据的一些示例是Excel文件，表格和传统的数据库管理系统（DBMS）。
非结构化数据
非结构化数据是未以任何预定义方式进行组织的数据。它可以是文本，数字，日期或BLOB（二进制大对象）。非结构化数据中的不规则性和混乱使得难以处理和理解。
了解非结构化数据的一些关键点：
全球约有80％的数据是非结构化的
可能难以处理和组织
本质上倾向于复杂
提供更多的分析自由
需要更多存储空间
富媒体类型（图像，视频，音频）也可以使用先进技术进行分析
一些示例包括文本数据，社交媒体评论，文档，电话转录，各种日志文件（例如服务器日志，传感器日志，图像，音频，视频等）。
半结构化数据
半结构化数据是结构化和非结构化数据的混合。它具有一些组织框架，但是没有适合关系数据库的完整结构。半结构化数据具有自我描述的结构，该结构包含用于分隔数据中各个实体的标签或属性。
关于半结构化数据要记住的要点：
属于非结构化数据的标题，但是它具有较低级别的组织（仍然不如关系数据库）
可以强制为有用且易于使用的表格格式
半结构化数据的示例包括XML，JSON，电子邮件，NoSQL DB，事件跟踪和网页
为了分析结构化和非结构化数据，已经出现了使用高级编码语言以及机器学习（ML）和人工智能（AI）的新一代BI工具，以帮助人们理解这些庞大的数据集，两种类型的数据都可能具有巨大的价值，而这些工具对于帮助汇总，查询，分析和创造业务价值至关重要。
结构化和非结构化数据之间的差异
这是一个快速表，显示结构化和非结构化数据之间的差异，以方便参考。
物产 结构化数据非结构化数据
特点 预定义格式
易于搜索 原始/本机格式
难以搜索
资料类型 定义的数据类型许多不同的数据类型
存放在 关系数据库
数据仓库 NoSQL数据库
数据仓库
数据湖
产生者 人或机器人或机器
灵活性 不灵活 模式依赖灵活; 与模式无关
数据百分比估计数据的20％估计数据的80％
例子Excel，Google表格，SQL，客户数据，电话记录，交易记录文本数据，社交媒体评论，电话转录，各种日志文件，图像，音频，视频
云数据仓库：数据存储的新时代
云数据仓库将来自不同来源的数据聚合到一个统一的中央数据存储中，以支持各种业务，分析，可视化，人工智能和机器学习目的，数据仓库使组织能够以标准数据库无法实现的方式对大量数据进行强大的分析，新一代数据仓库的构建完全在云中运行，而不是要求公司拥有本地服务器计算机，它们是作为托管服务提供给客户的，物理基础架构由云公司管理。客户不必在硬件或软件上进行前期投资，也不必担心服务器维护或相关问题，近年来随着越来越多的公司使用云服务并寻求减少或消除其本地投资，基于云的数据仓库变得越来越流行。与本地系统相比，它们具有许多优势，这解释了为什么每个人都迁移到云。
可扩展性：云数据仓库使组织能够快速扩展以满足不断变化的业务需求。管理员可以根据需要轻松地按比例放大或缩小处理和存储资源。
速度：安装快速简单。查询也可以更快地运行。
节省成本：具有成本效益的基于订阅的模型是云数据仓库采用的主要驱动力。硬件，服务器机房，IT人员和维护的初始成本为零。用户成本基于存储和计算使用情况。
安全性：云数据仓库包括数据安全范围，端到端数据加密以及内置的防止数据丢失的保护。
可用性：云数据仓库旨在实现高可用性。他们还支持全球任何地方的多个地点。
云数据仓库如何工作
通常数据仓库具有三层体系结构，首先是底层，这是一个提取级别，它使用称为“提取，转换和加载（ETL）”或“提取，加载和转换（ELT）”的过程来收集，清理，转换和加载来自多个源的数据。中间层通常是具有支持分析处理的架构的关系数据存储。顶层 是分析层 ，包括从标准查询工具到分析，数据挖掘，AI或ML功能，报告和演示文稿可视化工具的所有内容。
为数据专业人员改善生活
如今数据存储巨大而复杂，这使云数据仓库成为数据专业人员的福音，因为它们是为大型数据集的分析而设计的，它们可以帮助以较低的成本提供始终如一的高性能，用户还享受更快的分析查询和处理速度，这些仓库与分析和BI工具结合使用时，还可以非常有效地汇总整个业务中的信息，以帮助所有部门的用户更好地了解他们的数据，仓库中的数据准备和物化视图还可以帮助用户通过高级分析收集更深刻的见解，包括使用更复杂的编码语言和ML。
使用分析工具将数据变成金钱
如今拥有成熟数据环境的企业将拥有从云数据仓库（或可能不止一个）中收集的各种来源的大量结构化和非结构化数据，他们可以使用这些数据做出更好的决策并启动新项目。这些数据的多样性和复杂性促使人们需要高效，经济高效的分析方法，分析和BI工具是解决方案。
分析和BI工具可以帮助企业在我们生活中不断变化的世界中转型和发展的一种方式是数据挖掘
数据挖掘是一种在数据中寻找模式以识别趋势和见解的实践，这些趋势和见解可以揭示市场趋势，增加销售，减少客户流失，推动新的业务计划等，正确的分析和BI工具甚至可以帮助将分析嵌入到公司的软件产品中，并将他们从结构化和非结构化数据的大量存储中获得的见解交到用户手中，从而增加粘性和思想共享，甚至为增加收入打开大门。
数据工程师的任务是将数据仓库连接到商业智能工具
并使用软件工程技能（例如高级编码语言）来准备要分析的数据，一旦数据准备，并连接到一个企业工具一样，所有的技术技能水平的用户可以从中进行分析和搜集的见解，每一点数据都有帮助，无论您的业务细节如何，如果您可以访问大量的结构化和非结构化数据，则要充分利用它们，如果您的目标是从云数据仓库中的商店中获取业务价值和机会，那么您需要了解所拥有的数据类型，确保已正确准备好这些数据，然后将其输送到BI工具中。
BI工具提供了有效的数据分析
可视化，嵌入机会和见解，您的企业中的用户将使用它们来制定更明智的决策，创造新的收入机会，并帮助您的公司进行数字化转型并在瞬息万变的商业环境中保持竞争力，无论您使用什么数据来构建，都要大胆。
不同类型的信息更适合以结构化或非结构化格式存储，继续阅读以了解有关结构化和非结构化数据的更多信息，为什么结构化和非结构化数据之间的差异如此重要，以及云数据仓库如何处理它们，结构化数据与非结构化数据，对于程序而言，结构化数据更容易理解，而非结构化数据则构成了更大的挑战，但是两种类型的数据在数据分析中都起着重要作用。
结构化数据
就像“结构化”一词所暗示的那样，这是高度组织化且格式整齐的数据，结构化数据被组织以表格格式（即，行和列）和有不同的行和列之间的关系，因此它是高度组织和格式化的，易于存储，处理和访问，它可以与大多数标准分析模型轻松配合，大多数BI工具也知道如何使用它，从而允许用户从技术角度优化资源，它还需要较少的存储空间，结构化数据的一些示例是Excel文件，表格和传统的数据库管理系统（DBMS）。
非结构化数据
非结构化数据是未以任何预定义方式进行组织的数据。它可以是文本，数字，日期或BLOB（二进制大对象）。非结构化数据中的不规则性和混乱使得难以处理和理解。
了解非结构化数据的一些关键点：
全球约有80％的数据是非结构化的
可能难以处理和组织
本质上倾向于复杂
提供更多的分析自由
需要更多存储空间
富媒体类型（图像，视频，音频）也可以使用先进技术进行分析
一些示例包括文本数据，社交媒体评论，文档，电话转录，各种日志文件（例如服务器日志，传感器日志，图像，音频，视频等）。
半结构化数据
半结构化数据是结构化和非结构化数据的混合。它具有一些组织框架，但是没有适合关系数据库的完整结构。半结构化数据具有自我描述的结构，该结构包含用于分隔数据中各个实体的标签或属性。
关于半结构化数据要记住的要点：
属于非结构化数据的标题，但是它具有较低级别的组织（仍然不如关系数据库）
可以强制为有用且易于使用的表格格式
半结构化数据的示例包括XML，JSON，电子邮件，NoSQL DB，事件跟踪和网页
为了分析结构化和非结构化数据，已经出现了使用高级编码语言以及机器学习（ML）和人工智能（AI）的新一代BI工具，以帮助人们理解这些庞大的数据集，两种类型的数据都可能具有巨大的价值，而这些工具对于帮助汇总，查询，分析和创造业务价值至关重要。
结构化和非结构化数据之间的差异
这是一个快速表，显示结构化和非结构化数据之间的差异，以方便参考。
物产 结构化数据非结构化数据
特点 预定义格式
易于搜索 原始/本机格式
难以搜索
资料类型 定义的数据类型许多不同的数据类型
存放在 关系数据库
数据仓库 NoSQL数据库
数据仓库
数据湖
产生者 人或机器人或机器
灵活性 不灵活 模式依赖灵活; 与模式无关
数据百分比估计数据的20％估计数据的80％
例子Excel，Google表格，SQL，客户数据，电话记录，交易记录文本数据，社交媒体评论，电话转录，各种日志文件，图像，音频，视频
云数据仓库：数据存储的新时代
云数据仓库将来自不同来源的数据聚合到一个统一的中央数据存储中，以支持各种业务，分析，可视化，人工智能和机器学习目的，数据仓库使组织能够以标准数据库无法实现的方式对大量数据进行强大的分析，新一代数据仓库的构建完全在云中运行，而不是要求公司拥有本地服务器计算机，它们是作为托管服务提供给客户的，物理基础架构由云公司管理。客户不必在硬件或软件上进行前期投资，也不必担心服务器维护或相关问题，近年来随着越来越多的公司使用云服务并寻求减少或消除其本地投资，基于云的数据仓库变得越来越流行。与本地系统相比，它们具有许多优势，这解释了为什么每个人都迁移到云。
可扩展性：云数据仓库使组织能够快速扩展以满足不断变化的业务需求。管理员可以根据需要轻松地按比例放大或缩小处理和存储资源。
速度：安装快速简单。查询也可以更快地运行。
节省成本：具有成本效益的基于订阅的模型是云数据仓库采用的主要驱动力。硬件，服务器机房，IT人员和维护的初始成本为零。用户成本基于存储和计算使用情况。
安全性：云数据仓库包括数据安全范围，端到端数据加密以及内置的防止数据丢失的保护。
可用性：云数据仓库旨在实现高可用性。他们还支持全球任何地方的多个地点。
云数据仓库如何工作
通常数据仓库具有三层体系结构，首先是底层，这是一个提取级别，它使用称为“提取，转换和加载（ETL）”或“提取，加载和转换（ELT）”的过程来收集，清理，转换和加载来自多个源的数据。中间层通常是具有支持分析处理的架构的关系数据存储。顶层 是分析层 ，包括从标准查询工具到分析，数据挖掘，AI或ML功能，报告和演示文稿可视化工具的所有内容。
为数据专业人员改善生活
如今数据存储巨大而复杂，这使云数据仓库成为数据专业人员的福音，因为它们是为大型数据集的分析而设计的，它们可以帮助以较低的成本提供始终如一的高性能，用户还享受更快的分析查询和处理速度，这些仓库与分析和BI工具结合使用时，还可以非常有效地汇总整个业务中的信息，以帮助所有部门的用户更好地了解他们的数据，仓库中的数据准备和物化视图还可以帮助用户通过高级分析收集更深刻的见解，包括使用更复杂的编码语言和ML。
使用分析工具将数据变成金钱
如今拥有成熟数据环境的企业将拥有从云数据仓库（或可能不止一个）中收集的各种来源的大量结构化和非结构化数据，他们可以使用这些数据做出更好的决策并启动新项目。这些数据的多样性和复杂性促使人们需要高效，经济高效的分析方法，分析和BI工具是解决方案。
分析和BI工具可以帮助企业在我们生活中不断变化的世界中转型和发展的一种方式是数据挖掘
数据挖掘是一种在数据中寻找模式以识别趋势和见解的实践，这些趋势和见解可以揭示市场趋势，增加销售，减少客户流失，推动新的业务计划等，正确的分析和BI工具甚至可以帮助将分析嵌入到公司的软件产品中，并将他们从结构化和非结构化数据的大量存储中获得的见解交到用户手中，从而增加粘性和思想共享，甚至为增加收入打开大门。
数据工程师的任务是将数据仓库连接到商业智能工具
并使用软件工程技能（例如高级编码语言）来准备要分析的数据，一旦数据准备，并连接到一个企业工具一样，所有的技术技能水平的用户可以从中进行分析和搜集的见解，每一点数据都有帮助，无论您的业务细节如何，如果您可以访问大量的结构化和非结构化数据，则要充分利用它们，如果您的目标是从云数据仓库中的商店中获取业务价值和机会，那么您需要了解所拥有的数据类型，确保已正确准备好这些数据，然后将其输送到BI工具中。
BI工具提供了有效的数据分析
可视化，嵌入机会和见解，您的企业中的用户将使用它们来制定更明智的决策，创造新的收入机会，并帮助您的公司进行数字化转型并在瞬息万变的商业环境中保持竞争力，无论您使用什么数据来构建，都要大胆。
商业联合会数据分析专业委员会
京公网安备 11010502034401号
课程体系 
试听申请 
复听申请 
在线报名 
考试大纲 
考试报名 
准考证打印 
