元数据就好比是肢体语言？
来源：CPDA数据分析师网 / 作者：数据君 / 时间：2021-05-17
元数据难题
大多数企业中的元数据发生了什么？首先，每个人都认为必须对其进行管理，并且IT部门通常会竭尽全力对其进行记录，但是经常发生的是大量的手动和/或半自动化的工作来创建元数据存储库。这些项目要认真，迅速地完成，并且在完成之日就过时了。随着元数据准确性的过时，结果是业务和IT价值下降。所需要的是一种自动化的方法，该方法可以连续刷新元数据存储库以解决问题的根本原因，从而使元数据存储库是的。
但这是元数据问题的根本原因吗？让我们更深入地研究元数据的两个常见元素，以及类似于隐藏的肢体语言的第三个和第四个隐藏元素–元数据揭示的内容很有趣，而隐藏的内容则至关重要。
理解元数据的四个要素是什么？
前两个元素是大多数组织专注于解决的问题，它们在原理上很容易，但在实践中却很难实现自动化。第三层和第四层是真正理解元数据所缺少的链接，并且是一些重要的工具，就像肢体语言一样，能够解决业务问题。第三个和第四个元素的挑战在于，如果没有自动化，它们很难解决，因此它们通常是企业元数据存储库中缺少的元素。
1）元数据：位置，位置，位置
这是元数据的个元素。业务和IT用户希望知道其数据的位置。以业务分析师或数据科学家为例，他们花费60％或更多的时间来整理数据。根据《福布斯》的报道，时间的分解是这样的：“数据科学家将60％的时间用于清理和整理数据。收集数据集仅占19％的时间，这意味着数据科学家将其80％的时间花费在准备和管理用于分析的数据上（来源）。” 如果将19％的时间花在收集数据集上，那么减少寻找正确数据集所花费的时间意味着要有更多的时间来更快地分析数据。以一个商务会议为例，该会议回顾了一个新的分析模型，其中有人问一个简单的问题：“您从何处获得此数据集？” 除了了解数据集的位置，人们还想知道您是否选择了正确的数据集进行分析。数据位置是元数据的一个元素，但仅占图片的一小部分。当使用7％-38％-55％进行类比时，数据位置仅是7％的一部分。让我们探索第二部分。
2）元数据：模式，表，列
任何业务或IT专业人员都希望深入了解该位置，以提取有关架构，表和列属性的详细信息，以更深入地了解数据。这被认为是任何元数据存储库中显而易见的一部分，但是挑战仍然在于如何使此过程自动化。尽管手动或半自动过程的努力可以丰富元数据存储库中的此数据，但仍然存在的问题是，这些努力会导致架构，表和列信息一经发布就老化。位置和方案，表，列的组合原则上很容易，但是就像元数据的下一个元素一样，通常很难维护。
既然我们已经揭示了位置和架构，表，列元数据信息，那么让我们来了解一下隐藏在元数据中并带来价值的93％的信息。
3）元数据：源到目标的关系
这是从概念上了解您的元数据如何在整个组织中流动的步。前两个元素收集了元数据，但是在不了解元数据如何遍历组织系统的情况下，您不了解元数据如何在系统之间流动。在过去的几年中，您可以创建源到目标血统的手动或半自动文档，但这也很难维护。由于应用程序升级或核心系统更换而导致系统发生更改时，沿袭就会中断。需要一种灵活的方法来自动化提取源到目标元数据关系的过程，以创建自我文档沿袭。您可以这样认为：元数据显示的内容很有趣（源于目标血统），隐藏的内容至关重要。
4）元数据：转换
让我们回到我们的商务会议上，有人问：您从哪里获得此数据集？接下来的问题通常是关于：数据是如何转换的？以一个ETL过程为例，该过程将数据提取，转换并加载到使用数据集所在的目标系统中。有关如何转换数据的问题通常是虚假的，并且需要一个专家IT资源来解释转换，因为该转换未记录在元数据存储库中。像肢体语言一样，转换是完成元数据图片重要的部分。面临的挑战是暴露源系统和目标系统之间的转换需要读取存储过程和转换过程中使用的代码。很少对此进行记录的原因是，任何手动或半自动的方式对其进行记录都非常费力且容易出错。所需的是自动化读取代码以快速准确地记录转换的过程。
解决元数据难题
大多数企业中的元数据发生了什么？首先，每个人都认为必须对其进行管理，并且IT部门通常会竭尽全力对其进行记录，但是经常发生的是大量的手动和/或半自动化的工作来创建元数据存储库。这些项目要认真，迅速地完成，并且在完成之日就过时了。随着元数据准确性的过时，结果是业务和IT价值下降。所需要的是一种自动化的方法，该方法可以连续刷新元数据存储库以解决问题的根本原因，从而使元数据存储库是的。
但这是元数据问题的根本原因吗？让我们更深入地研究元数据的两个常见元素，以及类似于隐藏的肢体语言的第三个和第四个隐藏元素–元数据揭示的内容很有趣，而隐藏的内容则至关重要。
理解元数据的四个要素是什么？
前两个元素是大多数组织专注于解决的问题，它们在原理上很容易，但在实践中却很难实现自动化。第三层和第四层是真正理解元数据所缺少的链接，并且是一些重要的工具，就像肢体语言一样，能够解决业务问题。第三个和第四个元素的挑战在于，如果没有自动化，它们很难解决，因此它们通常是企业元数据存储库中缺少的元素。
1）元数据：位置，位置，位置
这是元数据的个元素。业务和IT用户希望知道其数据的位置。以业务分析师或数据科学家为例，他们花费60％或更多的时间来整理数据。根据《福布斯》的报道，时间的分解是这样的：“数据科学家将60％的时间用于清理和整理数据。收集数据集仅占19％的时间，这意味着数据科学家将其80％的时间花费在准备和管理用于分析的数据上（来源）。” 如果将19％的时间花在收集数据集上，那么减少寻找正确数据集所花费的时间意味着要有更多的时间来更快地分析数据。以一个商务会议为例，该会议回顾了一个新的分析模型，其中有人问一个简单的问题：“您从何处获得此数据集？” 除了了解数据集的位置，人们还想知道您是否选择了正确的数据集进行分析。数据位置是元数据的一个元素，但仅占图片的一小部分。当使用7％-38％-55％进行类比时，数据位置仅是7％的一部分。让我们探索第二部分。
2）元数据：模式，表，列
任何业务或IT专业人员都希望深入了解该位置，以提取有关架构，表和列属性的详细信息，以更深入地了解数据。这被认为是任何元数据存储库中显而易见的一部分，但是挑战仍然在于如何使此过程自动化。尽管手动或半自动过程的努力可以丰富元数据存储库中的此数据，但仍然存在的问题是，这些努力会导致架构，表和列信息一经发布就老化。位置和方案，表，列的组合原则上很容易，但是就像元数据的下一个元素一样，通常很难维护。
既然我们已经揭示了位置和架构，表，列元数据信息，那么让我们来了解一下隐藏在元数据中并带来价值的93％的信息。
3）元数据：源到目标的关系
这是从概念上了解您的元数据如何在整个组织中流动的步。前两个元素收集了元数据，但是在不了解元数据如何遍历组织系统的情况下，您不了解元数据如何在系统之间流动。在过去的几年中，您可以创建源到目标血统的手动或半自动文档，但这也很难维护。由于应用程序升级或核心系统更换而导致系统发生更改时，沿袭就会中断。需要一种灵活的方法来自动化提取源到目标元数据关系的过程，以创建自我文档沿袭。您可以这样认为：元数据显示的内容很有趣（源于目标血统），隐藏的内容至关重要。
4）元数据：转换
让我们回到我们的商务会议上，有人问：您从哪里获得此数据集？接下来的问题通常是关于：数据是如何转换的？以一个ETL过程为例，该过程将数据提取，转换并加载到使用数据集所在的目标系统中。有关如何转换数据的问题通常是虚假的，并且需要一个专家IT资源来解释转换，因为该转换未记录在元数据存储库中。像肢体语言一样，转换是完成元数据图片重要的部分。面临的挑战是暴露源系统和目标系统之间的转换需要读取存储过程和转换过程中使用的代码。很少对此进行记录的原因是，任何手动或半自动的方式对其进行记录都非常费力且容易出错。所需的是自动化读取代码以快速准确地记录转换的过程。
解决元数据难题
到目前为止，我们已经得出以下结论：元数据就像肢体语言。它揭示的内容很有趣（从源到目标血统）。它隐藏的内容至关重要（转换）。为了解决元数据的四个元素：位置，方案/表/列，源到目标的关系以及它们之间的转换，我们必须避免依赖于先前使用的不可持续的手动和半自动元数据提取，并寻求一种新方法。爱因斯坦说得的是：“我们无法以创造问题时所使用的相同思维来解决问题。” 需要的是一种新方法，该方法可以整体提取隐藏在元数据中的所有信息，而不是记录位置和架构/表/列，以揭示了解元数据的真正力量：可视化源代码到目标源代码，并进行中间转换。
商业联合会数据分析专业委员会
京公网安备 11010502034401号
课程体系 
试听申请 
复听申请 
在线报名 
考试大纲 
考试报名 
准考证打印 
