数据分散在整个组织中的各种系统中

此外财务数据量会根据它们在财务周期中的位置而波动，并且在月末，季度或财年末出现峰值是很常见的，信息孤岛除了造成报告不一致外，还阻止了公司及其科学与支持部门的分支机构发现隐藏在未连接数据源中的见解，为了转变其IT和财务职能并加快财务报告，需要建立一个现代化的体系结构，以实现单一事实来源，作为解决方案的一部分，向云迁移，在云中可以建立一个数据湖来保存来自各种源系统的数据。基于云的解决方案的潜在优势包括：创新，加快上市时间，降低成本和简化系统。

数据湖只是答案的一部分

需要一种捕获数据的方法，解决方案发挥作用的地方，灵活性和许可模型，并重视其快速扩展而不会产生额外成本的能力，技术负责将数据提升、转移、转换和交付到云中，从多个来源提取数据，CPDA数据分析师、IT和业务转型计划取得了成功，并为五个业务部门的业务转型计划铺平了道路，他们正在利用这一现代数据平台来驱动新的商机，通过开发事件驱动，可扩展的数据平台以支持大型月末高峰活动来转变其IT和财务功能的信息，从而使财务报告时间缩短一半，并且一半的成本。

数据集成项目不仅仅是将数据从A点移动到B点，还有更多的东西

不断增长的数据量，数据更改的速度给管理端到端数据集成过程带来了许多挑战，为了应对这些挑战，从开始和结束时间戳，工作状态，业务领域，主题领域以及负责特定工作的个人方面跟踪从源到目标的数据旅程至关重要。换句话说，元数据正在成为数据工作流中的主要参与者。在本博客中，我想回顾一下如何实施工作元数据框架。

元数据框架：您需要了解的内容

此作业元数据的集中管理和监视对于数据管理团队至关重要。一个高效而灵活的作业元数据框架体系结构需要很多东西，即元数据驱动的模型和作业元数据。

以从源系统提取数据并将其加载到目标系统中。

1、从源系统提取数据

2、转换数据涉及：

3、清洗源属性

4、应用业务规则

5、资料品质

6、筛选，排序和重复数据删除

7、数据汇总

8、将数据加载到目标系统

9、监视，记录和跟踪ETL过程

在过去的几年中，工作元数据已经发展成为任何数据集成项目的重要组成部分

当数据集成作业中没有作业元数据时，会发生什么情况？这可能会导致错误的ETL统计信息和日志记录，以及难以处理在数据集成过程中发生的错误。一个成功的Talend数据集成项目取决于作业元数据框架与企业数据管理流程的集成程度，工作元数据框架作业元数据框架是一个元数据驱动的模型，可以与产品套件很好地集成提供一组用于在数据集成过程中捕获统计信息和日志记录信息的组件，提供一种使用可自定义框架来管理ETL操作的有效方法。

首先，作业元数据框架模型包括：

1、工作主管

2、作业运行详细信息

3、作业运行日志

4、文件追踪器

5、数据库高水位标记跟踪器，用于提取增量更改

该框架旨在允许生产支持人员监视作业周期刷新，并在处理数据加载时查找与作业失败和任何差异有关的问题。让我们逐步介绍每个框架。