元数据驱动的数据仓库是理想选择?
来源:CPDA数据分析师网 / 作者:数据君 / 时间:2021-05-12
元数据驱动与传统数据仓库
与传统的数据仓库相比,元数据驱动的仓库在设计和开发方式上有很大的不同,在这里,我们将这两种方法与以下各种因素进行比较,快速传播业务变化,与元数据驱动的方法相比,传统数据仓库中对数据仓库的更改更加复杂且耗时,为了说明这一点,让我们举一个更改单列数据类型的示例,在传统方法中,您将需要更新单个代码工件并反映整个ETL管道中的更改。
与此相反在环境中数据建模/设计器和ETL被集成在一起
并且所有更改都通过元数据而不是通过代码传播,这意味着如果您在元数据中更改列的数据类型,则将自动重新创建所有代码和管道以反映更改,这样可以提高开发速度并确保一致性,这也意味着可以更轻松地更改以满足快速变化的需求,因此可以更好地响应业务需求。
打开一个利用现代技术的选择世界
数据平台会不断变化和发展,因此要保持状态非常具有挑战性,您今天编写的ETL代码可能在一年之内过时且无法使用,对于传统的数据仓库,您需要重写和修改这些过时的代码,以便能够从新技术和的数据平台中受益,但是对于元数据驱动的数据仓库,情况就不同了,这是因为所有设计和转换都是在逻辑元数据级别上捕获的,这不会使依赖于单一技术或数据平台,这样做的好处是,您只需更改配置即可轻松地将现有项目带入另一个完全不同的平台上重新启动。
贯穿始终的代码一致性
当您构建传统的数据仓库时,每个开发人员都有自己的方法来编码和解决ETL管道中的数据问题,但是您的开发团队可能会随着时间而变化,从而为表带来新的方法和编码样式,由于积累了如此多的代码,其他开发人员可能难以解释,理解和修改现有代码,这是通过方法解决的,因为元数据是以一致的方式定义的,并且遵守所使用的体系结构和数据平台。整个数据仓库都封装在一个逻辑层中,该逻辑层对于团队内部或外部的任何人都非常容易遵循。另外,由于我们使用模板中生成代码,因此代码模式始终是一致且标准化的。
元数据驱动的数据仓库的优势
在上一节中,我们研究了与传统数据仓库之间的并排差异,现在让我们讨论元数据驱动的数据仓库方法对企业的好处:
标准化框架: 元数据驱动的方法使用一致且标准化的方法来定义元数据,从而使更改数据仓库变得方便而简单。因此,例如,如果您开始使用新的SaaS服务或将新模块添加到ERP中,则可以修改数据仓库以使用与其他数据源相同的一致模板轻松地从新源中添加数据。
敏捷性: 元数据驱动的数据仓库的优势是能够使用少至零的代码。这样,您可以对模式,ETL管道或接收模式进行任何更改,而无需编写任何代码,从而加快了更改速度并满足了新的报告要求。
可维护性: 从添加新数据源到更改配置并生成新报告,所有内容都得到了简化,因为它直接与您提供的元数据绑定在一起,这使维护数据仓库变得非常容易,因为您只需要跟踪所使用的元数据即可。
企业应该选择元数据驱动的数据仓库吗?
与传统的数据仓库相比,元数据驱动的仓库在设计和开发方式上有很大的不同,在这里,我们将这两种方法与以下各种因素进行比较,快速传播业务变化,与元数据驱动的方法相比,传统数据仓库中对数据仓库的更改更加复杂且耗时,为了说明这一点,让我们举一个更改单列数据类型的示例,在传统方法中,您将需要更新单个代码工件并反映整个ETL管道中的更改。
与此相反在环境中数据建模/设计器和ETL被集成在一起
并且所有更改都通过元数据而不是通过代码传播,这意味着如果您在元数据中更改列的数据类型,则将自动重新创建所有代码和管道以反映更改,这样可以提高开发速度并确保一致性,这也意味着可以更轻松地更改以满足快速变化的需求,因此可以更好地响应业务需求。
打开一个利用现代技术的选择世界
数据平台会不断变化和发展,因此要保持状态非常具有挑战性,您今天编写的ETL代码可能在一年之内过时且无法使用,对于传统的数据仓库,您需要重写和修改这些过时的代码,以便能够从新技术和的数据平台中受益,但是对于元数据驱动的数据仓库,情况就不同了,这是因为所有设计和转换都是在逻辑元数据级别上捕获的,这不会使依赖于单一技术或数据平台,这样做的好处是,您只需更改配置即可轻松地将现有项目带入另一个完全不同的平台上重新启动。
贯穿始终的代码一致性
当您构建传统的数据仓库时,每个开发人员都有自己的方法来编码和解决ETL管道中的数据问题,但是您的开发团队可能会随着时间而变化,从而为表带来新的方法和编码样式,由于积累了如此多的代码,其他开发人员可能难以解释,理解和修改现有代码,这是通过方法解决的,因为元数据是以一致的方式定义的,并且遵守所使用的体系结构和数据平台。整个数据仓库都封装在一个逻辑层中,该逻辑层对于团队内部或外部的任何人都非常容易遵循。另外,由于我们使用模板中生成代码,因此代码模式始终是一致且标准化的。
元数据驱动的数据仓库的优势
在上一节中,我们研究了与传统数据仓库之间的并排差异,现在让我们讨论元数据驱动的数据仓库方法对企业的好处:
标准化框架: 元数据驱动的方法使用一致且标准化的方法来定义元数据,从而使更改数据仓库变得方便而简单。因此,例如,如果您开始使用新的SaaS服务或将新模块添加到ERP中,则可以修改数据仓库以使用与其他数据源相同的一致模板轻松地从新源中添加数据。
敏捷性: 元数据驱动的数据仓库的优势是能够使用少至零的代码。这样,您可以对模式,ETL管道或接收模式进行任何更改,而无需编写任何代码,从而加快了更改速度并满足了新的报告要求。
可维护性: 从添加新数据源到更改配置并生成新报告,所有内容都得到了简化,因为它直接与您提供的元数据绑定在一起,这使维护数据仓库变得非常容易,因为您只需要跟踪所使用的元数据即可。
企业应该选择元数据驱动的数据仓库吗?
据估计使用元数据驱动的方法,使用传统ETL更改传统数据仓库所需的开发时间可以减少30%以上,牢记关键优势(例如更好的敏捷性和更高的一致性),对于企业来说值得考虑,数据仓库自动化工具提供了一个无代码且易于使用的平台,可通过简单的拖放界面为您提供速度和自动化的好处,该工具使您可以通过单个平台完成从数据建模到ETL生成以及到云的所有部署。
商业联合会数据分析专业委员会