数据目录如何扩展发现并改善治理
来源:CPDA数据分析师网 / 作者:数据君 / 时间:2020-10-27
图书馆目录以及越来越多的数字时代前存储系统已经发生了变化
如今许多图书馆目录已链接在一起,因此您可以在系统中的任何位置找到一个项目,您也可以使用自然语言查询系统,在我们数据丰富的数字世界中,组织需要在提供治理和安全性的同时,轻松地在物理分布式系统中查找数据。
对数据目录和业务术语表很感兴趣
使用数据目录和业务术语表满足这些要求非常感兴趣,数据目录是一个中央存储库,其中包含用于描述数据集,如何定义它们以及在哪里找到它们的元数据,它可以为组织提供其数据资产的清单,这对于治理和使用户更容易发现数据都至关重要,可以在业务上下文中提供标识和有效数据定义的业务词汇表可以与数据目录集成,数据目录提供与数据模式,结构和物理存储更多相关的信息。数据虚拟化中间件广泛使用数据目录和业务词汇表,以更快地查询和更全面地查看来自多个源的数据。
大多数组织由于缺乏数据目录或使用有时在电子表格中创建的目录和词汇表的杂乱而受阻
这些中的每一个通常仅收集有关单个BI或数据库平台,数据仓库或应用程序的技术和/或业务元数据,随着数据量的增加和变化,企业需要更全面的企业数据目录,在企业级别,数据目录可以成为更广泛策略的核心,以便更轻松地在本地和云中跨企业系统定位,管理和授权访问数据,为开发人员和用户提供对企业数据目录的轻松访问,可以消除创建从多个来源提取数据的数据管道的挑战,并有助于确保对可信数据的一致访问。
简化治理企业数据目录使组织能够更快地响应治理审计
并在整个组织的整个生命周期中移动数据时需要监视数据,研究发现集中监控数据使用情况和沿袭的能力(数据的来源以及在转换,充实和清理方面的过程中发生的事情)是大多数接受调查的组织的管理优先事项,约有三分之一的组织正在研究将较小的数据目录和词汇表整合到企业数据中心资源中,尤其是为了改善对治理和数据隐私法规的响应。
企业需要更多的数据目录来解决这些问题
例如为了保护其数据,它需要一些工具,这些工具可以使用目录来查找数据,然后在运行时应用治理约束和实施策略以防止未经授权的访问,企业还需要工具来管理数据的复制,复制和归档,以使其不会失去对治理和安全性的控制。
与人工智能和自动化一起前进
人工智能和自动化对于增加人类在构建和维护数据目录和词汇表方面的工作至关重要,而传统上这需要大量的人工工作,我们的研究表明,许多组织正计划使用AI和自动化来减少在源上爬网元数据,标记新数据,对数据进行分类以进行治理和安全以及开发分类法的手动工作,企业还对自然语言搜索功能感兴趣,以使用户更轻松地查找数据。
人工智能和机器学习技术正在数据目录解决方案中应用
通过暴露哪些数据集可用,受信任和受管,帮助组织从清单数据转移到整理数据以供管道使用,这支持了在BI,分析应用程序和数据管道开发工具中提供建议的趋势,因此用户可以更快地选择和分析数据集,这些更“活跃”的数据目录依赖于AI和自动化来提供服务,以使用户免于延迟以及为“唤醒”目录系统进行干预的需要。
活跃的数据目录还可以自动执行响应审计和维护正在进行的报告的步骤
以表明符合数据隐私法规,当某些数据可能敏感并可能引起治理和监管问题时,它们可以为用户提供建议,在企业尝试扩大规模以支持数千个用户及其仪表板,数据管道和分析时,在数据目录中使用AI和自动化至关重要。
解决方案提供商不会忽略数据目录
业务词汇表以及相关治理,安全性和数据访问控制领域的需求。从成熟的提供商以及更新的和更专业的公司开发解决方案的那一年已经是重要的一年,企业应评估一系列提供商的解决方案,以确定哪些适合当前和将来的需求,同时请记住,通常没有一个解决方案可以满足所有需求。
解决方案的下一步
如今许多图书馆目录已链接在一起,因此您可以在系统中的任何位置找到一个项目,您也可以使用自然语言查询系统,在我们数据丰富的数字世界中,组织需要在提供治理和安全性的同时,轻松地在物理分布式系统中查找数据。
对数据目录和业务术语表很感兴趣
使用数据目录和业务术语表满足这些要求非常感兴趣,数据目录是一个中央存储库,其中包含用于描述数据集,如何定义它们以及在哪里找到它们的元数据,它可以为组织提供其数据资产的清单,这对于治理和使用户更容易发现数据都至关重要,可以在业务上下文中提供标识和有效数据定义的业务词汇表可以与数据目录集成,数据目录提供与数据模式,结构和物理存储更多相关的信息。数据虚拟化中间件广泛使用数据目录和业务词汇表,以更快地查询和更全面地查看来自多个源的数据。
大多数组织由于缺乏数据目录或使用有时在电子表格中创建的目录和词汇表的杂乱而受阻
这些中的每一个通常仅收集有关单个BI或数据库平台,数据仓库或应用程序的技术和/或业务元数据,随着数据量的增加和变化,企业需要更全面的企业数据目录,在企业级别,数据目录可以成为更广泛策略的核心,以便更轻松地在本地和云中跨企业系统定位,管理和授权访问数据,为开发人员和用户提供对企业数据目录的轻松访问,可以消除创建从多个来源提取数据的数据管道的挑战,并有助于确保对可信数据的一致访问。
简化治理企业数据目录使组织能够更快地响应治理审计
并在整个组织的整个生命周期中移动数据时需要监视数据,研究发现集中监控数据使用情况和沿袭的能力(数据的来源以及在转换,充实和清理方面的过程中发生的事情)是大多数接受调查的组织的管理优先事项,约有三分之一的组织正在研究将较小的数据目录和词汇表整合到企业数据中心资源中,尤其是为了改善对治理和数据隐私法规的响应。
企业需要更多的数据目录来解决这些问题
例如为了保护其数据,它需要一些工具,这些工具可以使用目录来查找数据,然后在运行时应用治理约束和实施策略以防止未经授权的访问,企业还需要工具来管理数据的复制,复制和归档,以使其不会失去对治理和安全性的控制。
与人工智能和自动化一起前进
人工智能和自动化对于增加人类在构建和维护数据目录和词汇表方面的工作至关重要,而传统上这需要大量的人工工作,我们的研究表明,许多组织正计划使用AI和自动化来减少在源上爬网元数据,标记新数据,对数据进行分类以进行治理和安全以及开发分类法的手动工作,企业还对自然语言搜索功能感兴趣,以使用户更轻松地查找数据。
人工智能和机器学习技术正在数据目录解决方案中应用
通过暴露哪些数据集可用,受信任和受管,帮助组织从清单数据转移到整理数据以供管道使用,这支持了在BI,分析应用程序和数据管道开发工具中提供建议的趋势,因此用户可以更快地选择和分析数据集,这些更“活跃”的数据目录依赖于AI和自动化来提供服务,以使用户免于延迟以及为“唤醒”目录系统进行干预的需要。
活跃的数据目录还可以自动执行响应审计和维护正在进行的报告的步骤
以表明符合数据隐私法规,当某些数据可能敏感并可能引起治理和监管问题时,它们可以为用户提供建议,在企业尝试扩大规模以支持数千个用户及其仪表板,数据管道和分析时,在数据目录中使用AI和自动化至关重要。
解决方案提供商不会忽略数据目录
业务词汇表以及相关治理,安全性和数据访问控制领域的需求。从成熟的提供商以及更新的和更专业的公司开发解决方案的那一年已经是重要的一年,企业应评估一系列提供商的解决方案,以确定哪些适合当前和将来的需求,同时请记住,通常没有一个解决方案可以满足所有需求。
解决方案的下一步
解决方案行业应使组织能够在其目录中实施行业数据定义和元数据标准,以避免增加已经在跨数据系统和应用程序集成数据目录和词汇表的难题,这将为用户提供所有相关数据的单一可信视图,而不必根据单个系统中的可用内容来定制数据发现和分析。