通过主数据管理掌握物联网

NEWS前沿动态

通过主数据管理掌握物联网

来源：CPDA数据分析师网 / 作者：数据君 / 时间：2020-08-10

物联网数据本身就是事务性的

因此，物联网数据本身不是主数据，但是人们没有意识到的是，主数据所做的只是为物联网数据提供了上下文，由主数据以及依赖技术的解决方案提供的上下文可加快理解IoT的半结构化数据对于与诸如客户和产品数据之类的普通领域有关的具体业务用例意味着什么，巩固与物联网业务应用程序相关的任何域的一组主数据涉及数据发现，数据概要分析，数据质量，记录管理和数据建模的各个方面，完善这些数据管理维度为组织提供了一个将IoT数据关联起来的蓝图，如果没有将主数据带入整个生态系统的上下文，则IoT数据是无用的。

数据发现，数据分析

通常产生的上下文对于理解更大范围的分析中的物联网数据是必要的，以航运业为例，在过去的几个月中，对于分析交货中的传感器数据以了解（并预测）客户需求至关重要，从IoT数据中获得见解的方式是将其与与其相关的主数据相关联，因此如果您想查看密歇根州客户的包裹数量，则必须将所有IoT [传感器]数据与主数据相关联，以产生主数据。

现代平台通过基于数据分析的自动数据发现功能帮助用户了解IoT数据

企业可以简单地连接到数据源，并且借助机器学习和静态算法的组合，可以自动了解它们包含的数据类型，数据的外观及其内容，此类信息对于将这些源映射到诸如数据湖之类的目标系统至关重要，例如在利用各种天气数据传感器获取零售或交易机会时，组织可以使用的“自动发现和分析”功能来帮助了解不同传感器报告其信息的方式，然后将其映射到您所使用的任何传感器数据的[统一]模式想要。

资料品质引用的映射在数据管理的许多方面都涉及到边界

包括数据集成，数据建模，以及在考虑数据治理时重要的是数据质量，在竞争性平台中，自动化数据质量是数据发现过程的自然输出，并成为数据质量建议的基础，这些智能集线器可以说我们检测到了这些数据，其中99％处于这种模式；您是否要确保该字段中通过的所有数据都采用这种格式？与数据质量相关的转换是将数据标准化以用于单个数据模型所需的映射的一部分。

这种映射涉及标准化“列名和值集”

隐含的这种能力来自用户的输入：“您可以在其中添加自己的业务规则和转换规则，以便根据需要合并和重塑数据。” 可通过API获得其他数据质量度量，企业可以“绑定到第三方地址验证API，然后使用其中的信息来更改数据管道”，如果将IoT数据系统的黄金记录进行上下文关联是将IoT应用于业务用例的基础，那么创建和维护该黄金记录就变得至关重要，匹配和合并记录的能力对于产生黄金记录（“原始版本”）至关重要，一旦我们知道原始版本是什么，我们将把它交付回您的源系统，还交付给您整个环境中的分析系统。

当代掌握数据的方法包括：

1、机器学习：依靠无监督和有监督的学习技术的结合，某些系统会随着时间的推移“逐渐建立[模型]，因为它越来越多，并且使用它创建的匹配项然后应用于下一个匹配项，机器学习还会影响流程，在流程中如果您有两个数据源，其中医生的姓名是真实姓名，并且不完全匹配，则需要合并它们。

2、静态算法：匹配为静态算法提供了一个特别引人注目的用例，这些算法是较大过程的一部分，该过程可以基于检测它们之间的关系来有效地“形成一组”记录，这种方法利用内存引擎为记录建立索引并快速匹配它们。

3、生存性：生存性概念是合并和匹配概念的高级形式，前者“更复杂：我将建立此数据的一个版本，如何选择其值？生存能力使组织可以选择您可以定义的所有这些逻辑，以使用可用的数据自动填充您的黄金记录，重要的是，生存能力使组织可以从不同的记录中选出不同的信息以获得超级记录，企业可以自动选择“从CRM中选择电话号码，而从ERP中选择地址”或从任何其他可用来源中选择。

整合汇总数据使用将IoT关联到上下文终需要能够集成并在某些情况下聚合来自这些各自系统的数据的能力

当发布流或传感器数据的实时更新时，上述用于保持黄金记录的功能具有新的重要性，该领域中一些更好的平台利用实时插件来捕获更改数据，从而以低潜在匹配和合并将物联网输入合并，其中有一个IoT应用程序经常更改数据库中的数据，而总体系统“可以监视该更改，并说客户一经从门户网站更新其地址，便对其进行了更改。数据库可以看到该更改是在保存时发生的，

此用例强调了传统的扩展作用，成为了集成枢纽或编排机制的新角色

终可以将源系统（例如IoT）的数据终掌握到几乎所有下游系统，在这种范例中，总体系统是一个集成层，分别利用ETL和ELT来“将数据移入数据湖并确保其保持和准确的状态，”当然正式整合数据涉及纠正架构差异，以将数据与通用数据模型相结合，通过“无代码UI将公司数据自动映射到目标模型中”，这一领域中令人信服的选项可以实现此目标。

一起赢与物联网之间的共生关系是互惠互利的

利用物联网数据是使现代化并使之在当今日益分散的数据环境中持续相关的重要手段，相反了快速了解IoT数据的重要性并将其合并到更大的数据驱动流程所需的适当上下文，更重要的是，也许这些应用程序的配对还暗示了增长，而不仅仅是静态集线器，数据集成能力是指交付的平台充当集成层，用于转换，控制和终将数据复制到存储库中，这很可能代表了这些中心的未来，如果是这样发现自己已嵌入到IoT的基础处理中，而且还可以嵌入几乎可以想象到的数据驱动应用程序的各个方面。

CPDA企业内训

https://www.cpda.cn/trainning/

cpda项目数据分析师为什么要更名？

https://www.chinacpda.com/question/4504.html

海南智企数据分析师事务所

https://www.chinacpda.com/shiwusuo/14202.html

王兴海老师高级经济师

https://www.chinacpda.com/shizi/9433.html

用数据改变人生，获得CPDA证书仅是一个开始

https://www.chinacpda.com/shouquanzhongxin/14854.html

大数据专业就业前景及就业方向如何？

https://www.chinacpda.com/wenti/11706.html