您企业的三个危险信号存在数据黑洞
来源：CPDA数据分析师网 / 作者：数据君 / 时间：2021-01-05
确保我们拥有良好的数据和基础
以告诉我们我们做了什么以及我们来自哪里，这有助于我们进一步了解我们今天的工作，即使没有影子IT问题的组织也面临着将数据保存在孤岛和其他异构系统中的旧系统问题。没有人能够提供组织数据的整体视图，出现了黑洞，这些黑洞应该在应该存在的地方，但实际上不存在（即使它可能存在），黑洞会导致不良的分析，进而导致毁灭性的组织失误，换句话说在越来越多的分析数据主导的商业时代，这是一个严重的问题。
就像空间中的黑洞一样很难发现数据黑洞，直到为时已晚
如果您在企业中注意到这三个迹象中的任何一个，则可能已经存在数据黑洞，但为时不晚。
1：您不知道所有数据在哪里。问自己两个问题：组织中的谁在生成可用于分析的数据；他们将数据存储在哪里？如果您不知道任何一个问题的答案，那么您可能会有数据黑洞。
2：您不知道谁有权访问数据或如何保护数据：随意共享的数据终可能会遭到破坏。如果您不知道谁可以访问以及如何保护数据安全，就无法知道数据是否完整或正确。
3：您不知道如何保存数据并保护其免受灾难侵害：您的数据是保留在本地还是在云中？它是在异地备份的吗？如果不确定这两种方法中的任何一种，或者不确定所有数据是否都存储在一个位置，则可能存在黑洞。
如何消除数据黑洞
针对数据黑洞的解决方案很简单：将它们全部放在一个大数据湖中，由于数据湖是非结构化的，因此无需对数据进行分类，企业转置或其他任何更改，只需将其放入湖中，然后再担心该如何处理，重要的步是将所有数据集中在一个地方，而不管其格式如何，一旦将所有数据集中起来，就去寻找数据科学家是否有意义，许多公司直到开始一个重大的分析项目时才意识到自己有黑洞，在大型项目中发现这一点对于许多组织来说可能是一场灾难，在您决定进行业务分析项目之前，请从个地方开始找到您的黑洞，并将所有数据放在一个中央位置。
公司如何使用SQL解锁流数据
随着公司越来越多地尝试处理流数据，熟悉的SQL成为了焦点，在越来越多的企业转向机器学习（ML）和 人工智能（AI），以他们的业务提供动力，他们更依赖于流数据跟上，他们正在使用ML / AI的流数据，比2019年的6％的人高出5倍，至于用于管理该流处理的主要技术，有48％的人在生产中使用，总体而言这为流数据提供了巨大的机会，开发人员必须首先学习如何使用。
我并不是指设置和管理的潜在困难
而是指捕获和处理实时（或流）数据的固有困难，人们对卡夫卡很熟悉，但不知道如何查询它，大多数数据专业人员从小就开始使用SQL查询数据库中的静态数据，但现在必须学习查询流数据的新方法，本质上这是一条永无止境的SQL语句，将SQL流进行匹配是一个圣杯，或者说，让更多的不仅仅是开发商与工作流数据，使用连续的SQL不需要大量的Java知识，也不需要广泛的部署时间表，因此更广泛的团队可以检查和推理使用SQL进行数据流，这一切都是为了使实时流数据固有的潜力更易于访问，并在企业内部得到更广泛的使用。
在更传统的数据库世界中
捕获传入数据的状态非常简单，因为它可能位于数据库中，但是流数据不同，因此捕获状态更加困难，如今开发人员必须编写所有代码，以使数据从流中实现，从而消除流的所有功能，即便如此他们还是被迫这样做，因为没有某种方式存储应用程序可以使用它的数据，他们就无法查询流，连续SQL有望使整个企业对流数据的访问民主化，没有基础的数据，尽管SQL可能是流的自然添加，但要使SQL很好地兼容并不是一件容易的事，SQL与数据流平台的处理方式有所不同。
对于将SQL与RDBMS一起使用的任何人
都应该熟悉连续SQL，但是它确实有一些重要的区别，在关系数据库系统中对SQL进行解释和验证，创建执行计划，生成游标，将结果收集到该游标中，然后遍历数据的时间点，相反连续SQL查询将结果连续处理为某种类型的接收器，对照模式（元组集）解释和验证SQL语句。然后执行该语句–连续返回符合条件的结果，用SQL定义的作业看起来很像常规的流处理作业-区别在于它们是使用SQL创建的，而不是Java或Python之类的，发出的数据是连续的结果–有一个开始，但没有结束，无穷的元组流。
以告诉我们我们做了什么以及我们来自哪里，这有助于我们进一步了解我们今天的工作，即使没有影子IT问题的组织也面临着将数据保存在孤岛和其他异构系统中的旧系统问题。没有人能够提供组织数据的整体视图，出现了黑洞，这些黑洞应该在应该存在的地方，但实际上不存在（即使它可能存在），黑洞会导致不良的分析，进而导致毁灭性的组织失误，换句话说在越来越多的分析数据主导的商业时代，这是一个严重的问题。
就像空间中的黑洞一样很难发现数据黑洞，直到为时已晚
如果您在企业中注意到这三个迹象中的任何一个，则可能已经存在数据黑洞，但为时不晚。
1：您不知道所有数据在哪里。问自己两个问题：组织中的谁在生成可用于分析的数据；他们将数据存储在哪里？如果您不知道任何一个问题的答案，那么您可能会有数据黑洞。
2：您不知道谁有权访问数据或如何保护数据：随意共享的数据终可能会遭到破坏。如果您不知道谁可以访问以及如何保护数据安全，就无法知道数据是否完整或正确。
3：您不知道如何保存数据并保护其免受灾难侵害：您的数据是保留在本地还是在云中？它是在异地备份的吗？如果不确定这两种方法中的任何一种，或者不确定所有数据是否都存储在一个位置，则可能存在黑洞。
如何消除数据黑洞
针对数据黑洞的解决方案很简单：将它们全部放在一个大数据湖中，由于数据湖是非结构化的，因此无需对数据进行分类，企业转置或其他任何更改，只需将其放入湖中，然后再担心该如何处理，重要的步是将所有数据集中在一个地方，而不管其格式如何，一旦将所有数据集中起来，就去寻找数据科学家是否有意义，许多公司直到开始一个重大的分析项目时才意识到自己有黑洞，在大型项目中发现这一点对于许多组织来说可能是一场灾难，在您决定进行业务分析项目之前，请从个地方开始找到您的黑洞，并将所有数据放在一个中央位置。
公司如何使用SQL解锁流数据
随着公司越来越多地尝试处理流数据，熟悉的SQL成为了焦点，在越来越多的企业转向机器学习（ML）和 人工智能（AI），以他们的业务提供动力，他们更依赖于流数据跟上，他们正在使用ML / AI的流数据，比2019年的6％的人高出5倍，至于用于管理该流处理的主要技术，有48％的人在生产中使用，总体而言这为流数据提供了巨大的机会，开发人员必须首先学习如何使用。
我并不是指设置和管理的潜在困难
而是指捕获和处理实时（或流）数据的固有困难，人们对卡夫卡很熟悉，但不知道如何查询它，大多数数据专业人员从小就开始使用SQL查询数据库中的静态数据，但现在必须学习查询流数据的新方法，本质上这是一条永无止境的SQL语句，将SQL流进行匹配是一个圣杯，或者说，让更多的不仅仅是开发商与工作流数据，使用连续的SQL不需要大量的Java知识，也不需要广泛的部署时间表，因此更广泛的团队可以检查和推理使用SQL进行数据流，这一切都是为了使实时流数据固有的潜力更易于访问，并在企业内部得到更广泛的使用。
在更传统的数据库世界中
捕获传入数据的状态非常简单，因为它可能位于数据库中，但是流数据不同，因此捕获状态更加困难，如今开发人员必须编写所有代码，以使数据从流中实现，从而消除流的所有功能，即便如此他们还是被迫这样做，因为没有某种方式存储应用程序可以使用它的数据，他们就无法查询流，连续SQL有望使整个企业对流数据的访问民主化，没有基础的数据，尽管SQL可能是流的自然添加，但要使SQL很好地兼容并不是一件容易的事，SQL与数据流平台的处理方式有所不同。
对于将SQL与RDBMS一起使用的任何人
都应该熟悉连续SQL，但是它确实有一些重要的区别，在关系数据库系统中对SQL进行解释和验证，创建执行计划，生成游标，将结果收集到该游标中，然后遍历数据的时间点，相反连续SQL查询将结果连续处理为某种类型的接收器，对照模式（元组集）解释和验证SQL语句。然后执行该语句–连续返回符合条件的结果，用SQL定义的作业看起来很像常规的流处理作业-区别在于它们是使用SQL创建的，而不是Java或Python之类的，发出的数据是连续的结果–有一个开始，但没有结束，无穷的元组流。
改变数字资产数据的游戏规则，大概是针对能够将熟悉的工具（例如SQL）应用到诸如Kafka的较新技术的不断增长的企业。
京公网安备 11010502034401号
课程体系 
试听申请 
复听申请 
在线报名 
考试大纲 
考试报名 
准考证打印 
