数据是发现不断增长的新土壤

数据科学家利用机器学习和深度学习取得突破并推动积极成果的潜力是的，但是新机遇总是伴随着挑战，在本博客系列中，我将向您展示如何帮助解决数据科学中的常见挑战。首先，让我们开始关注如何获取干净的相关数据。

打破数据科学的80/20规则

80/20规则是您在进行数据科学项目时可能会听到一百次的事情之一，其中80％的数据科学工作都花在数据编译上，以正确的格式以及在需要的地方获取干净的相关数据实际分析只占20％，根据数据科学的80/20规则，每个工作周花四天时间收集数据，而运行算法模型只花时间。

但是，如果数据科学家已经拥有所需的数据怎么办？

摄取任何类型的数据让我们从这种想法开始，即使有经验的数据科学家也无法在没有访问数据的情况下为您提供过多帮助，此外他们必须获取所有数据，这意味着如果有20年的客户数据位于发布传感器数据的大型机或mqtt主题中，则他们必须能够收集数据以释放这些数据的价值和潜力信息系统，CPDA数据数据分析师一周至少要花费的时间收集数据，数据集成功能变得便捷的地方，拥有900多个连接器和组件，使您可以连接到数据库，业务和云应用程序，数据格式和元数据，协议和消息传递，云服务等。

推动数据质量

现在，数据科学家可以使用数据集成工具访问和收集所需的数据，由于许多组织的数据湖已变成垃圾场，他们将不得不面对数据质量挑战，数据科学家通常每周花费两到三天的时间清理和准备数据，数据科学家的时间很宝贵，通过Data Quality套件帮助他们发挥潜力，该套件包括Data Masking功能以及用于数据准备和数据管理的自助服务应用程序。通过协作并通过授权业务用户建立公司的基本面，使数据集成和数据质量成为团队合作的目标。

您将能够自动化，扩展和工业化数据集成

质量和匿名化流程，通过提供恒定质量的数据，使您的数据科学家的生活变得更加轻松，因为终拥有大量数据是好的，但还不够，因此对于数据科学而言，数据质量是构建高性能机器学习模型的关键。

使用...数据目录对数据进行分类

即使能够获得正确的数据，数据科学家也需要花费时间探索和理解数据，例如他们可能乍一看可能不知道表中的字段集是指什么，或者数据的格式可能不容易理解或分析。通常几乎没有元数据可以提供帮助，他们可能需要从数据所有者那里寻求建议以弄清它。

我们的目标是在数字时代大规模交付可信赖的数据

我们通过授权组织创建受信任数据的单一来源来做到这一点，数据目录通过以下方式实现此目标：

首先，抓取您的数据格局，并使用机器学习和智能语义自动发现您的所有数据

其次，它可以协调数据治理，因此数据管理成为一项团队运动，您可以在其中进行协作以提高数据的可访问性，准确性，保护性和业务相关性

第三，数据使用者可以更快地找到，理解，使用和共享可信数据。数据目录使搜索数据和直观呈现数据关系变得容易，然后在与对等共享之前验证其有效性。

集成的数据治理使数据科学家有信心，他们可以使用给定的数据集，并且他们产生的模型和结果可以由组织中的其他人负责任地使用。