在分析和机器学习项目中尤其如此

数据湖非常适合机器学习和流分析，是企业开发新产品并更好地为其客户提供服务的强大方式，但是由于数据团队能够轻松地在云中启动新项目，因此必须严密管理基础架构，以确保针对成本优化每种资源，并证明所花费的每一美元都是合理的，在当前的经济形势下，任何企业都不能容忍浪费。

但是企业并非无能为力

强大的财务治理实践使数据团队可以控制甚至降低其云成本，同时仍然可以进行创新。创建适当的防护栏以防止团队使用过多的资源，并确保工作负载与正确的实例类型匹配以优化节省，这对于减少浪费同时确保满足关键很有帮助。

以下是CPDA数据分析师可以用来管理云数据湖成本的七个实践

这些将有助于避免出现不可预知的账单，并在不确定的时期内控制支出，但仍然可以使您的公司进行创新并在另一方面变得更强大。

1、监视，监视，监视。成本管理从准确了解正在使用什么资源，何时以及由谁使用资源开始，并至少每天进行跟踪。在作业，集群和用户级别上密切跟踪使用情况，使您可以立即识别浪费或效率低下并进行必要的更改。您无法管理看不到的内容。

2、使用异构集群。群集中的节点可以具有不同的实例类型，具体取决于工作负载和不同实例的成本/可用性，应用工具（通常以DIY脚本的形式）来自动化使用，以便您在利用价值的基础架构的同时满足应用程序的弹性和可用性需求。

3、动进行自动缩放。集群在不使用时无需运行，并且在需要时自动扩展和关闭集群将节省可观的成本。在大流行期间，至少有一位客户在闲置15分钟后关闭集群，以大幅度降低成本。对于开发工作和概念验证工作而言，等待一小会儿重新启动集群应该不是问题。

4、测试不同的引擎。许多企业采用多个决策引擎，因为它们各自适合于不同的工作负载类型。在多个引擎上测试查询，以查看它们在哪里运行快。这不仅可以为终用户带来更高的性能，还可以使您的公司受益，因为更快的查询时间通常意味着您使用的资源更少。

5、使用基于计划的生命周期管理。自动创建和销毁系统以匹配使用模式。例如，如果集群通常在早上或高峰交易时段达到极限，请查看正在运行的作业，看看哪些可以在中分散。

6、调整未充分利用的基础架构的大小。推出新项目和应用程序时，容量要求并不总是很明确。基础架构已被过度配置，当现实需求变得清晰时，没有人会再去更改它。将基础结构的大小调整到适当的水平。这需要仔细的策略创建，因为容量必须仍然允许预期的使用高峰。

7、教育您的用户。如果数据团队了解更大的业务需求和可用选项，他们将尽自己的一份力量帮助降低成本。与他们讨论当前情况，以及为什么选择合适的基础结构对每个人都有利。我们的一位客户甚至与他们的团队一起使用彩色的乐高积木进行了练习，以说明如何在集群中使用不同的实例类型。帮助您的团队为您提供帮助。

云中的成本管理旨在优化利用率

同时提供财务护栏，使团队可以在自助服务环境中快速移动，同时防止意外成本。这些做法应在任何组织中持续采用，但在这种宏观经济环境中尤为重要。使用这些技巧，您将能够度过难关并拥有良好的财务状况。

  客服热线：400-050-6600

商业联合会数据分析专业委员会