什么都不做让你的数据更快
来源:CPDA数据分析师网 / 作者:数据君 / 时间:2021-06-24
让您的数据更快
如果您紧迫的要求是简单地加快速度,因为处理数据的人对现有系统的性能感到沮丧,那么有一种简单的方法可以做到这一点,通过在您的架构中添加一个快速数据库作为一个薄加速层,您可以确保所有数据加载,转换和处理步骤的性能,这一直延伸到终用户访问交互式仪表板和报告,这意味着您无需更换或移除架构的组件。您可以简单地添加一个分析数据库来加快速度,这不仅是解决性能问题的一种快速简便的方法,还意味着现有的业务流程既不会受到影响,也不会发生变化。
你是如何开始的?
我建议从一个现在特别缓慢和痛苦的过程开始,您的数据工程师是否在为运行所需的时间而苦恼 ETL 流程或您的分析师必须等待他们的 分析 工具来处理他们的查询、确定您面临的挑战、它们对业务的影响以及您可以通过更好的解决方案实现的预期收益,一旦您清楚了性能痛点,就可以运行测试来证明新解决方案的价值,您需要有空间来试验不同的参数,例如使用的数据量、并发用户数等,并展示可以实现的性能改进,您可以自己运行这样的价值证明阶段,也可以寻求帮助以评估正确的方法和流程。
你能期待什么?
设置好测试环境后,就可以真正将其投入使用了,运行您现有的业务流程并使系统以您期望的方式工作,记录结果并将它们与“当前状态”进行比较,即您之前确定的那些痛点。然后让系统更加努力地工作,这样您就可以评估它如何应对分析部门和终用户的未来需求。这让您确信该解决方案不仅现在有效,而且还可以满足您未来的需求,销售工程团队可以为您的分析架构路线图提供建议,以及它如何随着您的需求而增长。
入门和测试如何加速和提高各种分析流程和应用程序的性能是直接的
如果您紧迫的要求是简单地加快速度,因为处理数据的人对现有系统的性能感到沮丧,那么有一种简单的方法可以做到这一点,通过在您的架构中添加一个快速数据库作为一个薄加速层,您可以确保所有数据加载,转换和处理步骤的性能,这一直延伸到终用户访问交互式仪表板和报告,这意味着您无需更换或移除架构的组件。您可以简单地添加一个分析数据库来加快速度,这不仅是解决性能问题的一种快速简便的方法,还意味着现有的业务流程既不会受到影响,也不会发生变化。
你是如何开始的?
我建议从一个现在特别缓慢和痛苦的过程开始,您的数据工程师是否在为运行所需的时间而苦恼 ETL 流程或您的分析师必须等待他们的 分析 工具来处理他们的查询、确定您面临的挑战、它们对业务的影响以及您可以通过更好的解决方案实现的预期收益,一旦您清楚了性能痛点,就可以运行测试来证明新解决方案的价值,您需要有空间来试验不同的参数,例如使用的数据量、并发用户数等,并展示可以实现的性能改进,您可以自己运行这样的价值证明阶段,也可以寻求帮助以评估正确的方法和流程。
你能期待什么?
设置好测试环境后,就可以真正将其投入使用了,运行您现有的业务流程并使系统以您期望的方式工作,记录结果并将它们与“当前状态”进行比较,即您之前确定的那些痛点。然后让系统更加努力地工作,这样您就可以评估它如何应对分析部门和终用户的未来需求。这让您确信该解决方案不仅现在有效,而且还可以满足您未来的需求,销售工程团队可以为您的分析架构路线图提供建议,以及它如何随着您的需求而增长。
入门和测试如何加速和提高各种分析流程和应用程序的性能是直接的
并且可以在无数情况下完成,归根结底只是为了让事情变得更快,一个简单的加速层通常可以满足您的要求,如果您需要的不仅仅是性能,并且想要解决有关高级数据治理、安全性和多租户部署的问题,请考虑采用更加结构化和长期的方法来寻找正确的解决方案。