使用低代码平台创建大数据应用程序的6个步骤
来源:CPDA数据分析师网 / 作者:数据君 / 时间:2021-01-04
低代码开发工具在公司中越来越受欢迎
因为用户将它们视为解决IT僵局的方法,从而阻止了他们完成工作,低代码有其局限性,例如低代码旨在与固定记录长度的事务数据一起使用,在处理非结构化大数据时,这会使低代码成为入门者,或者是吗?如果有足够的业务价值来保证开发简化方法,则可以使用低代码处理大数据,这是它如何工作的,由于低代码开发必须使用固定记录,其中包含明确界定的数据字段,因此主要任务是将非结构化大数据格式化为固定记录。
定义您的业务需求
IT和业务用户应确定该应用程序要解决的特定业务问题或用途,以及所需的大数据类型。在这一步中,企业用户,IT和数据科学(如果有一个独立的DS部门)也应确定将大数据不被应用程序所需要的,因为你不希望比任何更多的大数据带来必要的,因为它会产生不必要的开销并拖延处理。
使用AI清除不必要的数据
这是数据科学家的一项任务,他们将被要求开发一种人工智能(AI)算法形式的数据过滤器,该过滤器将消除将数据转发到低码应用程序之前不需要的任何大数据,例如如果您正在使用中西部的大数据天气预报,但又不需要知道天气,则算法过滤器可以排除与中西部无关的所有数据,这样可以减小大数据文件的大小。
开发任何必要的API
低代码工具带有针对主要软件包的预定义API(应用程序编程接口),但是它们没有针对每个系统的API,在此步骤中,IT分析低代码应用程序需要访问哪些系统,并确定是否缺少任何API,如果API不存在,则可能需要编写一个API。
将非结构化数据转换为固定记录
在此步骤中,IT从应用程序所需的非结构化大数据中选择数据,将非结构化数据解析为数据字段块,然后将数据格式化为固定记录内的固定字段。
使用ETL工具规范化大数据并将其移至其他系统
已格式化为固定记录的大数据必须能够与其他需要访问的系统中的数据记录相匹配,根据IT在其中定义的业务规则,提取-转换-加载(ETL)工具可以自动执行此步骤。
测试和完善
因为用户将它们视为解决IT僵局的方法,从而阻止了他们完成工作,低代码有其局限性,例如低代码旨在与固定记录长度的事务数据一起使用,在处理非结构化大数据时,这会使低代码成为入门者,或者是吗?如果有足够的业务价值来保证开发简化方法,则可以使用低代码处理大数据,这是它如何工作的,由于低代码开发必须使用固定记录,其中包含明确界定的数据字段,因此主要任务是将非结构化大数据格式化为固定记录。
定义您的业务需求
IT和业务用户应确定该应用程序要解决的特定业务问题或用途,以及所需的大数据类型。在这一步中,企业用户,IT和数据科学(如果有一个独立的DS部门)也应确定将大数据不被应用程序所需要的,因为你不希望比任何更多的大数据带来必要的,因为它会产生不必要的开销并拖延处理。
使用AI清除不必要的数据
这是数据科学家的一项任务,他们将被要求开发一种人工智能(AI)算法形式的数据过滤器,该过滤器将消除将数据转发到低码应用程序之前不需要的任何大数据,例如如果您正在使用中西部的大数据天气预报,但又不需要知道天气,则算法过滤器可以排除与中西部无关的所有数据,这样可以减小大数据文件的大小。
开发任何必要的API
低代码工具带有针对主要软件包的预定义API(应用程序编程接口),但是它们没有针对每个系统的API,在此步骤中,IT分析低代码应用程序需要访问哪些系统,并确定是否缺少任何API,如果API不存在,则可能需要编写一个API。
将非结构化数据转换为固定记录
在此步骤中,IT从应用程序所需的非结构化大数据中选择数据,将非结构化数据解析为数据字段块,然后将数据格式化为固定记录内的固定字段。
使用ETL工具规范化大数据并将其移至其他系统
已格式化为固定记录的大数据必须能够与其他需要访问的系统中的数据记录相匹配,根据IT在其中定义的业务规则,提取-转换-加载(ETL)工具可以自动执行此步骤。
测试和完善
一步是执行低代码应用程序,以查看它是否可以拾取正确的数据,正确处理并返回业务期望的结果,转换大数据以使用低代码应用程序运行是耗时的,但如果可以从转换后的大数据中开发出足够的低代码应用程序以进行持续重用,则值得这样做,这可以为企业带来高业务价值,商业价值是关键,因为重要的始终是数据转换工作是否值得。