自动化机器学习和预测分析的建议
来源:CPDA数据分析师网 / 作者:数据君 / 时间:2021-04-06
公司如何应对数据科学资源短缺的问题,以充分利用AI和预测分析?
以了解有关在机器学习中添加自动化的知识,好处:采用机器学习当前面临的挑战是什么?如今机器学习和预测分析的使用越来越广泛,并且对该技术的投资也在增加,公司发现很难将收益扩展到整个企业在许多公司中,负责机器学习的部门(通常是数据科学团队)现在已成为实施这些解决方案的过程中的瓶颈,数据科学团队通常规模很小,根据数据的复杂性,研究,测试和部署机器学习的过程可能需要几天甚至几个月的时间,这导致一长串积压的项目,其中特定项目具有优先级,而其他项目则被推迟或从未实施,对于通常没有足够资源来投资需求量大的数据科学家的中小型企业来说,这一挑战就显得尤为重要。
ML现在尝试自动执行ML工作流中的特定任务
以减轻数据科学家的负担,但这存在局限性,当今许多可用的解决方案仍然需要数据科学家在此过程中发挥重要作用,尽管许多目标是使培训和测试自动化,但这并未涉及很多过程,包括关键的部署阶段。
公司应如何实现自动化机器学习?
有两种方法可以使组织内部的机器学习自动化,首先是为数据科学家自动化更多的过程,从而为他们腾出空间以更快地解决更多问题,这增加了容量,并且至少暂时解决了我之前提到的瓶颈,这种方法对没有数据科学团队的人没有帮助,主要是创可贴解决方案,第二种方法,也是我认为将产生更有意义影响的一种方法,是使现有员工具备解决大多数机器学习问题的能力,这样一来就不必在团队之间来回走动,因为终试图解决问题的团队才是了解问题的团队,这对于没有数据科学团队的公司来说非常有用。对于那些已经拥有数据科学团队的公司来说,这种方法也有一个额外的好处。这样可以腾出时间和资源来解决更复杂和更具挑战性的问题,终ML可以解决企业面临的许多问题,但不是全部,在许多情况下,数据科学家仍然是必不可少的。
这种方法要求我们对机器学习的方法进行根本性的转变
与其将其视为应用程序层中的元素,不如将其视为数据层问题变得很有用。这带来了一些令人兴奋的机会,当您将ML仅仅视为数据的其他表示形式时,它使在数据层上运行模型和预测变得更加容易,AI表-作为数据库内本机数据表的自动化ML模型-使用户仅通过运行数据查询即可执行模型,这种方法没有使用ML来简化数据科学家的任务,而是将ML交给了数据的终用户。
公司如何教育终用户进行预测分析?
以了解有关在机器学习中添加自动化的知识,好处:采用机器学习当前面临的挑战是什么?如今机器学习和预测分析的使用越来越广泛,并且对该技术的投资也在增加,公司发现很难将收益扩展到整个企业在许多公司中,负责机器学习的部门(通常是数据科学团队)现在已成为实施这些解决方案的过程中的瓶颈,数据科学团队通常规模很小,根据数据的复杂性,研究,测试和部署机器学习的过程可能需要几天甚至几个月的时间,这导致一长串积压的项目,其中特定项目具有优先级,而其他项目则被推迟或从未实施,对于通常没有足够资源来投资需求量大的数据科学家的中小型企业来说,这一挑战就显得尤为重要。
ML现在尝试自动执行ML工作流中的特定任务
以减轻数据科学家的负担,但这存在局限性,当今许多可用的解决方案仍然需要数据科学家在此过程中发挥重要作用,尽管许多目标是使培训和测试自动化,但这并未涉及很多过程,包括关键的部署阶段。
公司应如何实现自动化机器学习?
有两种方法可以使组织内部的机器学习自动化,首先是为数据科学家自动化更多的过程,从而为他们腾出空间以更快地解决更多问题,这增加了容量,并且至少暂时解决了我之前提到的瓶颈,这种方法对没有数据科学团队的人没有帮助,主要是创可贴解决方案,第二种方法,也是我认为将产生更有意义影响的一种方法,是使现有员工具备解决大多数机器学习问题的能力,这样一来就不必在团队之间来回走动,因为终试图解决问题的团队才是了解问题的团队,这对于没有数据科学团队的公司来说非常有用。对于那些已经拥有数据科学团队的公司来说,这种方法也有一个额外的好处。这样可以腾出时间和资源来解决更复杂和更具挑战性的问题,终ML可以解决企业面临的许多问题,但不是全部,在许多情况下,数据科学家仍然是必不可少的。
这种方法要求我们对机器学习的方法进行根本性的转变
与其将其视为应用程序层中的元素,不如将其视为数据层问题变得很有用。这带来了一些令人兴奋的机会,当您将ML仅仅视为数据的其他表示形式时,它使在数据层上运行模型和预测变得更加容易,AI表-作为数据库内本机数据表的自动化ML模型-使用户仅通过运行数据查询即可执行模型,这种方法没有使用ML来简化数据科学家的任务,而是将ML交给了数据的终用户。
公司如何教育终用户进行预测分析?
这是机器学习民主化的关键组成部分,但与提高企业员工技能的任何其他方法相比,都不必区别对待,这些用户仍然需要基础教育才能使用这些工具,基本技能包括运行查询,分析数据以及了解如何使用ML数据来支持人类决策过程,既然机器学习非常简单,普通数据库用户就可以利用,那么这些用户现在必须了解他们生成的模型的潜在优势和劣势,教导终用户如何使用可解释的AI确定模型对模型的信任和信心程度比操作教育更为重要。值得庆幸的是,更多的AutoML解决方案将可解释性作为标准功能包括在内,有了这些信息和生成的预测,用户就可以在组织内进行有影响力的更改时变得更加强大。