COVID-19大流行如何加速对模型监控的需求?
来源：CPDA数据分析师网 / 作者：数据君 / 时间：2021-03-09
一旦投入生产如果生产数据与用于训练的数据不同，则模型的行为可能会发生变化
换句话说，模型的行为取决于训练过程中的世界情况，当实际数据与模型“学习”的图像背离时（一种称为漂移的现象），模型的性能会很差，甚至在坏的情况下也会完全失效。
模型漂移具有现实世界的后果
如果不及时观察，发现和修复模型，模型漂移可能对所有相关人员造成严重后果，考虑到由于不正确的需求预测（例如卫生纸）导致严重的供应短缺，由于COVID-19之前的数据提供了新的批准决定而导致客户不公正地拒绝了贷款，并且运输错误导致阿拉斯加乡村医院的设备过剩，COVID-19患者数量激增的医院面临着空的供应壁橱，这些情况不是假设的，它们是已经发生的模型漂移的真实示例，并且如果公司不使用有效且全面的模型监视解决方案来解决问题，这些漂移将持续下去。
模型监控在2021年至关重要
随着大流行继续影响企业，模型监视是使用AI / ML模型的公司必须解决的关键领域之一，总体而言，这需要转变对数据科学治理的思考，如我们所讨论的那样，与传统软件中工程师在代码中指定显式逻辑不同，AI / ML模型从数据中学习，尽管IT企业非常擅长于监视传统软件应用程序的运行状况和性能，但它们通常不足以监视其AI / ML模型的“运行状况”，或者完全不了解与模型漂移相关的风险，主要盲点之一是缺乏理解，因为数据科学模型具有概率性，而传统软件具有确定性，因此对其进行监视也完全不同。
通常数据科学负责人承担着监控负担
因为终他们的团队应对模型所做的预测质量负责。然后，数据科学家花费大量时间来分析生产中的模型，而不是进行新的研究，或者为了减少手动工作，为每种模型开发临时监视解决方案，这导致了分散，不一致和半成品的泛滥。烘焙监控解决方案，监控解决方案的这种“狂野西部”已经变得难以为继，相反公司应着眼于模型监控的可操作性，以确保其模型正常运行，并且基于这些模型做出的决策是正确的。
对模型监控有不同的看法
考虑监视机器学习模型的一种好方法是采用与考虑年度体检或开车定期换油和调校的方式相同的方法进行处理，这两个示例均有助于确保您自己或您的汽车的健康，模型监视有助于确保您的AI / ML模型健康并尽其所能，全面的模型监视方法还可以在模型降级或引起严重的业务问题之前检测出问题，它可以跟踪输入数据和输出预测中的漂移，并且可以通过找到“地面真相”（输入数据的准确性）来跟踪预测质量，例如您需要先了解多少违约贷款，然后才能将其与预测的违约率进行比较，没有这些模型质量检查，就无法相信您的预测的准确性。
运行模型监控还具有其他一些好处
有了它数据科学家可以专注于增值项目和新研究，而不必浪费时间分析生产中的现有模型，他们可以快速评估是否需要重新训练或重建模型，并通过交互运行不同的测试来分析故障情况，通过提供“单个窗格”来监视整个组织中所有模型的性能，可以防止导致模型失效的漂移。
模型监视是一项至关重要的操作任务，有助于确保模型发挥出的性能
换句话说，模型的行为取决于训练过程中的世界情况，当实际数据与模型“学习”的图像背离时（一种称为漂移的现象），模型的性能会很差，甚至在坏的情况下也会完全失效。
模型漂移具有现实世界的后果
如果不及时观察，发现和修复模型，模型漂移可能对所有相关人员造成严重后果，考虑到由于不正确的需求预测（例如卫生纸）导致严重的供应短缺，由于COVID-19之前的数据提供了新的批准决定而导致客户不公正地拒绝了贷款，并且运输错误导致阿拉斯加乡村医院的设备过剩，COVID-19患者数量激增的医院面临着空的供应壁橱，这些情况不是假设的，它们是已经发生的模型漂移的真实示例，并且如果公司不使用有效且全面的模型监视解决方案来解决问题，这些漂移将持续下去。
模型监控在2021年至关重要
随着大流行继续影响企业，模型监视是使用AI / ML模型的公司必须解决的关键领域之一，总体而言，这需要转变对数据科学治理的思考，如我们所讨论的那样，与传统软件中工程师在代码中指定显式逻辑不同，AI / ML模型从数据中学习，尽管IT企业非常擅长于监视传统软件应用程序的运行状况和性能，但它们通常不足以监视其AI / ML模型的“运行状况”，或者完全不了解与模型漂移相关的风险，主要盲点之一是缺乏理解，因为数据科学模型具有概率性，而传统软件具有确定性，因此对其进行监视也完全不同。
通常数据科学负责人承担着监控负担
因为终他们的团队应对模型所做的预测质量负责。然后，数据科学家花费大量时间来分析生产中的模型，而不是进行新的研究，或者为了减少手动工作，为每种模型开发临时监视解决方案，这导致了分散，不一致和半成品的泛滥。烘焙监控解决方案，监控解决方案的这种“狂野西部”已经变得难以为继，相反公司应着眼于模型监控的可操作性，以确保其模型正常运行，并且基于这些模型做出的决策是正确的。
对模型监控有不同的看法
考虑监视机器学习模型的一种好方法是采用与考虑年度体检或开车定期换油和调校的方式相同的方法进行处理，这两个示例均有助于确保您自己或您的汽车的健康，模型监视有助于确保您的AI / ML模型健康并尽其所能，全面的模型监视方法还可以在模型降级或引起严重的业务问题之前检测出问题，它可以跟踪输入数据和输出预测中的漂移，并且可以通过找到“地面真相”（输入数据的准确性）来跟踪预测质量，例如您需要先了解多少违约贷款，然后才能将其与预测的违约率进行比较，没有这些模型质量检查，就无法相信您的预测的准确性。
运行模型监控还具有其他一些好处
有了它数据科学家可以专注于增值项目和新研究，而不必浪费时间分析生产中的现有模型，他们可以快速评估是否需要重新训练或重建模型，并通过交互运行不同的测试来分析故障情况，通过提供“单个窗格”来监视整个组织中所有模型的性能，可以防止导致模型失效的漂移。
模型监视是一项至关重要的操作任务，有助于确保模型发挥出的性能
它使您可以放心地知道，基于其进行战略决策的模型是健康的，从而避免了对业务的负面影响并保护了客户的忠诚度和满意度，随着您的公司将更多的机器学习系统投入生产，您需要更新模型监控实践，以始终如一，高效的方式对模型健康和业务成功保持警惕。
商业联合会数据分析专业委员会
京公网安备 11010502034401号
课程体系 
试听申请 
复听申请 
在线报名 
考试大纲 
考试报名 
准考证打印 
