var _hmt = _hmt || []; (function() {   var hm = document.createElement("script");   hm.src = "https://hm.baidu.com/hm.js?8c9c5a8618dc4aea3be27b32962e5871";   var s = document.getElementsByTagName("script")[0];    s.parentNode.insertBefore(hm, s); })();
400 050 6600
数据分析师

手机号

验证码

30天自动登录

需要功能正常的AI模型吗当心有偏见的数据

来源:CPDA数据分析师网 / 作者:数据君 / 时间:2020-05-07

道德的数据过程是创建和提供人工智能算法有效培训的重要组成部分

AI模型的性能与模型给出的数据质量紧密相关。当使用有缺陷或有偏差的数据构建模型时,该模型不仅会复制这些缺陷,还会放大它们。通过编程计算,训练数据集中的微小误差将成倍增大。通过自动化系统地放大了细微的文化偏见,希望提供公正产品的数据科学家必须确保其数据集准确和客观,但这说起来容易做起来难。多年来,算法偏差一直是AI中受关注的问题之一,但它仍然是该领域中持久的挑战之一。尽管对偏差检测和缓解策略进行了多年的研究,但即使是复杂的组织也仍然很容易在AI应用程序中因偏差而陷入困境。

 

数据分析师算法偏差的后果

2019年数据分析师研究人员发现,一家大型学术医院用于将特重病患者分配到额外护理程序中的算法正在系统地区分黑人患者。该算法通过使用历史数据来估计新患者的未来医疗保健费用,从而在此基础上将患者分配给该程序,前提是假定更大的费用与更严重的疾病相关。但是,后来发现,历史数据集中的许多黑人患者的医疗保健费用相对较低,这并不是因为他们病得较轻,而是因为他们缺乏寻求适当治疗的资源。这导致接受额外护理计划的黑人患者减少了50%,许多被排除的患者的病情与接受白人治疗的白人患者几乎完全相同。

 

偏向 偏见。

终算法和数据偏向仍然是数据科学家面临的持久挑战,原因与使系统偏向成为人类持久挑战的原因相同。人类因偏见而固执己见。我们的认知偏见渗透到社会的方方面面,包括医疗保健、财务评估、聘用做法、刑事司法等,因此这种偏见也会渗入我们社会产生的数据中也就不足为奇了。这些数据只是从一开始就描述了一个带有偏见的世界,正如社会偏见导致数据偏见一样,数据偏见也导致算法偏见。随着AI接管更多的决策过程,算法偏差可能会加剧我们的隐性社会偏差-一个恶性循环,没有一种解决方案可以使我们从算法以及用于训练它们的数据集中识别并消除所有偏差。相反,数据科学家必须采取积极主动的方法来理解偏差,在系统中对其进行评估,并努力将其在系统输出中的表现小化。

 

人与机器如何互相帮助数据科学家应采取三项关键措施来减轻工作中的偏见:

学习提出正确的问题, 对数据集中的认知偏见有更深入的了解,并研究在社会科学中开发的用于识别,询问和删除有偏见的数据的方法。除了对偏见的一般理解之外,领域专业知识也至关重要。例如,将AI应用于医疗保健的数据科学家应与医疗保健专业人员密切合作,以了解该领域的偏见如何显现,始终测试是否存在偏见。使用偏差作为评估两种原始数据算法的关键指标。所有算法培训和测试都应包括一个审查过程,使开发人员有机会积极地测试数据集和偏差算法,并且开发人员必须建立适当的标准来测量偏差。

 

探索算法解决方案继续开发和完善旨在评估数据偏差的算法

在这方面已经取得了很大的进展,并且随着时间的流逝,这些算法可以帮助识别我们内心深处根深蒂固的偏见,以至于我们自己可能从未发现过,目前人工智能本身还不足以解决偏见问题。它需要来自人类专家的培训,以及来自周到的数据科学家的认真指导,以实现公正,公平的结果。

 


Prev article

AI和数据分析公司引入了一键式数据丰富功能使业务数据更有价值

Next article

保护大数据以及对以数据为中心的安全性的需求

数据分析师

报名咨询

数据分析师

报名缴费

数据分析师

客服中心

数据分析师

课程服务

数据分析师

认证服务