var _hmt = _hmt || []; (function() {   var hm = document.createElement("script");   hm.src = "https://hm.baidu.com/hm.js?8c9c5a8618dc4aea3be27b32962e5871";   var s = document.getElementsByTagName("script")[0];    s.parentNode.insertBefore(hm, s); })();
400 050 6600
数据分析师

手机号

验证码

30天自动登录

数据科学中应避免的5大偏见

来源:CPDA数据分析师网 / 作者:数据君 / 时间:2020-12-29

选择或样本偏差这很容易陷入
当所选数据不能代表模型将要看到的情况时,就会发生这种情况,一个非常常见的例子是面部识别训练,该训练主要在皮肤白皙的人的图像上进行,从而导致无法准确识别肤色较深的人的算法。

确认偏差
在这里您可以抛弃与您的先入为主概念不符的信息,并且随着人们的潜意识而消失,您必须努力工作,以开放的态度接受新数据。

生存偏见
您可以选择数据点,因为它们是成功的。寻找有关使产品成功的数据?不要仅仅选择成功的产品,您还需要失败者和中间绩效者的数据。

可用性偏差
您可以使用易于获取的数据,您需要查看合理地可能有助于您的分析的所有数据点,而不仅仅是周围的东西。昨晚墨西哥餐厅的菜单对于营养研究而言并不是一个很好的数据集。一个相关的偏见是锚定,在这里我们更加重视仅因为它是位而获得的位数据。

错误的因果关系
一个很好的例子是,大批消防员与财产损失较高相关,显然这些消防员正在造成财产损失,或者更多的破坏性火灾需要更多的消防员吗?避免聚类错觉是一种类似的方法-有时是随机事物聚类。

这些来自更多的地方,我知道您可能听说过所有这些,只要确保您不让自己对他们失望,请记住数据科学中的薄弱环节通常是我们的大脑,如果您知道大脑的工作原理并纠正其怪癖,则可以改善整个系统的工作方式。

为什么将大数据运用于日常任务很重要
大数据分析不仅可以为决策者提供报告,还可以做更多的事情,它也可以帮助公司的日常工作,大数据分析对于企业而言不再是一件好事:它现在对任务至关重要,在短短几年内,大数据已经从分散的实验项目发展成为数字企业的关键任务状态,其重要性正在不断提高,根据IDC的数据,到2020年,组织能够分析所有相关数据数据和提供可操作的信息将比不那么注重分析的同行赚取4,300亿元,大数据分析一旦偶尔执行,现在在许多企业中每天都在执行。

预测性和规范性模型的应用和维护
客户和供应商都将重点放在将数据科学从原型环境转移到生产状态和持续改进的重要性上,换句话说,要操作大数据,您必须将其从测试沙箱中移出,并在业务中扮演积极角色,迄今为止,业务中大数据活跃的角色是决策支持。 

1、来自基于Web的数据的消费者购买模式通知零售商有关哪些产品运行快,谁在购买以及在哪里购买。
2、通过机器学习增强的诊断分析系统可以向医生告知某些情况下可能的诊断和治疗方法。
3、沿电车轨道和关键设备放置的传感器会通知城市,其有轨电车系统中的哪些区域需要立即或近期维修,因此系统不会发生故障。

所有这些示例都说明了大数据分析部署的层,因为它们使用非结构化大数据,并且其作用是向可以采取行动的管理人员提供静态报告。

在日常工作流程中使用分析
但是当您全面实施分析时,还有一个第二阶段的积极参与阶段,即公司将大数据分析直接嵌入到其日常运营流程中,在这些情况下,分析将继续为决策提供信息,但它们也会根据从数据中收集的情报来自动化公司工作流程中的某些任务,运营中系统自动化的一个很好的例子是银行贷款的决策,多年以来,软件程序评估了贷款申请人的信用度,并确定了“贷款”或“不贷款”的决定以及贷款利率,其中考虑了贷款申请人的信用状况,贷款额度以及贷款额度风险,借贷主管仍拥有终决定权,但实质上借贷软件已做出决定,我们可以将此模型扩展到维护城市电车系统的领域。

物联网(IoT)传感器连接到关键的轨道和设备

传感器可以在发生故障之前检测到这些物理组件中的故障迹象,收集数据并为主管生成报告,然后由主管组织预防性维护任务和路线,如果这些分析可以进一步实施呢?例如,一个分析系统从分散在整个城市交通系统中的物联网传感器实时采集大数据,该系统分析这些数据并为主管生成维护报告,但它还与工作订单计划系统对接,该系统按位置组织维护工作并按顺序排列工作人员,这些工单可以直接发送给维护人员,或者组织可以选择进行人工监督,然后在发布前授权工单,通过将大数据分析集成到不仅仅是报告(即第二层操作)的日常任务负荷中,组织可以从其分析和大数据投资中获得更大的回报。



Prev article

新医疗保健API更好地实现了数据互操作性

Next article

机器学习管道和商业智能仪表板在当今的数据世界中引起了极大的关注

数据分析师

报名咨询

数据分析师

报名缴费

数据分析师

客服中心

数据分析师

课程服务

数据分析师

认证服务