为了使用高级分析见解,我们必须识别和控制偏差
来源:CPDA数据分析师网 / 作者:数据君 / 时间:2020-11-30
非同寻常的主张需要非同寻常的证据
数据科学家并不总是提供分析结果或创建用于解释分析的可视化工具的人,如果企业要有效利用数据科学见解,那么他们将不得不促进一种新型的统计计算能力,业务分析师和管理人员(包括C级人员在内)都必须精通统计和概率的概念和含义,在这种情况发生之前-或发生这种情况之前-传达分析结果的数据科学家,统计学家,分析师和讲故事的人必须使他们的演示文稿适应简单的理解。
很多时候进行可视化的[分析员]并不是展示或使用它的人,也不是首先生成数据的人
这位分析师的工作非常艰巨,因为他们必须准备可视化文件但无法控制在交付过程中,如果与您交谈的人,或者您向他们介绍的[发现]非常出色,那么您将需要达到其他听众可能不需要的审查水平,在某些情况下,我们只有在模型中出现偏差后才能发现偏差,在坏的情况下,我们的模型会传播我们甚至不知道并且不一定能够检测到的偏差。
如果您使用机器学习系统自动筛选求职者
则您的预测模型可能会传播历史偏见,从社会角度来看,我们希望获得某些结果,但是如果该模型[基于]发生的事情进行预测在过去,它受过去选择标准的限制,像我这样的人对我们的工作充满热情,这非常令人兴奋,但是我们热情地建立这些模型的所有人都需要树立一种道德责任感关于如何以及何时使用它们,我们必须认识到,预测模型体现了创建它们的人的公认和未公认的偏见。
不确定的方法错误到许多其他问题,高级分析很难做好
我们需要掌握和协作的是更好的选择,可以以正确的方式进行这些操作-从性能角度,从社会角度,从隐私角度。
人工智能,深度学习和金融服务
金融服务可以从人工智能和机器学习带来的众多竞争用例中受益,但采用速度一直很慢,股票市场中的分析:中所讨论的那样,金融服务行业似乎特别适合人工智能(AI)和机器学习的发展,毕竟金融服务是基于对风险的理解并平衡各种数字因素以及预测趋势,但是,在这个行业中,机器学习和AI的采用相对较慢,主要原因是需要保持保守的观点,并适应基于遗留信息技术的各种流程和系统,尽管如此,我们很快就会看到一些变化,一个明显的迹象:新兴企业开始提供专门基于新兴技术的金融服务。
人工智能的财务用例
有49%的受访者期望其组织在未来三年内将AI用于风险评估,此外预计有29%的人将AI用于客户理解和反洗钱解决方案中,还有26%的人将AI用于风险,法规和合规性活动中,这些活动大多数是核心业务的外围活动,但是它们提供了技术经验并支持已建立的AI用例,金融行业对AI应用程序的采用部分地受到可用数据量的驱动,存储可用性的提高和要求更长的记录保留的要求近导致存储的财务数据大量增加,现在深度学习和其他AI工具可以轻松地使用这些数据,这些工具可以从庞大的数据池中得出模式。
对于公司财务部门而言,人工智能和机器学习的增长可能会发生更多变化
特定的应用程序可能取决于公司内可用的技能或在其他领域采取的措施,营销通常是主要驱动力,但规避企业风险也很重要,深度学习将应用于该领域的哪些活动?我们已经看到它已用于欺诈检测,合规性,多变量交易数据的关联和链接,分析从在线活动中捕获的行为数据,国际贸易流分析,公司互连分析,投资组合管理和虚拟顾问的创建,抵押风险分析,证券和外汇的算法交易以及贷款和保险承销。
尽管其中许多活动目前仅限于岛屿和小生境的初创企业
但对可能带来的好处的日益接受将导致其继续扩张,通过算法(尤其是通过“黑匣子”机器学习)进行算法进行财务决策的问题之一是透明度和信任度之间的差距,机器学习解决方案的用户需要能够信任其输出,因为他们不了解评估本身,但是在信任新算法之前,企业必须彻底审查它,凭借众多监管财务数据的法规,此类流程有可能无意间违反道德规范-例如,根据种族或性别对个人进行剖析。
如果数据源选择不当,集成不正确或可以由第三方操纵,则另一个问题可能包括错误的传入数据
数据科学家并不总是提供分析结果或创建用于解释分析的可视化工具的人,如果企业要有效利用数据科学见解,那么他们将不得不促进一种新型的统计计算能力,业务分析师和管理人员(包括C级人员在内)都必须精通统计和概率的概念和含义,在这种情况发生之前-或发生这种情况之前-传达分析结果的数据科学家,统计学家,分析师和讲故事的人必须使他们的演示文稿适应简单的理解。
很多时候进行可视化的[分析员]并不是展示或使用它的人,也不是首先生成数据的人
这位分析师的工作非常艰巨,因为他们必须准备可视化文件但无法控制在交付过程中,如果与您交谈的人,或者您向他们介绍的[发现]非常出色,那么您将需要达到其他听众可能不需要的审查水平,在某些情况下,我们只有在模型中出现偏差后才能发现偏差,在坏的情况下,我们的模型会传播我们甚至不知道并且不一定能够检测到的偏差。
如果您使用机器学习系统自动筛选求职者
则您的预测模型可能会传播历史偏见,从社会角度来看,我们希望获得某些结果,但是如果该模型[基于]发生的事情进行预测在过去,它受过去选择标准的限制,像我这样的人对我们的工作充满热情,这非常令人兴奋,但是我们热情地建立这些模型的所有人都需要树立一种道德责任感关于如何以及何时使用它们,我们必须认识到,预测模型体现了创建它们的人的公认和未公认的偏见。
不确定的方法错误到许多其他问题,高级分析很难做好
我们需要掌握和协作的是更好的选择,可以以正确的方式进行这些操作-从性能角度,从社会角度,从隐私角度。
人工智能,深度学习和金融服务
金融服务可以从人工智能和机器学习带来的众多竞争用例中受益,但采用速度一直很慢,股票市场中的分析:中所讨论的那样,金融服务行业似乎特别适合人工智能(AI)和机器学习的发展,毕竟金融服务是基于对风险的理解并平衡各种数字因素以及预测趋势,但是,在这个行业中,机器学习和AI的采用相对较慢,主要原因是需要保持保守的观点,并适应基于遗留信息技术的各种流程和系统,尽管如此,我们很快就会看到一些变化,一个明显的迹象:新兴企业开始提供专门基于新兴技术的金融服务。
人工智能的财务用例
有49%的受访者期望其组织在未来三年内将AI用于风险评估,此外预计有29%的人将AI用于客户理解和反洗钱解决方案中,还有26%的人将AI用于风险,法规和合规性活动中,这些活动大多数是核心业务的外围活动,但是它们提供了技术经验并支持已建立的AI用例,金融行业对AI应用程序的采用部分地受到可用数据量的驱动,存储可用性的提高和要求更长的记录保留的要求近导致存储的财务数据大量增加,现在深度学习和其他AI工具可以轻松地使用这些数据,这些工具可以从庞大的数据池中得出模式。
对于公司财务部门而言,人工智能和机器学习的增长可能会发生更多变化
特定的应用程序可能取决于公司内可用的技能或在其他领域采取的措施,营销通常是主要驱动力,但规避企业风险也很重要,深度学习将应用于该领域的哪些活动?我们已经看到它已用于欺诈检测,合规性,多变量交易数据的关联和链接,分析从在线活动中捕获的行为数据,国际贸易流分析,公司互连分析,投资组合管理和虚拟顾问的创建,抵押风险分析,证券和外汇的算法交易以及贷款和保险承销。
尽管其中许多活动目前仅限于岛屿和小生境的初创企业
但对可能带来的好处的日益接受将导致其继续扩张,通过算法(尤其是通过“黑匣子”机器学习)进行算法进行财务决策的问题之一是透明度和信任度之间的差距,机器学习解决方案的用户需要能够信任其输出,因为他们不了解评估本身,但是在信任新算法之前,企业必须彻底审查它,凭借众多监管财务数据的法规,此类流程有可能无意间违反道德规范-例如,根据种族或性别对个人进行剖析。
如果数据源选择不当,集成不正确或可以由第三方操纵,则另一个问题可能包括错误的传入数据
这些类型的因素将需要根据具体情况进行审查,但是对这些问题的认识是一个重要的起点,深度学习和其他AI技术为金融服务行业和其他公司的财务部门内的有远见的公司提供了巨大的优势。直接处理盈亏机制,该部门的新服务可以产生至关重要的竞争优势,尽管IT的发展相对缓慢且在金融领域较为保守,但AI能够改变这种状况并创造军备竞赛,这可能会改变金融技术的发展方式。