大数据和分析支出预计将猛增
来源:CPDA数据分析师网 / 作者:数据君 / 时间:2020-11-27
在经历了采用S曲线的多年之后,大数据和业务分析解决方案终于进入了主流
大数据和分析]作为决策支持和决策自动化的支持者,现在已牢固地成为高层管理人员的关注,这类解决方案也是在全球范围内跨行业和业务流程实现数字化转型的关键支柱之一,也就是说,大数据和分析的定义似乎非常广泛,市场观察家预测,到2020年,大数据和分析软件的支出将增加到700亿元以上,终用户查询,报告和分析以及数据仓库管理工具的销售额将遥遥领先。但是,这些工具都没有大喊“大数据和分析”,在其他地方,IDC预测,到2020年预测期,非关系分析数据存储和“认知”软件平台的销售额也将实现强劲增长(复合年增长率分别为38.6%和23.3%)。
与大数据和分析相关的服务器和存储的销售似乎有望以更高的速度增长
2020年的复合年增长率为9.0%,一些垂直行业在大数据和分析技术上的支出比其他行业多得多,市场观察家说,今年银行业,离散制造业,联邦和中央政府以及专业服务领域的组织将在大数据和分析产品与服务上花费724亿元,到2021年,这些垂直领域将继续成为大数据和分析领域的不成比例的消费者,届时他们预计将占到总支出1015亿元的一部分,构成金融服务业的三个行业-银行业,保险业,证券和投资服务业-都显示出未来在大数据和业务分析上的巨大前景。
所有垂直领域的组织都将在大数据和分析上投入大量资金
机器中的偏见可能危害您的企业,如果企业要保护其分析结果免受偏见,则必须充分理解AI算法,数据收集和分析中的偏见有很长的血统书。现在它势必会变得更糟。非结构化社交媒体新闻源的激增带来了新的数据准确性问题,超出了传统数据质量关注范围,尽管可以通过对收集策略的严格检查,统计数据和标准重新评估相结合来检查结构化数据的偏见来源,但是机器学习(ML)数据分析缺乏早期技术的透明性,并且对数据的评估不那么严格。
偏差是分析的基础部分;它是思想结构的一部分
在分析中,问题的表述可以通过反映提问者的思维过程而产生偏见,定义可能会歪曲,并导致对受访者信念的不正确反映,偏见可能是通过种族,地方或民族特征引入的。例如,在一项调查中,我们发现人对采用新技术的回答在所有问题上的总体积极性比任何其他团体高80%,这是人热情的一部分,还是反映了公司在使用这些技术方面的差异?不幸的是,随着机器学习和人工智能(AI)的使用不断增加,所使用的模型不一定得到很好的理解,机器通常自己构建数据模型,它不了解相关性;它不了解可能有助于决策的其他因素,偏见的类型危险,这将导致歧视是非法的或基于虚假分类的处理。
尽管人为偏见经常是一个问题,但机器偏见是看不见的
至少在算法理解的这个早期阶段,人们会倾向于相信机器的公正性,但是创建初始模型并进行训练的人员的偏见,再加上用于训练模型的数据中的固有偏见,可能会产生与事实不符的结果,这种信任数学模型的趋势已被称为“数学洗”,并产生了严重的后果。考虑一台机器可能会利用诸如信贷申请中列出的就读学校等特征,并辨别申请人的种族群体,这可能会导致基于受保护类别的信贷被非法拒绝,在其他类型的数据中也会发生类似的问题。
包含新算法的公司需要非常清楚数据偏差的可能性
从这种算法的使用中学到的一个教训是,在发布所有模型之前,都需要使用样本数据仔细评估和测试所有模型的偏差,仅仅因为ML模型在实验室中运行良好,并不意味着它将在现场提供安全可靠的答案,偏见的问题在金融中尤为重要,但是在任何可能出现虚假信息或语言需要解释的领域中,都会产生偏见的可能性-结果可能会很昂贵。
从数据的收集方式,问卷结构到数据的组装,政治都极易受到各种信息偏差的影响
大数据和分析]作为决策支持和决策自动化的支持者,现在已牢固地成为高层管理人员的关注,这类解决方案也是在全球范围内跨行业和业务流程实现数字化转型的关键支柱之一,也就是说,大数据和分析的定义似乎非常广泛,市场观察家预测,到2020年,大数据和分析软件的支出将增加到700亿元以上,终用户查询,报告和分析以及数据仓库管理工具的销售额将遥遥领先。但是,这些工具都没有大喊“大数据和分析”,在其他地方,IDC预测,到2020年预测期,非关系分析数据存储和“认知”软件平台的销售额也将实现强劲增长(复合年增长率分别为38.6%和23.3%)。
与大数据和分析相关的服务器和存储的销售似乎有望以更高的速度增长
2020年的复合年增长率为9.0%,一些垂直行业在大数据和分析技术上的支出比其他行业多得多,市场观察家说,今年银行业,离散制造业,联邦和中央政府以及专业服务领域的组织将在大数据和分析产品与服务上花费724亿元,到2021年,这些垂直领域将继续成为大数据和分析领域的不成比例的消费者,届时他们预计将占到总支出1015亿元的一部分,构成金融服务业的三个行业-银行业,保险业,证券和投资服务业-都显示出未来在大数据和业务分析上的巨大前景。
所有垂直领域的组织都将在大数据和分析上投入大量资金
机器中的偏见可能危害您的企业,如果企业要保护其分析结果免受偏见,则必须充分理解AI算法,数据收集和分析中的偏见有很长的血统书。现在它势必会变得更糟。非结构化社交媒体新闻源的激增带来了新的数据准确性问题,超出了传统数据质量关注范围,尽管可以通过对收集策略的严格检查,统计数据和标准重新评估相结合来检查结构化数据的偏见来源,但是机器学习(ML)数据分析缺乏早期技术的透明性,并且对数据的评估不那么严格。
偏差是分析的基础部分;它是思想结构的一部分
在分析中,问题的表述可以通过反映提问者的思维过程而产生偏见,定义可能会歪曲,并导致对受访者信念的不正确反映,偏见可能是通过种族,地方或民族特征引入的。例如,在一项调查中,我们发现人对采用新技术的回答在所有问题上的总体积极性比任何其他团体高80%,这是人热情的一部分,还是反映了公司在使用这些技术方面的差异?不幸的是,随着机器学习和人工智能(AI)的使用不断增加,所使用的模型不一定得到很好的理解,机器通常自己构建数据模型,它不了解相关性;它不了解可能有助于决策的其他因素,偏见的类型危险,这将导致歧视是非法的或基于虚假分类的处理。
尽管人为偏见经常是一个问题,但机器偏见是看不见的
至少在算法理解的这个早期阶段,人们会倾向于相信机器的公正性,但是创建初始模型并进行训练的人员的偏见,再加上用于训练模型的数据中的固有偏见,可能会产生与事实不符的结果,这种信任数学模型的趋势已被称为“数学洗”,并产生了严重的后果。考虑一台机器可能会利用诸如信贷申请中列出的就读学校等特征,并辨别申请人的种族群体,这可能会导致基于受保护类别的信贷被非法拒绝,在其他类型的数据中也会发生类似的问题。
包含新算法的公司需要非常清楚数据偏差的可能性
从这种算法的使用中学到的一个教训是,在发布所有模型之前,都需要使用样本数据仔细评估和测试所有模型的偏差,仅仅因为ML模型在实验室中运行良好,并不意味着它将在现场提供安全可靠的答案,偏见的问题在金融中尤为重要,但是在任何可能出现虚假信息或语言需要解释的领域中,都会产生偏见的可能性-结果可能会很昂贵。
从数据的收集方式,问卷结构到数据的组装,政治都极易受到各种信息偏差的影响
被调查的人可能会引入偏见,调查问题中使用的术语也会引起偏见,医疗保健除了健康和财务细节外,还要求对心理学和社会学有所了解,根据隐含的民族法规拒绝医疗保健或健康保险可能会非常昂贵,随着我们进入AI时代,我们被迫面对自己对人类智能的理解,我们需要查看偏差的来源以及偏差与准确结果的传递之间的相互作用,在后真理时代,我们有一个问题,偏见在每个问题的边缘都吃;如果不再信任来源,那么我们可能需要依靠AI,然而,人工智能本身很可能会根据所提供的信息和经过培训的信息而产生偏差,我们无法逃脱人类思想的错综复杂,我们必须承担责任确保我们的AI创作符合人类需求。