统计学和大数据之间有哪些联系
来源: / 作者: / 时间:2022-12-12
继物联网、云计算之后,大数据已经成为当前信息技术产业最受关注的概念之一。
数量庞大的大数据所起到的作用已经在全国的经济发展中得到了充分体现。就以北京为例,2021年北京市地区生产总值突破4万亿元。其中数字经济快速发展注入新动力。全年实现数字经济增加值16251.9亿元,占全市地区生产总值的比重为40.4%。
如今数据获取已经不是难事,难的是如何避免因不知道如何利用数据,而导致的数据价值下降的问题。
如何使用庞大的数据呢?不掌握数据的使用方法,不具备数据思维,数据无法为企业带来赋能,海量的数据存储反而会变为企业负担。那么企业如何在经济转型的瞬息万变的商业竞争中存活?企业管理者如何面对数字化转型带来的管理、决策转换等一系列的问题是绝大多数企业管理者都为之头痛的技能短板。
那么敲黑板的重点来了——想要用好大数据,快速理解对数据的认识,掌握数据价值利用的能力,你必须要先搞明白统计学!
华为创始人兼CEO任正非在接受央视《面对面》采访,当谈到人工智能时,任正非表示,人工智能就是统计学,这个学科计算机与统计学就是人工智能。
任正非:人工智能就是计算机和统计学_华为 (sohu.com)
统计学是什么?统计学严格来讲是一门独立的科学,是关于收集、分析、解释、陈述数据的科学。
统计学研究的目的,通常是从大量数据中找规律性,找不同因素之间的相关性,以及可能存在的因果关系。当我们找到相应的规律后,我们就可以利用它来建立数学模型。来预测未来数据分析发展和变化。
比如,我们在用手机录制视频后,几乎所有的视频编辑软件都可以直接AI生成字幕。这在之前是不可想象的。那么这种语音识别就是用到了统计学中的关联性分析,分析词语前后之间的条件概率。例如“重要”,和“中药”,手机的CPU就会在一瞬间利用算法结合上下文计算他们的条件概率,从而快速在语音识别中,显示出是哪一个词。
今天我们大数据的应用中很多的场景都在通过数据之间的“关联性”来做预测。例如CPDA数据分析师课程当中多次提及的购物车案例、电影票销售案例中的推荐算法。
对很多正在做数字化转型的企业家来讲,数据量已经不再是主要问题,重要的是在茫茫数据中如何选定正确的变量。比如,在这个算法大爆炸的时代,过多的推荐算法,就产生了不少反向作用。当越来越多的人发现自己被商家APP作为观察对象的时候,反而会改变行为倾向。这被称为“霍桑效应”。比如你无意中搜索了一本书,结果所有的短视频以及购物软件都开始给你推荐这本书,反而给你带来反感和不便。
正确的认识数据,掌握数据带来的核心价值,在数据中发现最有价值的数据是数字化转型时代人人都应具备的能力。正如CPDA数据分析师的课程中老师反复强调的,大数据时代,人人都应成为数据分析师。人人都应具备数据思维,而千万不要忘记,数据思维的基础就是统计学。培养优秀的数据分析人才是CPDA数据分析师认证课程19年不变的目标。