使大数据与机器学习一起工作

当前位置：首页 - 前沿动态

NEWS前沿动态

使大数据与机器学习一起工作

来源：CPDA数据分析师网 / 作者：数据君 / 时间：2020-09-01

每个公司在大数据之旅中都处在不同的时刻，因此，化其业务价值意味着将大数据的采用转移到下一阶段

尽管没有统一的标准或度量标准来衡量组织的当前状态，但是“成熟度模型”的概念是一种评估某些组织相对于其他组织的潜力的简便而有效的方法。

大数据分析成熟度模型

智慧：认知分析和自动决策（人工智能）

速度：实时分析和决策（数据流）

透视：从非结构化数据（数据湖，数据管道）中发现的价值

信息：自助服务分析（仪表板，在线报告）

数据：无纸但繁重的手动数据处理（数据仓库，ETL，Excel报告）

数据-信息-知识-智慧层次结构的改编

层次结构是关于数据价值链的基本概念和广泛认可的概念之一，因为它易于理解，所以我们使用此模型，现在让我们将金字塔层次与现代企业的业务需求联系起来。

如果组织处于数据级别，这意味着什么？

通常，这意味着组织具有无纸化但繁重的手动流程以及各种各样的数据，从文档和交易记录到媒体文件，机器生成的日志和传感器数据。数据可能已经从不同的来源收集了数十年，并以数据仓库或原始格式存储，但是对该数据的分析尚不完善，在这种情况下，组织的团队会投入大量资源以非自动化的方式提取事实信息，通常以Microsoft Excel或Adobe PDF文件的形式生成报告，这很明显，但值得一提：处于此级别意味着组织的数据流程（或缺乏数据流程）正在阻止其释放其潜力，无论是在运营效率还是在创新新产品或服务的能力上。

收集数据时，应将其处理为有用的，并回答谁，什么，何时何地的问题

这是信息的描述性状态，通常以在线报告，仪表板和自助服务功能的形式来表征，这些功能可以检索感兴趣的信息而无需请求IT部门或其他部门的支持，从技术角度来看，通常这意味着组织具有“商务智能（BI）平台”，该平台可提供对公司数据的访问。尽管这是从数据阶段走向成熟的重要一步，并且可以在此级别找到许多组织，但对于企业用户而言，仍有一系列问题仍未得到解答-怎样，为什么以及怎么办？

与成熟度模型的数据和信息级别相比，此级别的解释更为复杂，因为它更接近人类思想的体现

为简洁起见，我们将其定义为利用可传达可理解的信息，积累的知识和专业知识的可行信息，换句话说，该水平提高了个人采取有效行动的能力，从技术上讲，它包括多种信息源的综合以及发现隐藏模式和相关性的能力，考虑以一名医生为例，他根据全面的患者信息做出正确的诊断，包括测试结果，患者访谈和患者的病史，然后，他可以根据自己的行业研究知识和专业经验来选择有效的治疗方案。

企业体系结构中的几个元素可以在此级别上进行可行的决策

包括一个数据湖，该数据湖从结构化，半结构化和非结构化数据源收集各种各样的数据，以及一个将原始数据转换为数据的数据处理管道，数据转换成易于使用的整体表示形式，达到此数据成熟度水平的组织通常会大大提高运营效率和/或增加产品或服务的收入，有什么更好的办法吗？决策的加速，这是下一个层次。

此级别是指组织的决策速度

在坚实的洞察力（或可操作的信息）基础的支持下，该级别通过使实时或接近实时的信息访问具有竞争优势，产生了无数种可能性。从技术角度来看，数据流，移动计算和IoT（物联网）技术使这些优势成为可能，更高的速度可以提高生产力，并从新产品或服务中获得更多收入。它还可以支持流程的优化，这些流程可以根据市场条件甚至天气等因素动态适应不断变化的环境，如今尽管许多行业有远见的人为实现这一目标进行了大量投资，但在这个阶段可以立足的公司并不多，也没有多少公司可以从这个水平上获得所有收益。实际上，许多人可能仍然将“速度”级别视为终目标，而没有意识到当公司超越速度而达到我们所谓的“智慧”时可能发生的事情。

有人可能会争辩说，这是一个难以捉摸的概念，与人的直觉，理解，解释和行动有关，而不是与企业系统或技术有关

在我们的定义中，智慧是数据价值链的层次。在解决传统计算技术难以解决的艰巨任务时，数字解决方案可以达到同人甚至是超人的性能，这些任务通常意味着以歧义，不确定性和矛盾的证据为特征的复杂情况，这正是认知计算的目标，而认知计算又基于模仿人脑工作方式的机器学习技术。深度学习是的技术之一，在短短三年内比在AI（人工智能）领域过去25年中所取得的成就还要多。

值得一提的是，并非所有公司部门都能在大数据采用成熟度上处于同一水平

实际上，这在整个行业中都是一个例外。但是，部门间常见的是，尽管具有公司职能，但它们仍可以通过机器学习提高其成熟度并从数据中获得更多价值。

CPDA企业内训

https://www.cpda.cn/trainning/

CPDA项目数据分析师为什么要更名？

https://www.chinacpda.com/question/4504.html

海南智企数据分析师事务所

https://www.chinacpda.com/shiwusuo/14202.html

王兴海老师高级经济师

https://www.chinacpda.com/shizi/9433.html

用数据改变人生，获得CPDA证书仅是一个开始

https://www.chinacpda.com/shouquanzhongxin/14854.html