实施大数据项目的5个实践
来源：CPDA数据分析师网 / 作者：数据君 / 时间：2020-12-21
1.实施大数据计划有几个关键的成功因素
其中启动缓慢，从概念证明或试点项目开始，选择一个重要的领域，您要改善您的决策制定，但不会影响很大，让此初始答案回答您要解决的业务问题，仅在从业务模型的角度证明发现的结果有价值且可行，满足合规性要求并具有合理的技术之后，才可以将项目投入运营，明智地选择初始项目，如果问题陈述不需要使用大数据解决方案，则不要使用它，确保您花时间来掌握正确的技能，这个项目有很多学习的空间，但是您的员工至少需要有关大数据问题的基础知识，请确保您拥有可用的“正确”数据-您想利用可用的内部和外部数据。
2.与您的项目目标协作
数据团队和业务部门必须共同努力才能实现您的业务目标，数据科学家使用数据和模型表示分析，并且期望他们了解业务用户正在尝试实现的目标，相反业务应至少对业务可以通过数据实现（或不能实现）的内容有一个高层次的了解，有效的协作需要有效的沟通，例如考虑一个商业智能团队，该团队构建了一个模型来预测客户流失，他们基于假设的案例认为这是一个“奇妙”的项目，市场部认为该模型是一场灾难，因为它不是100％准确的，如果您有一个数据科学团队说他们建立了一个很好的模型，而营销团队说该模型不起作用，那么您要么存在严重的人员缺口，要么存在沟通缺口。在开始项目之前，必须消除这些差距。
3.拥有正确的数据
有时由于数据不可用而无法回答特定问题，即使有可用的数据，企业也不一定总是在问正确的问题，您的项目必须交付可影响的可衡量结果，这意味着拥有正确的数据并有效地利用这些数据，您可以运行非常复杂的回归并建立非常复杂的模型-可能会令人兴奋-但重要的是可以为企业带来可衡量的结果，为了获得成功，您必须决定可以回答哪些问题，并确定可用数据无法回答这些问题中的任何一个，如果是后者，则必须获取丢失的数据，丢失重要数据可能并不明显。例如，当您尝试创建农业分析模型时，您的主要信念可能是天气对未来的农业状况具有的预测影响，但是您可能会发现，本地数据集表明，在某些地区，影响农业生产的因素是一种特殊类型的害虫，在种植时会影响一种特定类型的植物，并且该害虫在相同的天气条件下不会影响任何其他植物，您永远不会从假设中发现该观察结果。有时，您必须谨慎对待数据，通过测试并查看结果可以告诉您什么，您可能会感到惊讶。
4.不要歪曲结果
人类倾向和非代表性数据集倾向于歪曲结果并导致错误的结论，确保您的数据不会偏向子集很重要，因为即使您有很多数据，它也可能不会代表整个数据集，如果您不代表整个场景，那么您的结论将是不准确的，确认偏差-倾向于以确认您的信念或假设的方式搜索，解释偏爱和回忆信息的趋势，而对与之矛盾的信息给予的关注则要少得多-影响解决问题的方法以及个人的方式查看数据和结果，当分析的目的是证明假设时，偏差会影响数据集，检验和结果，为了消除数据的偏见，请使用统计专业知识来了解您是否正在寻找大量的消费者，并确保他们在统计上代表您所提出的问题。
5.了解大数据对您的信息体系结构的影响
大数据实施可以多种方式影响组织的企业架构，许多企业具有标准化的硬件分析平台，不足以处理信息的数量，速度或种类，也不足以处理大数据所需的信息处理，必须对创新的处理方式和混合方法持开放态度，以适应内部和外部的各种数据，包括结构化和非结构化数据，您可能需要管理的数据源的大小，速度和范围可能意味着数据不必在物理上位于同一位置，在这些情况下，逻辑数据仓库方法可能更合适，因为它可以提供近乎实时的数据分析，而又不会将数据限制在数据仓库的持久数据存储的预构建结构中，由于许多大数据计划至少在初期是试验性质的，因此其架构必须能够扩展以支持不可预测的工作负载，云提供的动态存储和处理能力可以是应对这种情况的一种方式。
为了使大数据具有竞争优势
其中启动缓慢，从概念证明或试点项目开始，选择一个重要的领域，您要改善您的决策制定，但不会影响很大，让此初始答案回答您要解决的业务问题，仅在从业务模型的角度证明发现的结果有价值且可行，满足合规性要求并具有合理的技术之后，才可以将项目投入运营，明智地选择初始项目，如果问题陈述不需要使用大数据解决方案，则不要使用它，确保您花时间来掌握正确的技能，这个项目有很多学习的空间，但是您的员工至少需要有关大数据问题的基础知识，请确保您拥有可用的“正确”数据-您想利用可用的内部和外部数据。
2.与您的项目目标协作
数据团队和业务部门必须共同努力才能实现您的业务目标，数据科学家使用数据和模型表示分析，并且期望他们了解业务用户正在尝试实现的目标，相反业务应至少对业务可以通过数据实现（或不能实现）的内容有一个高层次的了解，有效的协作需要有效的沟通，例如考虑一个商业智能团队，该团队构建了一个模型来预测客户流失，他们基于假设的案例认为这是一个“奇妙”的项目，市场部认为该模型是一场灾难，因为它不是100％准确的，如果您有一个数据科学团队说他们建立了一个很好的模型，而营销团队说该模型不起作用，那么您要么存在严重的人员缺口，要么存在沟通缺口。在开始项目之前，必须消除这些差距。
3.拥有正确的数据
有时由于数据不可用而无法回答特定问题，即使有可用的数据，企业也不一定总是在问正确的问题，您的项目必须交付可影响的可衡量结果，这意味着拥有正确的数据并有效地利用这些数据，您可以运行非常复杂的回归并建立非常复杂的模型-可能会令人兴奋-但重要的是可以为企业带来可衡量的结果，为了获得成功，您必须决定可以回答哪些问题，并确定可用数据无法回答这些问题中的任何一个，如果是后者，则必须获取丢失的数据，丢失重要数据可能并不明显。例如，当您尝试创建农业分析模型时，您的主要信念可能是天气对未来的农业状况具有的预测影响，但是您可能会发现，本地数据集表明，在某些地区，影响农业生产的因素是一种特殊类型的害虫，在种植时会影响一种特定类型的植物，并且该害虫在相同的天气条件下不会影响任何其他植物，您永远不会从假设中发现该观察结果。有时，您必须谨慎对待数据，通过测试并查看结果可以告诉您什么，您可能会感到惊讶。
4.不要歪曲结果
人类倾向和非代表性数据集倾向于歪曲结果并导致错误的结论，确保您的数据不会偏向子集很重要，因为即使您有很多数据，它也可能不会代表整个数据集，如果您不代表整个场景，那么您的结论将是不准确的，确认偏差-倾向于以确认您的信念或假设的方式搜索，解释偏爱和回忆信息的趋势，而对与之矛盾的信息给予的关注则要少得多-影响解决问题的方法以及个人的方式查看数据和结果，当分析的目的是证明假设时，偏差会影响数据集，检验和结果，为了消除数据的偏见，请使用统计专业知识来了解您是否正在寻找大量的消费者，并确保他们在统计上代表您所提出的问题。
5.了解大数据对您的信息体系结构的影响
大数据实施可以多种方式影响组织的企业架构，许多企业具有标准化的硬件分析平台，不足以处理信息的数量，速度或种类，也不足以处理大数据所需的信息处理，必须对创新的处理方式和混合方法持开放态度，以适应内部和外部的各种数据，包括结构化和非结构化数据，您可能需要管理的数据源的大小，速度和范围可能意味着数据不必在物理上位于同一位置，在这些情况下，逻辑数据仓库方法可能更合适，因为它可以提供近乎实时的数据分析，而又不会将数据限制在数据仓库的持久数据存储的预构建结构中，由于许多大数据计划至少在初期是试验性质的，因此其架构必须能够扩展以支持不可预测的工作负载，云提供的动态存储和处理能力可以是应对这种情况的一种方式。
为了使大数据具有竞争优势
您的企业需要以开展业务的方式进行分析，分析必须成为企业文化的一部分，如今数据驱动型企业的竞争优势不再通过团队孤岛来实现，而是通过IT与业务用户之间的协作来实现，重要的实践是让业务负责人和用户参与所有重要决策并参与验证每个阶段使用的数据。
京公网安备 11010502034401号
课程体系 
试听申请 
复听申请 
在线报名 
考试大纲 
考试报名 
准考证打印 
