大数据面临的挑战是哪些问题？
来源：CPDA数据分析师网 / 作者：数据君 / 时间：2021-01-12
挑战1：数据质量必须清理，准备，保护，审核大数据以确保合规性并进行持续维护
这些任务的问题在于数据输入如此之快，公司发现很难执行所有数据准备步骤以确保数据质量，在某些情况下，企业只是简单地存储了所有传入的大数据，而没有做很多事情，这造成数据污染，另外不正确的数据会增加基于错误信息进行业务决策的风险，定义用于数据清理和准备的业务规则，并寻找可以为您执行数据准备任务的自动化工具，其次确定您不需要的数据，并在数据收集流程的前端建立数据清除自动化功能，以在数据到达网络之前将其抛弃。
挑战2：平台整合大数据集成通常围绕着将来自不同业务部门的数据集成到业务中每个人都可以使用的“事实的单一版本”中
但是对于IT人员来说，管理各种口味的大数据以及许多不同的硬件和软件平台同样具有挑战性，后端分布式数据存储的种类繁多，我们的平台本身不支持其中一些分布式数据存储，根据数据存储我将不得不使用不同的API（主要基于Python）来处理这些情况，这不是选择，访问并且将数据存储在不受支持的数据存储区中，要求开发人员不断更改每个数据存储区的程序，这会减慢开发周期，并使客户从数据中获取洞察的时间更长。
不同的大数据处理平台使简化IT基础架构变得困难，从而简化了数据管理和大数据流程
对于IT部门而言，这是巨大的挑战，有数百种预先开发的API可用的软件自动化工具，可用于各种数据，数据库和文件，您可能仍然会发现自己是根据具体情况手动开发API的，但是这些工具可以完成大部分工作。
问题3：访问和安全
谁可以访问哪些数据以及获得什么级别的权限？例如，文档管理系统包含基于文本的文档，照片，图像，工程图和视频。谁有权访问哪些文件，谁有权修改文件？这是一个政策（有时是政治）问题。必须在IT和终用户之间的静坐会议中解决此问题，以确定谁应该获得访问权限。没有人喜欢这些会议，而且这些会议经常被忽视多年。少应该每年召开一次会议，尤其是要有大量大数据进入时。IT部门必须做到这一点。
仍然值得成为数据科学家吗？
随着薪资趋于平缓和竞争加剧，有迹象表明数据科学家的前景可能比以前想像的要差，数年来，就薪酬，工作需求和满意度而言，数据科学家一直被 评为美国重要的工作之一，但是有迹象表明，随着数据科学家的薪水开始趋于稳定，令人垂涎的角色可能正在失去其某些光泽，我们已经看到数据科学家的薪水实际上在2020年3月减少了1.2％，这是长期趋势的延续-数据科学家的工资增长已大大低于去年的平均水平。
数据科学家的薪水总体上已接近软件开发人员薪水的主流
很明显现在数据科学家职位的候选人比可用的工作还多，随着数据科学的重要性日益提高，数据科学计划和训练营的入学人数激增，从事有限的入门级工作的工人人数的大量增加抑制了工资的增长，尽管 分析师报告经常讨论对数据科学技能需求的急剧增长，但业内人士的轶事证据表明，由于数据科学数量的爆炸式增长，考虑到市场上有多少新人竞争，拥有数据科学新学位的人很难找到数据科学的职位。
如何将有关数据科学家供过于求的建议与经常报告的数据科学技能短缺的报告相协调 ？
重要的是要理解，尽管企业可能正在努力寻找所需的技能，但这并不意味着没有足够的入门级人才，可能存在技能短缺，但不是申请人短缺，数据科学的入门级或实习职位空缺会招募数百名申请人，当雇主谈论短缺时，他们通常是在谈论缺乏经验丰富的专业人员”，这很大程度上源于数据科学作为主流领域的新颖性，但是要记住的一个混淆因素是，由于数据科学家角色的定义不明确，很难比较一段时间内数据科学家的薪水数据。
公司越来越多地使用数据科学家头衔来担任其他类似的角色
例如数据分析师或统计学家，职位的这种混乱正在改变数据科学家劳动力的组成并因此降低工资，在接受数据科学家培训之前，您应该三思而后行吗？随着数据科学家中薪资增长的放缓以及迹象表明初级人才可能过剩，有抱负的数据科学家是否应该停下来思考？从一个切身相关的领域开始，例如初级开发人员或数据分析师，并努力成为一名数据科学家，而不是像这样直接瞄准数据科学家，对于薪金为何趋于平稳的解释略有不同，并认为不应阻止人们进入该行业。
看到的只是数据科学的标准化和专业化
这些任务的问题在于数据输入如此之快，公司发现很难执行所有数据准备步骤以确保数据质量，在某些情况下，企业只是简单地存储了所有传入的大数据，而没有做很多事情，这造成数据污染，另外不正确的数据会增加基于错误信息进行业务决策的风险，定义用于数据清理和准备的业务规则，并寻找可以为您执行数据准备任务的自动化工具，其次确定您不需要的数据，并在数据收集流程的前端建立数据清除自动化功能，以在数据到达网络之前将其抛弃。
挑战2：平台整合大数据集成通常围绕着将来自不同业务部门的数据集成到业务中每个人都可以使用的“事实的单一版本”中
但是对于IT人员来说，管理各种口味的大数据以及许多不同的硬件和软件平台同样具有挑战性，后端分布式数据存储的种类繁多，我们的平台本身不支持其中一些分布式数据存储，根据数据存储我将不得不使用不同的API（主要基于Python）来处理这些情况，这不是选择，访问并且将数据存储在不受支持的数据存储区中，要求开发人员不断更改每个数据存储区的程序，这会减慢开发周期，并使客户从数据中获取洞察的时间更长。
不同的大数据处理平台使简化IT基础架构变得困难，从而简化了数据管理和大数据流程
对于IT部门而言，这是巨大的挑战，有数百种预先开发的API可用的软件自动化工具，可用于各种数据，数据库和文件，您可能仍然会发现自己是根据具体情况手动开发API的，但是这些工具可以完成大部分工作。
问题3：访问和安全
谁可以访问哪些数据以及获得什么级别的权限？例如，文档管理系统包含基于文本的文档，照片，图像，工程图和视频。谁有权访问哪些文件，谁有权修改文件？这是一个政策（有时是政治）问题。必须在IT和终用户之间的静坐会议中解决此问题，以确定谁应该获得访问权限。没有人喜欢这些会议，而且这些会议经常被忽视多年。少应该每年召开一次会议，尤其是要有大量大数据进入时。IT部门必须做到这一点。
仍然值得成为数据科学家吗？
随着薪资趋于平缓和竞争加剧，有迹象表明数据科学家的前景可能比以前想像的要差，数年来，就薪酬，工作需求和满意度而言，数据科学家一直被 评为美国重要的工作之一，但是有迹象表明，随着数据科学家的薪水开始趋于稳定，令人垂涎的角色可能正在失去其某些光泽，我们已经看到数据科学家的薪水实际上在2020年3月减少了1.2％，这是长期趋势的延续-数据科学家的工资增长已大大低于去年的平均水平。
数据科学家的薪水总体上已接近软件开发人员薪水的主流
很明显现在数据科学家职位的候选人比可用的工作还多，随着数据科学的重要性日益提高，数据科学计划和训练营的入学人数激增，从事有限的入门级工作的工人人数的大量增加抑制了工资的增长，尽管 分析师报告经常讨论对数据科学技能需求的急剧增长，但业内人士的轶事证据表明，由于数据科学数量的爆炸式增长，考虑到市场上有多少新人竞争，拥有数据科学新学位的人很难找到数据科学的职位。
如何将有关数据科学家供过于求的建议与经常报告的数据科学技能短缺的报告相协调 ？
重要的是要理解，尽管企业可能正在努力寻找所需的技能，但这并不意味着没有足够的入门级人才，可能存在技能短缺，但不是申请人短缺，数据科学的入门级或实习职位空缺会招募数百名申请人，当雇主谈论短缺时，他们通常是在谈论缺乏经验丰富的专业人员”，这很大程度上源于数据科学作为主流领域的新颖性，但是要记住的一个混淆因素是，由于数据科学家角色的定义不明确，很难比较一段时间内数据科学家的薪水数据。
公司越来越多地使用数据科学家头衔来担任其他类似的角色
例如数据分析师或统计学家，职位的这种混乱正在改变数据科学家劳动力的组成并因此降低工资，在接受数据科学家培训之前，您应该三思而后行吗？随着数据科学家中薪资增长的放缓以及迹象表明初级人才可能过剩，有抱负的数据科学家是否应该停下来思考？从一个切身相关的领域开始，例如初级开发人员或数据分析师，并努力成为一名数据科学家，而不是像这样直接瞄准数据科学家，对于薪金为何趋于平稳的解释略有不同，并认为不应阻止人们进入该行业。
看到的只是数据科学的标准化和专业化
在数据科学领域，过去的十年有点荒芜，你如何成为数据科学家，这是一个非常开放的问题，我看到业界正在围绕成为一名数据工程师意味着什么？以及'成为一名数据科学家意味着什么？”达成共识，当你进入那个阶段时，雇用这些职位变得容易，而当这些职位更容易为你雇用时，就不会像以前那样疯狂，要记住的一件事是，对于有抱负的数据科学家来说，这不一定是坏消息，数据科学家仍然是美国薪水高，工作满意度高的工作之一，但是他告诫新进入该领域的人睁大眼睛进入该领域，但这确实意味着在未来几年中，申请者之间的竞争将会并且将继续激烈。
免费客服热线：400-050-6600
商业联合会数据分析专业委员会
京公网安备 11010502034401号
课程体系 
试听申请 
复听申请 
在线报名 
考试大纲 
考试报名 
准考证打印 
