建立数据湖及其克服方法的3个常见陷阱
来源:CPDA数据分析师网 / 作者:数据君 / 时间:2020-07-28
我所需要的只是一种摄取工具
是的数据湖的开发通常被视为一切的圣杯,毕竟现在您可以转储所有数据,大多数人遇到的个问题是数据摄取,他们如何收集和吸收进入数据湖的庞大数据量,数据收集的任何成功对他们来说都是一个捷径,因此他们购买了一种数据提取解决方案,现在可以地捕获和收集所有数据,问题解决了,对吧?也许是暂时的,但是真正的战斗才刚刚开始。
很快您就会意识到仅将数据放入湖中仅仅是个开始
大多数数据湖项目都失败了,因为它变成了一个庞大的数据沼泽,没有结构,没有质量,缺乏人才并且无法跟踪数据的实际来源,原始数据很少能独立使用,因为仍然需要处理,清理和转换数据以提供高质量的分析,这通常会导致第二个陷阱。
数据湖的手工编码
过去我们有很多关于此的博客,但是您对此话题的强调不够,令人惊讶的是,从初的部署成本来看,手动编码可能看起来很有希望,但是维护成本可能会增加200%以上,工程和分析方面缺乏大数据技能,以及云的移动为手工编码增加了更多的复杂性,在此处运行清单,以帮助您确定何时以及在何处为数据湖项目进行自定义编码。
自助服务随着对快速分析的不断增长的需求,当今的公司在集成方面正在寻求更多的自助服务功能
但是如果没有适当的治理和元数据管理,它很容易造成危险,由于许多基本的整合任务可能要交给公民整合者,因此更重要的是要问是否有适当的治理来追踪这一点?是否在适当的时间将您的数据访问权授予了适当的人员?是否通过适当的元数据管理启用了数据湖,所以自助数据目录有意义?
大数据市场格局以的速度增长,因为公司现在已经清楚他们需要什么
从这三个陷阱中,我可以提供的建议是避免我喜欢称之为“鳄梨切片器”的东西,是的它可能很有趣,并且可以地满足您的需求,但是您很快就会意识到这是一个专用的点解决方案,可能仅适用于摄取,仅与一个处理框架兼容或仅适用于一个部门的特殊需求,相反在数据湖策略方面采取整体方法,您真正需要的是一把全面的烹饪刀!否则您可能终会获得不必要的技术和供应商来管理您的技术堆栈。
数据分析师培训课程
https://www.chinacpda.com/openclass/detail/?id=1222
海南智企数据分析师事务所
https://www.chinacpda.com/shiwusuo/14202.html
大数据专业就业前景及就业方向如何?
https://www.chinacpda.com/wenti/11706.html
CPDA数据分析师学习方式和课程体系
https://www.chinacpda.com/xuexiarea/18089.html
CPDA数据说给你带来精彩的视频案例讲解
https://www.chinacpda.com/videocenter/
数据分析师职业规划
https://www.chinacpda.com/career/
CPDA数据分析师授权中心
https://www.chinacpda.com/train/
数据分析相关动态
https://www.chinacpda.com/data/?page=3
数据分析案例展示
https://www.chinacpda.com/case/
查找您周边省份授权培训中心:
https://www.chinacpda.com/train/
2020年CPDA数据分析师线上报名:
https://www.chinacpda.com/baoming.php
CPDA数据分析明星导师:
https://www.chinacpda.com/startutor/
CPDA数据分析师培训优秀学员:
https://www.chinacpda.com/student/
免费客服热线:400-050-6600
商业联合会数据分析专业委员会