快速高效地分析大型复杂数据集的秘诀是什么？

Q&AQ&A问答

快速高效地分析大型复杂数据集的秘诀是什么？

来源：CPDA数据分析师网 / 作者：数据君 / 时间：2021-07-19

您如何分析这个美丽的烂摊子？
深入研究，开始进行关联，绘图和建立多层次模型，然后意识到您可能必须控制一些变量并获得结果，但随后它与协变量B和C消失了，但是当您同时添加A时就消失了，然后您发现了一些看似健壮的东西，但是到目前为止，您已经进行了15项测试，因此也许是一个错误的肯定，因此您了解了交叉验证以及我什至在这里做了什么，什么时候成为星期五？但是严重的是，有时我们拥有的数据量超过了我们所知道的处理方式，承认还有更严重的问题，整天都在挖掘大型数据集，通常会尝试验证在新数据集上找到的任何结果，您也应该这样做！，这确实会占用您的时间，当您的目标是“逐渐了解内部和外部的数据”时，您也可能会陷入困境，我们经常听到统计学家的建议，我们应该做更多的探索性数据分析，绘制数据图等，这很有价值，但是不必了解欧洲社会调查的每个角落。看到一个模型如何受到与因变量几乎没有关系的10个不同的协变量的影响通常是没有效果的，您必须在某处画线并说“足够”！

我非常赞成可以解放我们选择的限制的想法
如果这听起来很矛盾将对此进行解释，在数据方面更多的选择并不总是更好。

解决方案

1.以问题为导向
在查看数据之前，请确定您的主要问题是什么，这些是您将要回答的问题，之后您将停止回答后可以发布哪些问题？不要太愤世嫉俗，但是在学术界，通常不是合在一起的有趣观察的集合，他们专注您也应该如此，以令人满意的方式（即通过检查结果的健壮性，排除其他解释）来回答一个纸上大小的问题所需的所有分析，然后停止数据中的所有其他问题都不重要或不太重要，您以后随时可以再找他们。

2.与同事或实验室成员讨论数据
通过数据和分析与他们交谈，将使您头脑清醒，通过向他人解释某种事物来加深对某种事物的了解的想法通常称为费曼技术，我是一个忠实的拥护者，他们也许能够建议数据中哪些是有趣的，哪些不是有趣的，请记住，您正在尝试产生对您的领域有价值的知识，因此有必要询问该领域的一些成员是否认为您的分析有价值。

3.详细记录您的尝试
大量的t检验和回归模型四处奔波，您可能终会忘记之前运行了一些分析并终再次运行它！此外，有时模型不能孤立地提供见解，而可以与其他模型结合使用，例如您运行模型A，预测变量A1会显示您不了解的效果，因此您会看到是否与其他一些东西相关，这也许可以解释它，您将建立模型B和尤里卡现在记录您的工作，解释每个测试，然后再进行下一个测试，不要只是在不考虑测试含义的情况下随意进行测试，进行测试以解决问题，是发现误报的好方法，如果您记笔记并解释运行过程中发生的事情，那么每个测试都会真正地教会您有关数据的一些知识。

4.设定分析的时间限制
设定一定的时间来进行分析，截止日期，甚至是自我强加的截止日期，对于澄清头脑也非常有用，在此时间之后未完成的所有数据工作将不得不等待另，如果您错过了一些重要的事情，这没什么大不了的，因为终论文上的主管/同事/审阅者会找到它们，您甚至可以返回数据集，然后在有更多时间后再花几天时间，这还具有返回刷新的数据的优点，给自己一个时间限制。不要只是在数据上闲逛。

5.预注册

约束您将以正式方式进行的分析。在查看数据之前，写下要进行的分析，预测是一个很好的工具，可以帮助您实现这一目标，由于许多其他原因，预注册非常出色，阅读它，或向您的开放科学方法警察询问更多信息。

开班信息

【武汉28期】CPDA数据分析师线下培训开班公告

https://www.chinacpda.com/openclass/detail/?id=2681

【北京108期】CPDA数据分析师线下培训开班公告

https://www.chinacpda.com/openclass/detail/?id=2645

【上海60期】CPDA数据分析师线下培训开班公告

https://www.chinacpda.com/openclass/detail/?id=2706

CPDA企业内训

https://www.cpda.cn/trainning/

大数据人才培养优秀合作机构受邀参会交流经验

https://www.chinacpda.com/data/detail/?id=2729