探索性数据分析是数据迷信模型开发和数据集钻研的重要组成部分之一。在拿到一个新数据集时首先就须要破费大量工夫进行EDA来钻研数据集中外在的信息。自动化的EDA软件包能够用几行Python代码执行EDA。在本文中整顿了10个能够主动执行EDA并生成无关数据的见解的软件包，看看他们都有什么性能，能在多大程度上帮咱们自动化解决EDA的需要。

1) DTale2) Pandas-profiling3) sweetviz4) autoviz5) dataprep6) KLib7) dabl8) speedML9) datatile10) edaviz

1、D-Tale

D-Tale应用Flask作为后端、React前端并且能够与ipython notebook和终端无缝集成。D-Tale能够反对Pandas的DataFrame, Series, MultiIndex, DatetimeIndex和RangeIndex。

import dtaleimport pandas as pddtale.show(pd.read_csv("titanic.csv"))

D-Tale库用一行代码就能够生成一个报告，其中蕴含数据集、相关性、图表和热图的总体总结，并突出显示缺失的值等。D-Tale还能够为报告中的每个图表进行剖析，下面截图中咱们能够看到图表是能够进行交互操作的。

2、Pandas-Profiling

Pandas-Profiling能够生成Pandas DataFrame的概要报告。panda-profiling扩大了pandas DataFrame df.profile_report()，并且在大型数据集上工作得十分好，它能够在几秒钟内创立报告。

#Install the below libaries before importingimport pandas as pdfrom pandas_profiling import ProfileReport#EDA using pandas-profilingprofile = ProfileReport(pd.read_csv('titanic.csv'), explorative=True)#Saving results to a HTML fileprofile.to_file("output.html")

3、Sweetviz

Sweetviz是一个开源的Python库，只须要两行Python代码就能够生成丑陋的可视化图，将EDA(探索性数据分析)作为一个HTML应用程序启动。Sweetviz包是围绕疾速可视化目标值和比拟数据集构建的。

import pandas as pdimport sweetviz as sv#EDA using Autovizsweet_report = sv.analyze(pd.read_csv("titanic.csv"))#Saving results to HTML filesweet_report.show_html('sweet_report.html')

Sweetviz库生成的报告蕴含数据集、相关性、分类和数字特色关联等的总体总结。

4、AutoViz

Autoviz包能够用一行代码主动可视化任何大小的数据集，并主动生成HTML、bokeh等报告。用户能够与AutoViz包生成的HTML报告进行交互。

import pandas as pdfrom autoviz.AutoViz_Class import AutoViz_Class#EDA using Autovizautoviz = AutoViz_Class().AutoViz('train.csv')

5、Dataprep

Dataprep是一个用于剖析、筹备和解决数据的开源Python包。DataPrep构建在Pandas和Dask DataFrame之上，能够很容易地与其余Python库集成。

DataPrep的运行速度这10个包中最快的，他在几秒钟内就能够为Pandas/Dask DataFrame生成报告。

from dataprep.datasets import load_datasetfrom dataprep.eda import create_reportdf = load_dataset("titanic.csv")create_report(df).show_browser()

6、Klib

klib是一个用于导入、清理、剖析和预处理数据的Python库。

import klibimport pandas as pddf = pd.read_csv('DATASET.csv')klib.missingval_plot(df)

klib.corr_plot(df_cleaned, annot=False)

klib.dist_plot(df_cleaned['Win_Prob'])

klib.cat_plot(df, figsize=(50,15))

klibe尽管提供了很多的剖析函数，然而对于每一个剖析须要咱们手动的编写代码，所以只能说是半自动化的操作，然而如果咱们须要更定制化的剖析，他是十分不便的。

7、Dabl

Dabl不太关注单个列的统计度量，而是更多地关注通过可视化提供疾速概述，以及不便的机器学习预处理和模型搜寻。

dabl中的Plot()函数能够通过绘制各种图来实现可视化，包含:

  • 指标分布图
  • 散射对图
  • 线性判别分析
import pandas as pdimport dabldf = pd.read_csv("titanic.csv")dabl.plot(df, target_col="Survived")

8、Speedml

SpeedML是用于疾速启动机器学习管道的Python包。SpeedML整合了一些罕用的ML包，包含Pandas，Numpy，Sklearn，Xgboost和Matplotlib，所以说其实SpeedML不仅仅蕴含自动化EDA的性能。

SpeedML官网说，应用它能够基于迭代进行开发，将编码工夫缩短了70％。

from speedml import Speedmlsml = Speedml('../input/train.csv', '../input/test.csv',               target = 'Survived', uid = 'PassengerId')sml.plot.correlate()

sml.plot.distribute()

sml.plot.ordinal('Parch')

sml.plot.continuous('Age')

9、DataTile

DataTile（以前称为Pandas-Summary）是一个开源的Python软件包，负责管理，汇总和可视化数据。DataTile基本上是PANDAS DataFrame describe（）函数的扩大。

import pandas as pdfrom datatile.summary.df import DataFrameSummarydf = pd.read_csv('titanic.csv')dfs = DataFrameSummary(df)dfs.summary()

10、edaviz

edaviz是一个能够在Jupyter Notebook和Jupyter Lab中进行数据摸索和可视化的python库，他原本是十分好用的，然而起初被砖厂(Databricks)收买并且整合到bamboolib 中，所以这里就简略的给个演示。

总结

在本文中，咱们介绍了10个主动探索性数据分析Python软件包，这些软件包能够在几行Python代码中生成数据摘要并进行可视化。通过自动化的工作能够节俭咱们的很多工夫。

Dataprep是我最罕用的EDA包，AutoViz和D-table也是不错的抉择，如果你须要定制化剖析能够应用Klib，SpeedML整合的货色比拟多，独自应用它啊进行EDA剖析不是特地的实用，其余的包能够依据集体爱好抉择，其实都还是很好用的，最初edaviz就不要思考了，因为曾经不开源了。

https://avoid.overfit.cn/post/d4fef866d3ab428b8e2939859bbef2fa

作者：Satyam Kumar