共计 3303 个字符，预计需要花费 9 分钟才能阅读完成。
探索性数据分析是数据迷信模型开发和数据集钻研的重要组成部分之一。在拿到一个新数据集时首先就须要破费大量工夫进行 EDA 来钻研数据集中外在的信息。自动化的 EDA 软件包能够用几行 Python 代码执行 EDA。在本文中整顿了 10 个能够主动执行 EDA 并生成无关数据的见解的软件包，看看他们都有什么性能，能在多大程度上帮咱们自动化解决 EDA 的需要。
1) DTale
2) Pandas-profiling
3) sweetviz
4) autoviz
5) dataprep
6) KLib
7) dabl
8) speedML
9) datatile
10) edaviz1、D-Tale
D-Tale 应用 Flask 作为后端、React 前端并且能够与 ipython notebook 和终端无缝集成。D-Tale 能够反对 Pandas 的 DataFrame, Series, MultiIndex, DatetimeIndex 和 RangeIndex。
import dtale
import pandas as pd
dtale.show(pd.read_csv("titanic.csv"))D-Tale 库用一行代码就能够生成一个报告，其中蕴含数据集、相关性、图表和热图的总体总结，并突出显示缺失的值等。D-Tale 还能够为报告中的每个图表进行剖析，下面截图中咱们能够看到图表是能够进行交互操作的。
2、Pandas-Profiling
Pandas-Profiling 能够生成 Pandas DataFrame 的概要报告。panda-profiling 扩大了 pandas DataFrame df.profile_report()，并且在大型数据集上工作得十分好，它能够在几秒钟内创立报告。
#Install the below libaries before importing
import pandas as pd
from pandas_profiling import ProfileReport
#EDA using pandas-profiling
profile = ProfileReport(pd.read_csv('titanic.csv'), explorative=True)
#Saving results to a HTML file
profile.to_file("output.html")3、Sweetviz
Sweetviz 是一个开源的 Python 库，只须要两行 Python 代码就能够生成丑陋的可视化图，将 EDA(探索性数据分析)作为一个 HTML 应用程序启动。Sweetviz 包是围绕疾速可视化目标值和比拟数据集构建的。
import pandas as pd
import sweetviz as sv
#EDA using Autoviz
sweet_report = sv.analyze(pd.read_csv("titanic.csv"))
#Saving results to HTML file
sweet_report.show_html('sweet_report.html')Sweetviz 库生成的报告蕴含数据集、相关性、分类和数字特色关联等的总体总结。
4、AutoViz
Autoviz 包能够用一行代码主动可视化任何大小的数据集，并主动生成 HTML、bokeh 等报告。用户能够与 AutoViz 包生成的 HTML 报告进行交互。
import pandas as pd
from autoviz.AutoViz_Class import AutoViz_Class
#EDA using Autoviz
autoviz = AutoViz_Class().AutoViz('train.csv')5、Dataprep
Dataprep 是一个用于剖析、筹备和解决数据的开源 Python 包。DataPrep 构建在 Pandas 和 Dask DataFrame 之上，能够很容易地与其余 Python 库集成。
DataPrep 的运行速度这 10 个包中最快的，他在几秒钟内就能够为 Pandas/Dask DataFrame 生成报告。
from dataprep.datasets import load_dataset
from dataprep.eda import create_report
df = load_dataset("titanic.csv")
create_report(df).show_browser()6、Klib
klib 是一个用于导入、清理、剖析和预处理数据的 Python 库。
import klib
import pandas as pd
df = pd.read_csv('DATASET.csv')
klib.missingval_plot(df)klib.corr_plot(df_cleaned, annot=False)klib.dist_plot(df_cleaned['Win_Prob'])klib.cat_plot(df, figsize=(50,15))klibe 尽管提供了很多的剖析函数，然而对于每一个剖析须要咱们手动的编写代码，所以只能说是半自动化的操作，然而如果咱们须要更定制化的剖析，他是十分不便的。
7、Dabl
Dabl 不太关注单个列的统计度量，而是更多地关注通过可视化提供疾速概述，以及不便的机器学习预处理和模型搜寻。
dabl 中的 Plot()函数能够通过绘制各种图来实现可视化，包含:
- 指标分布图
- 散射对图
- 线性判别分析
import pandas as pd
import dabl
df = pd.read_csv("titanic.csv")
dabl.plot(df, target_col="Survived")8、Speedml
SpeedML 是用于疾速启动机器学习管道的 Python 包。SpeedML 整合了一些罕用的 ML 包，包含 Pandas，Numpy，Sklearn，Xgboost 和 Matplotlib，所以说其实 SpeedML 不仅仅蕴含自动化 EDA 的性能。
SpeedML 官网说，应用它能够基于迭代进行开发，将编码工夫缩短了 70%。
from speedml import Speedml
sml = Speedml('../input/train.csv', '../input/test.csv',
target = 'Survived', uid = 'PassengerId')
sml.plot.correlate()
sml.plot.distribute()sml.plot.ordinal('Parch')sml.plot.continuous('Age')9、DataTile
DataTile（以前称为 Pandas-Summary）是一个开源的 Python 软件包，负责管理，汇总和可视化数据。DataTile 基本上是 PANDAS DataFrame describe（）函数的扩大。
import pandas as pd
from datatile.summary.df import DataFrameSummary
df = pd.read_csv('titanic.csv')
dfs = DataFrameSummary(df)
dfs.summary()10、edaviz
edaviz 是一个能够在 Jupyter Notebook 和 Jupyter Lab 中进行数据摸索和可视化的 python 库，他原本是十分好用的，然而起初被砖厂 (Databricks) 收买并且整合到 bamboolib 中，所以这里就简略的给个演示。
总结
在本文中，咱们介绍了 10 个主动探索性数据分析 Python 软件包，这些软件包能够在几行 Python 代码中生成数据摘要并进行可视化。通过自动化的工作能够节俭咱们的很多工夫。
Dataprep 是我最罕用的 EDA 包，AutoViz 和 D -table 也是不错的抉择，如果你须要定制化剖析能够应用 Klib，SpeedML 整合的货色比拟多，独自应用它啊进行 EDA 剖析不是特地的实用，其余的包能够依据集体爱好抉择，其实都还是很好用的，最初 edaviz 就不要思考了，因为曾经不开源了。
https://avoid.overfit.cn/post/d4fef866d3ab428b8e2939859bbef2fa
作者：Satyam Kumar
