共计 2547 个字符，预计需要花费 7 分钟才能阅读完成。
💡 作者：韩信子 @ShowMeAI
📘 数据分析实战系列：http://www.showmeai.tech/tutorials/40
📘 本文地址：http://www.showmeai.tech/article-detail/304
📢 申明：版权所有，转载请分割平台与作者并注明出处
📢 珍藏 ShowMeAI 查看更多精彩内容
Python 具备极其沉闷的社区和笼罩全畛域的第三方库工具库，近年来始终位居编程语言热度头部地位，而数据迷信畛域最受欢迎的 python 工具库之一是 Pandas。随着这么多年来的社区高速倒退和海量的开源贡献者，使得 pandas 简直能够胜任任何数据处理工作。
Pandas 的性能与函数极其丰富，要齐全记住和把握是不事实的（也没有必要），资深数据分析师和数据科学家最常应用的大略有二三十个函数。在本篇内容中，ShowMeAI 把这些性能函数总结为 10 类。熟练掌握它们，你就能够轻松解决 80% 以上的数据处理问题。
也举荐大家浏览 ShowMeAI 针对数据分析编写的教程和速查表，疾速成为数据洞察高手！
- 图解数据分析：从入门到精通系列教程
- 数据迷信工具库速查表 | Pandas 速查表
💡 1. 读取数据
咱们常常要从内部源读取数据，基于不同的源数据格式，咱们能够应用对应的 read_* 性能：
read_csv：咱们读取 CSV 格局数据时应用它。这个函数的应用留神点包含header（是否有表头以及哪一行是表头），sep（分隔符），和usecols（要应用的列 / 字段的子集）。read_excel：读取 Excel 格式文件时应用它。这个函数的应用留神点包含sheet_name（哪个表）和题目。read_pickle：读取 pickle 格局存储的文件时应用，这个格局的劣势是比 CSV 和 Excel 快很多。read_sas: 我常常应用这个性能，因为我已经应用 SAS 来解决数据。
💡 2. 写入数据
解决完数据后，咱们可能会把解决后的 DataFrame 保留下来，最罕用的文件写入函数如下：
to_csv: 写入 CSV 文件。留神：它不保留某些数据类型（例如日期）。很多状况下咱们会将参数索引设置为False，这样就不必额定的列来显示数据文件中的索引。to_excel: 写入 Excel 文件。to_pickle：写入 pickle 文件。这是倡议的写入格局，读写的速度都十分快。
💡 3. 数据概览
将数据成 DataFrame 格局后，咱们最好对数据有一个初步的理解，以下是最罕用到的几个数据概览函数，能提供数据的根本信息。
head：返回前几行，通常用于检查数据是否正确读取，以及理解数据字段和状态等根本信息。tail：查看最初几行。在解决大文件时，读取可能不残缺，能够通过它查看是否残缺读取数据。info：数据集的总体摘要：包含列的数据类型和内存应用状况等信息。describe：提供数据集的描述性摘要（比方间断值的统计信息、类别型字段的频次信息等）。shape: 行数和列数（留神，这是 Dataframe 的属性，而非函数）。
💡 4. 数据排序
咱们常常须要对数据进行排序，Dataframe 有一个重要的排序函数。
sort_values：通过指定列名对数据进行排序，能够调整升序或者降序规定。
💡 5. 解决反复
咱们手上的数据集很可能存在重复记录，某些数据意外两次输出到数据源中，荡涤数据时删除反复项很重要。以下函数很罕用：
duplicated: 辨认 DataFrame 中是否有反复，能够指定应用哪些列来标识反复项。drop_duplicates：从 DataFrame 中删除反复项。个别倡议大家先应用duplicated查看反复项，确定业务上须要删除反复项，再应用这个函数。
💡 6. 解决缺失值
事实数据集中根本都会存在缺失值的状况，上面这些函数常被用作检查和解决缺失值。
isnull：查看您的 DataFrame 是否缺失。dropna: 对数据做删除解决。留神它有很重要的参数how（如何确定察看是否被抛弃）和thred（int 类型，保留缺失值的数量）。fillna: 用指定的办法填充缺失值，例如向前填充 (ffill)。
💡 7. 数据处理
一个字段可能蕴含很多信息，咱们能够应用以下函数对字段进行数据处理和信息抽取：
map：通常应用 map 对字段进行映射操作（基于一些操作函数），如df[“sub_id”] = df[“temp_id”].map(lambda x: int(x[-4:])).apply：通过多列的数据创立新的字段，在创立新列时常常须要指定axis=1。
💡 8. 数据透视
Dataframe 有 2 种常见数据：
- 『宽』格局，指的是每一行代表一条记录（样本），每一列是一个观测维度（特色）。
- 『长』格局，在这种格局中，一个主题有多行，每一行能够代表某个工夫点的度量。
咱们会在这两种格局之间转换。
melt：将宽表转换为长表。留神：重要参数id_vars（对于标识符）和value_vars（其值对值列有奉献的列的列表）。pivot：将长表转换为宽表。留神：重要参数index（惟一标识符），columns（列成为值列），和values（具备值的列）。
💡 9. 合并数据集
咱们对多个数据集 Dataframe 合并的时候，可能用到下列的函数（包含表关联和拼接）。
merge：基于某些字段进行表关联。重要的参数包含on（连贯字段），how（例如内连贯或左连贯，或外连贯），以及suffixes（雷同字段合并后的后缀）。concat：沿行或列拼接 DataFrame 对象。当咱们有多个雷同形态 / 存储雷同信息的 DataFrame 对象时，它很有用。
💡 10. 分组统计
咱们常常会须要对数据集进行分组统计操作，罕用的函数包含：
groupby：创立一个 GroupBy 分组对象，能够基于一列或多列进行分组。mean：您能够在 GroupBy 分组对象上调用 mean 来计算均值。其余的罕用统计信息包含标准差std。size: 分组的频率agg：聚合函数。包含罕用的统计办法，也能够本人定义。
参考资料
- 📘 图解数据分析：从入门到精通系列教程 ：http://www.showmeai.tech/tutorials/33
- 📘 数据迷信工具库速查表 | Pandas 速查表 ：http://www.showmeai.tech/article-detail/101
