关于人工智能:5个例子学会Pandas中的字符串过滤

要解决文本数据，须要比数字类型的数据更多的清理步骤。为了从文本数据中提取有用和信息，通常须要执行几个预处理和过滤步骤。

Pandas 库有许多能够轻松简略地解决文本数据函数和办法。在本文中，我介绍将学习 5 种可用于过滤文本数据（即字符串）的不同办法：

• 是否蕴含一系列字符
• 求字符串的长度
• 判断以特定的字符序列开始或完结
• 判断字符为数字或字母数字
• 查找特定字符序列的呈现次数

首先咱们导入库和数据

 import pandas as pd
 df = pd.read_csv("example.csv")
 df

咱们这个样例的 DataFrame 蕴含 6 行和 4 列。咱们将应用不同的办法来解决 DataFrame 中的行。第一个过滤操作是查看字符串是否蕴含特定的单词或字符序列，应用 contains 办法查找形容字段蕴含“used car”的行。然而要取得 pandas 中的字符串须要通过 Pandas 的 str 拜访器，代码如下：

 df[df["description"].str.contains("used car")]

然而为了在这个 DataFrame 中找到所有的二手车，咱们须要别离查找“used”和“car”这两个词，因为这两个词可能同时呈现，然而并不是连贯在一起的：

 df[df["description"].str.contains("used") &
    df["description"].str.contains("car")]

能够看到最初一行蕴含“car”和“used”，但不是一起。

下一个办法是依据字符串的长度进行过滤。假如咱们只对超过 15 个字符的形容感兴趣。能够应用内置的 len 函数来执行此操作，如下所示：

 df[df["description"].apply(lambda x: len(x) > 15)]

这里就须要编写了一个 lambda 表达式，通过在表达式中应用 len 函数获取长度并应用 apply 函数将其利用到每一行。执行此操作的更罕用和无效的办法是通过 str 拜访器来进行：

 df[df["description"].str.len() > 15]

咱们能够别离应用 startswith 和 endswith 基于字符串的第一个或最初一个字母进行过滤。

 df[df["lot"].str.startswith("A")]

这个办法也可能查看前 n 个字符。例如，咱们能够抉择以“A-0”结尾的行：

 df[df["lot"].str.startswith("A-0")]

Python 的内置的字符串函数都能够利用到 Pandas DataFrames 中。例如，在价格列中，有一些非数字字符，如 $ 和 k。咱们能够应用 isnumeric 函数过滤掉。

 df[df["price"].apply(lambda x: x.isnumeric()==True)]

同样如果须要保留字母数字（即只有字母和数字），能够应用 isalphanum 函数，用法与下面雷同。

count 办法能够计算单个字符或字符序列的呈现次数。例如，查找一个单词或字符呈现的次数。

咱们这里统计形容栏中的“used”的呈现次数：

 df["description"].str.count("used")
 
 # 后果
 0    1
 1    0
 2    1
 3    1
 4    1
 5    0
 Name: description, dtype: int64

如果想应用它进行条件过滤，只需将其与一个值进行比拟，如下所示：

 df[df["description"].str.count("used") < 1]

非常简单吧

本文介绍了基于字符串值的 5 种不同的 Pandas DataFrames 形式。尽管个别状况下咱们更关注数值类型的数据，但文本数据同样重要，并且蕴含许多有价值的信息。可能对文本数据进行清理和预处理对于数据分析和建模至关重要。

https://avoid.overfit.cn/post/636266a8e77644f6b18cb0077fcccfe2