作者|LAKSHAY ARORA
编译|Flin
起源|analyticsvidhya

介绍

随着互联网的遍及，咱们当初正以前所未有的速度生成数据。因为执行任何类型的剖析都须要咱们从数据库中收集/查问必要的数据，所以抉择正确的工具来查问数据变得至关重要。因而，咱们无奈设想应用SQL来解决如此大量的数据，因为每个查问的老本都很高。

这正是MongoDB的用武之地。MongoDB是一个非结构化数据库，以文档模式存储数据。此外，MongoDB可能十分高效地解决大量数据，并且是应用最宽泛的NoSQL数据库，因为它提供了丰盛的查询语言以及对数据的灵便而疾速的拜访。

在本文中，咱们将看到无关如何应用PyMongo查问MongoDB数据库的多个示例。此外，咱们将看到如何应用比拟运算符和逻辑运算符，正则表达式以及聚合管道的基础知识。

本文是MongoDB初学者教程（https://www.analyticsvidhya.c...） 的连续，其中咱们探讨了非结构化数据库，装置步骤和MongoDB基本操作的挑战。因而，如果你是MongoDB的初学者，我倡议你先浏览该文章。

目录

  1. 什么是PyMongo？
  2. 装置步骤
  3. 将数据插入数据库

  4. 查询数据库

    1. 依据字段过滤
    2. 依据比拟运算符进行过滤
    3. 基于逻辑运算符的过滤
    4. 罕用表白
    5. 聚合管道
  5. 尾注

什么是PyMongo？

PyMongo是一个Python库，使咱们可能与MongoDB连贯。此外，这是MongoDB和Python一起应用的最举荐的办法。

另外，咱们抉择Python与MongoDB进行交互，因为它是数据迷信中最罕用且性能最弱小的语言之一。PyMongo容许咱们应用相似于字典的语法来检索数据。

如果你是Python的初学者，我倡议你加入此收费课程：Python入门。

  • https://courses.analyticsvidh...

装置步骤

装置PyMongo十分简单明了。在这里，我假如你曾经装置了Python 3和MongoDB。以下命令将帮忙你装置PyMongo：

pip3 install pymongo

将数据插入数据库

当初让咱们进行设置，而后再应用PyMongo查问MongoDB数据库。首先，咱们将数据插入数据库。以下步骤将为你提供帮忙

  1. 导入库并连贯到mongo客户端

在计算机上启动MongoDB服务器。我假如它正在localhost:27017运行文件。

让咱们开始导入一些咱们将要应用的库。默认状况下，MongoDB服务器在本地计算机上的端口27017上运行。而后，咱们将应用pymongo库连贯到MongoDB客户端。

而后获取数据库sample_db的数据库实例。万一它不存在，MongoDB将为你创立一个。

# 导入所需的库import pymongoimport pprintimport jsonimport warningswarnings.filterwarnings('ignore')# 连贯到mongoclientclient = pymongo.MongoClient('mongodb://localhost:27017')# 获取数据库database = client['sample_db']
  1. 从JSON文件创建汇合

咱们将应用在多个城市经营的一家送餐公司的数据。此外，他们在这些城市设有各种配送核心，用于向其顾客发送餐单。你能够在此处下载数据和代码。

  • https://drive.google.com/driv...

  1. weekly_demand：

    • id：每个文档的惟一ID
    • week：周号
    • center_id：配送核心的惟一ID
    • meal_id：餐的惟一ID
    • checkout_price：最终价格，包含折扣，税金和送货费
    • base_price：餐的根本价格
    • emailer_for_promotion：发送电子邮件以促成进餐
    • homepage_featured：首页提供的餐点
    • num_orders：（指标）订单数

  2. meal_info：

    • meal_id：餐的惟一ID
    • category：餐食类型（饮料/小吃/汤……）
    • cuisine：美食（印度/意大利/…）

而后，咱们将在sample_db数据库中创立两个汇合：

# 创立每周需要收集database.create_collection("weekly_demand")# 创立餐食信息database.create_collection("meal_info")

  1. 将数据插入汇合

当初，咱们领有的数据为JSON格局。而后，咱们将取得汇合的实例，读取数据文件，并应用insert_many函数插入数据。

# 获取collection weekly_demandweekly_demand_collection = database.get_collection("weekly_demand")# 关上weekly_demand json文件with open("weekly_demand.json") as f:    file_data = json.load(f)# 将数据插入汇合weekly_demand_collection.insert_many(file_data)# 获取总数据点数    weekly_demand_collection.find().count()# >> 456548# 获取珍藏餐 meal_info_collection = database.get_collection("meal_info")# 关上meat_info json文件with open("meal_info.json") as f:    file_data = json.load(f)    # 将数据插入汇合meal_info_collection.insert_many(file_data)# 获取总数据点数meal_info_collection.find().count()# >> 51

最初，在weekly_demand_collection中有456548个文档，在餐信息汇合中有51个文档。当初，让咱们看一下每个汇合中的一个文档。

weekly_demand_collection

weekly_demand_collection.find_one()

膳食信息集

meal_info_collection.find_one()

当初，咱们的数据已准备就绪。让咱们持续查问该数据库。

查询数据库

咱们能够应用带有查找性能的PyMonfo查问MongoDB数据库，以获取满足给定条件的所有后果，还能够应用find_one函数，该函数将仅返回满足条件的一个后果。

以下是find和find_one的语法：

your_collection.find( {<< query >>} , { << fields>>} )

你能够应用以下过滤技术查询数据库

  1. 依据字段过滤

例如，你有数百个字段，而你只想看到其中的几个。你能够通过将所有必填字段名称都设置为值1来实现此目标。例如，

weekly_demand_collection.find_one( {}, { "week": 1, "checkout_price" : 1})

另一方面，如果只想从整个文档中抛弃一些字段，则能够将字段名称设置为等于0。因而，将仅排除那些字段。请留神，你不能应用1和0的组合来获取字段。要么全副为一，要么全副为零。

weekly_demand_collection.find_one( {}, {"num_orders" : 0, "meal_id" : 0})

  1. 过滤条件

当初，在本节中，咱们将在第一个大括号中提供一个条件，并在第二个中删除该字段。因而，它将返回center_id等于55且meal_id等于1885的第一个文档，并且还将抛弃字段_id和week。

weekly_demand_collection.find_one( {"center_id" : 55, "meal_id" : 1885}, {"_id" : 0, "week" : 0} )

  1. 依据比拟运算符进行过滤

以下是MongoDB中的9个比拟运算符。

名称形容
$eq它将匹配等于指定值的值。
$gt它将匹配大于指定值的值。
$gte它将匹配所有大于或等于指定值的值
$in它将匹配数组中指定的任何值
$lt它将匹配所有小于指定值的值
$lte它将匹配所有小于或等于指定值的值
$ne它将匹配所有不等于指定值的值
$nin它将不匹配数组中指定的任何值

以下是应用这些比拟运算符的一些示例

  1. 等于和不等于

咱们将找到center_id等于55且homepage_featured不等于0的所有文档。因为咱们将应用find函数，因而它将返回该命令的游标。此外，应用for循环遍历查问后果。

result_1 = weekly_demand_collection.find({    "center_id" : { "$eq" : 55},    "homepage_featured" : { "$ne" : 0}})for i in result_1:    print(i)

  1. 在列表中和不在列表中

例如，你须要将一个元素与多个元素匹配。在这种状况下，咱们能够应用$ in 运算符，而不是屡次应用 $eq运算符。咱们将尝试找出center_id为24或11的所有文档。

result_2 = weekly_demand_collection.find({    "center_id" : { "$in" : [ 24, 11] }})for i in result_2:    print(i)

而后，咱们找到所有在指定列表中不存在center_id的文档。以下查问将返回center_id不是24也不是11的所有文档。

result_3 = weekly_demand_collection.find({    "center_id" : { "$nin" : [ 24, 11] }})for i in result_3:    print(i)

  1. 小于和大于

当初，让咱们查找center_id为55并且checkout_price大于100且小于200的所有文档。为此，请应用以下语法

result_4 = weekly_demand_collection.find({    "center_id" : 55,    "checkout_price" : { "$lt" : 200, "$gt" : 100}})for i in result_4:    print(i)

  1. 基于逻辑运算符的过滤器
名称形容
$and它将查问语句与逻辑连接起来，AND返回同时合乎这两个条件的所有文档。
$not它将反转查问的后果，并返回与查问表达式不匹配的文档。
$nor它将应用逻辑将查问子句连接起来，NOR返回所有与子句不匹配的文档。
$or它将应用逻辑将查问子句连接起来，OR返回匹配任一子句条件的所有文档。

以下示例阐明了逻辑运算符的用法-

  1. AND运算符

上面的查问将返回center_id等于11，餐号不等于1778的文档。AND运算符的子查问将呈现在列表中。

result_5 = weekly_demand_collection.find({    "$and" : [{                 "center_id" : { "$eq" : 11}              },              {                   "meal_id" : { "$ne" : 1778}              }]})for i in result_5:    print(i)

  1. 或运算符

以下查问将返回center_id等于11或餐ID为1207或2707的所有文档。此外，or运算符的子查问将位于列表内。

result_6 = weekly_demand_collection.find({    "$or" : [{                 "center_id" : { "$eq" : 11}              },              {                   "meal_id" : { "$in" : [1207, 2707]}              }]})for i in result_6:    print(i)

  1. 用正则表达式过滤

当你有文本字段并且要搜寻具备特定模式的文档时，正则表达式十分有用。如果你想理解无关正则表达式的更多信息，我强烈建议你浏览本文：Python正则表达式初学者教程。

  • https://www.analyticsvidhya.c...

它能够与运算符 $regex 一起应用，并且咱们能够为运算符提供值，使regex模式变为matc。咱们将在该查问中应用餐信息集，而后找到在美食字段中以C结尾的文档。

result_7 = meal_info_collection.find({    "cuisine" : { "$regex" : "^C" }})for i in result_7:    print(i)

让咱们再来看一个正则表达式的例子。咱们将查找所有类别以“ S”结尾且以“ ian ” 结尾的所有文档。

result_8 = meal_info_collection.find({    "$and" : [        {             "category" : {            "$regex" : "^S"        }},        {            "cuisine" : {                "$regex" : "ian$"        }}    ]})for i in result_8:    print(i)

  1. 聚合管道

MongoDB的聚合管道提供了一个框架，能够对数据集执行一系列数据转换。以下是其语法：

your_collection.aggregate( [ { <stage1> }, { <stage2> },.. ] )

第一个阶段将残缺的文档集作为输出，而后每个随后的阶段都将上一个转换的后果集作为下一个阶段的输出并产生输入。

MongoDB汇总中大概有10种转换可用，在本文中咱们将看到$ match和$ group。咱们将在行将发表的MongoDB文章中具体探讨每个转换。

例如，在第一阶段，咱们将匹配center_id等于11的文档，在下一阶段，它将对center_id等于11的文档数量进行计数。请留神，咱们曾经为$count运算符调配了一个值，该值等于第二阶段中的total_rows，这是咱们心愿在输入中显示的字段的名称。

result_9 = weekly_demand_collection.aggregate([    ## stage 1    {        "$match" :                  {"center_id" : {"$eq" : 11 } }    },    ## stage 2    {        "$count" : "total_rows"    }])for i in result_9:    print(i)

当初，让咱们再举一个例子，第一个阶段与之前雷同，即center_id等于11，在第二个阶段中，咱们要计算center_id 11的字段num_orders的平均值和center_id 11的惟一meal_ids。

result_10 = weekly_demand_collection.aggregate([    ## stage 1    {        "$match" :                  {"center_id" : {"$eq" : 11 } }    },    ## stage 2    {        "$group" : { "_id" : 0 ,                     "average_num_orders": { "$avg" : "$num_orders"},                     "unique_meal_id" : {"$addToSet" : "$meal_id"}}     }])for i in result_10:    print(i)

尾注

现在, 数据量之大令人难以置信，因而有必要找到更好的代替办法来查问数据。总而言之，在本文中，咱们学习了如何应用PyMongo查问MongoDB数据库。此外，咱们理解了如何依据所需状况利用各种过滤器。

如果你想理解无关查问数据的更多信息，我倡议你学习以下课程 —— 数据迷信的结构化查询语言（SQL）

  • https://courses.analyticsvidh...

在接下来的文章中，咱们将具体探讨聚合管道。

感激浏览！

原文链接：https://www.analyticsvidhya.c...

欢送关注磐创AI博客站：
http://panchuang.net/

sklearn机器学习中文官网文档：
http://sklearn123.com/

欢送关注磐创博客资源汇总站：
http://docs.panchuang.net/