celery 学习笔记整顿4大模块 近30页 第一期

明天我将带来celery相干常识第一期，后续的话文章会缓缓公布

残缺笔记地址：

celery 学习笔记整顿4大模块 近30页 （第一期） - 知乎 (zhihu.com)

1. 问题抛出

咱们在做网站后端程序开发时，会碰到这样的需要：用户须要在咱们的网站填写注册信息，咱们发给用户一封注册激活邮件到用户邮箱，如果因为各种起因，这封邮件发送所需工夫较长，那么客户端将会期待很久，造成不好的用户体验.

那么怎么解决这样的问题呢?

咱们将耗时工作放到后盾异步执行。不会影响用户其余操作。除了注册性能，例如上传，图形处理等等耗时的工作，都能够依照这种思路来解决。 如何实现异步执行工作呢？咱们可应用celery. celery除了方才所波及到的异步执行工作之外，还能够实现定时解决某些工作。

celery介绍

Celery是一个性能齐备即插即用的工作队列。它使得咱们不须要思考简单的问题，应用非常简单。celery看起来仿佛很宏大，本章节咱们先对其进行简略的理解，而后再去学习其余一些高级个性。 celery实用异步解决问题，当发送邮件、或者文件上传, 图像处理等等一些比拟耗时的操作，咱们可将其异步执行，这样用户不须要期待很久，进步用户体验。 celery的特点是：
  • 简略，易于应用和保护，有丰盛的文档。
  • 高效，单个celery过程每分钟能够解决数百万个工作。
  • 灵便，celery中简直每个局部都能够自定义扩大。
celery十分易于集成到一些web开发框架中.

工作队列是一种跨线程、跨机器工作的一种机制.

工作队列中蕴含称作工作的工作单元。有专门的工作过程继续一直的监督工作队列，并从中取得新的工作并解决.

celery通过音讯进行通信，通常应用一个叫Broker(中间人)来协client(工作的收回者)和worker(工作的解决者). clients收回音讯到队列中，broker将队列中的信息派发给worker来解决。

一个celery零碎能够蕴含很多的worker和broker，可加强横向扩展性和高可用性能。

咱们能够应用python的包管理器pip来装置:
pip install -U Celery
也可从官网间接下载安装包:https://pypi.python.org/pypi/...
tar xvfz celery-0.0.0.tar.gzcd celery-0.0.0python setup.py buildpython setup.py install
Celery须要一种解决音讯的发送和承受的形式，咱们把这种用来存储音讯的的两头安装叫做message broker, 也可叫做音讯中间人。 作为中间人，咱们有几种计划可抉择：

1.RabbitMQ

RabbitMQ是一个性能齐备，稳固的并且易于装置的broker. 它是生产环境中最优的抉择。应用RabbitMQ的细节参照以下链接： http://docs.celeryproject.org/en/latest/getting- started/brokers/rabbitmq.html#broker-rabbitmq

如果咱们应用的是Ubuntu或者Debian发行版的Linux，能够间接通过上面的命令装置RabbitMQ: sudo apt-get install rabbitmq-server 装置结束之后，RabbitMQ-server服务器就曾经在后盾运行。如果您用的并不是Ubuntu或Debian, 能够在以下网址： http://www.rabbitmq.com/downl... 去查找本人所须要的版本软件。

2.Redis

Redis也是一款性能齐备的broker可选项，然而其更可能因意外中断或者电源故障导致数据失落的状况。 对于是有那个Redis作为Broker，可访上面网址： http://docs.celeryproject.org/en/latest/getting- started/brokers/redis.html#broker-redis

应用celery第一件要做的最为重要的事件是须要先创立一个Celery实例，咱们个别叫做celery利用，或者更简略间接叫做一个app。app利用是咱们应用celery所有性能的入口，比方创立工作，治理工作等，在应用celery的时候，app必须可能被其余的模块导入。

1.创立利用

咱们首先创立tasks.py模块, 其内容为:

from celery import Celery# 咱们这里案例应用redis作为brokerapp = Celery('demo', broker='redis://:[email protected]/1')# 创立工作函数@app.taskdef my_task():    print("工作函数正在执行....")

Celery第一个参数是给其设定一个名字， 第二参数咱们设定一个中间人broker, 在这里咱们应用Redis作为中间人。my_task函数是咱们编写的一个工作函数， 通过加上装璜器app.task, 将其注册到broker的队列中。

当初咱们在创立一个worker， 期待解决队列中的工作.关上终端，cd到tasks.py同级目录中，执行命令:

celery -A tasks worker --loglevel=info

显示成果如下:

2.调用工作

工作退出到broker队列中，以便方才咱们创立的celery workder服务器可能从队列中取出工作并执行。如何将工作函数退出到队列中，可应用delay()。

进入python终端, 执行如下代码:

from tasks import my_taskmy_task.delay()

执行成果如下:

咱们通过worker的控制台，能够看到咱们的工作被worker解决。调用一个工作函数，将会返回一个AsyncResult对象，这个对象能够用来查看工作的状态或者取得工作的返回值。

3.存储后果

如果咱们想跟踪工作的状态，Celery须要将后果保留到某个中央。有几种保留的计划可选:SQLAlchemy、Django ORM、Memcached、 Redis、RPC (RabbitMQ/AMQP)。

例子咱们依然应用Redis作为存储后果的计划，工作后果存储配置咱们通过Celery的backend参数来设定。咱们将tasks模块批改如下:

from celery import Celery# 咱们这里案例应用redis作为brokerapp = Celery('demo',             backend='redis://:[email protected]:6379/2',             broker='redis://:[email protected]:6379/1')# 创立工作函数@app.taskdef my_task(a, b):    print("工作函数正在执行....")    return a + b

咱们给Celery减少了backend参数，指定redis作为后果存储,并将工作函数批改为两个参数，并且有返回值。

更多对于result对象信息，请参阅下列网址: http://docs.celeryproject.org/en/latest/reference/celery.result.html#module- celery.result

____

Celery应用简略，配置也非常简单。Celery有很多配置选项可能使得celery可能合乎咱们的须要，然而默认的几项配置曾经足够应酬大多数利用场景了。

配置信息能够间接在app中设置，或者通过专有的配置模块来配置。

1.间接通过app来配置

from celery import Celeryapp = Celery('demo')# 减少配置app.conf.update(    result_backend='redis://:[email protected]:6379/2',    broker_url='redis://:[email protected]:6379/1',)

2.专有配置文件

对于比拟大的我的项目，咱们倡议配置信息作为一个独自的模块。咱们能够通过调用app的函数来通知Celery应用咱们的配置模块。

配置模块的名字咱们取名为celeryconfig, 这个名字不是固定的，咱们能够任意取名，倡议这么做。咱们必须保障配置模块可能被导入。 配置模块的名字咱们取名为celeryconfig, 这个名字不是固定的，咱们能够任意取名，倡议这么做。咱们必须保障配置模块可能被导入。

上面咱们在tasks.py模块 同级目录下创立配置模块celeryconfig.py:

result_backend = 'redis://:[email protected]:6379/2'broker_url = 'redis://:[email protected]:6379/1'

tasks.py文件批改为:

from celery import Celeryimport celeryconfig# 咱们这里案例应用redis作为brokerapp = Celery('demo')# 从独自的配置模块中加载配置app.config_from_object('celeryconfig')

更多配置: http://docs.celeryproject.org...

____