一、celery的作用
celery 是一个简单、灵活且可靠的分布式系统,用于处理大量消息,同时为操作提供一致的接口。它专注于实时操作,但支持任务调度。
Celery 主要用于异步任务处理,特别是在Web应用环境中,用于执行后台任务,如发送电子邮件、处理图片、视频转码、运行复杂的计算等,而不必阻塞Web请求/响应周期。
二、安装celery
命令:
1
|
pip install celery -i https://pypi.tuna.tsinghua.edu.cn/simple
|
三、使用celery 异步执行任务
官方文档:First steps with Django — Celery 5.4.0 documentation (celeryq.dev)
1、配置
- 1)给celery设置环境,为django项目的环境
- 2)创建celery实例
- 3)设置broker,也就是我们存放任务的队列,这里从配置文件中加载broker
- 4)设置自动检测任务,autodiscover_tasks方法
具体实现如下:
broker配置文件如下,这里用redis做队列来存任务:
2、创建好celery实例和配置broker之后,开始创建任务
比如我要创建一个发送邮件的任务:
- 2)在tasks.py文件中编写任务(函数), 一定要用task装饰器修饰起来
- 3)在app.autodiscover_tasks([ ])中添加你的任务
参数是列表,列表中的元素是task的路径(就是要执行的任务所在的路径)
- 4)在你想要异步执行该函数的地方导入,用delay方法将任务推到队列中
四、使用celery定期执行任务
官方文档:Periodic Tasks — Celery 5.4.0 documentation (celeryq.dev)
1、创建一个文件,专门用来放定时任务的配置(也可以不用)
- task: 就是要执行的定时任务, 注意位置要找对,要找到对应的函数
- schedule:执行的周期
2、用 app.conf.beat_schedule 来指定我们的定时任务
3、在app.autodiscover_tasks([ ])中添加你的任务
参数是列表,列表中的元素是task的路径(就是要执行的任务所在的路径)
五、启动命令
- 命令:Celery -A celery实例脚本文件 worker --loglevel=INFO
- linux命令:celery -A celery_tasks.main worker --loglevel=INFO
- windows命令:celery -A celery_tasks.main worker --concurrency=4 --loglevel=INFO -P threads
定时任务,需要开两个终端分别执行两条命令,celery_tasks.main替换成你自己的脚本文件
- 1、celery -A celery_tasks.main worker --concurrency=4- -loglevel=INFO -P threads
- 2、celery -A celery_tasks.main beat --loglevel=INFO
六、 效果展示
任务的执行
定期任务的执行
七、具体文件目录
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
|
'''
1、生产者
2、消费者
使用命令(linux):celery -A celery实例脚本文件 worker -l info 启动进程,消费者拿任务, 终端执行
windows命令:celery -A celery_tasks.main worker --concurrency=4 --loglevel=INFO -P threads
3、消息队列
'''
import os
from celery import Celery
# 为celery设置环境
os.environ.setdefault("DJANGO_SETTINGS_MODULE", "mall_test.settings")
# 创建celery实例
app = Celery('celery_tasks')
# 设置broker,消息队列, 从配置信息中加载
app.config_from_object('celery_tasks.config')
# 让celery自动检测指定包的任务
# 参数是列表,列表中的元素是task的路径(就是要执行的任务所在的路径)
app.autodiscover_tasks(['celery_tasks.sms', 'celery_tasks.email', 'celery_tasks.generate_static'])
# 定时任务
from celery_tasks.celery_beat_schedule import CELERY_BEAT_SCHEDULE
app.conf.beat_schedule = CELERY_BEAT_SCHEDULE # 加入定时任务
|
1
2
|
# 设置消息队列,用redis实现
broker_url = 'redis://127.0.0.1:6379/15'
|
1
2
3
4
5
6
7
8
9
|
from celery.schedules import crontab
# 定时任务, 可以添加多个,启动命令
CELERY_BEAT_SCHEDULE = {
'update-html': {
'task': 'celery_tasks.generate_static.tasks.generate_static_index_html', # 找到对应函数即可
'schedule': crontab(minute='*/1'), # 周期,这里是30分钟分钟
},
}
|
|