FastAPI定时任务APScheduler集成

最新推荐文章于 2025-04-21 18:20:28 发布

原创最新推荐文章于 2025-04-21 18:20:28 发布 · 8.6k 阅读

20 ·

CC 4.0 BY-SA版权

文章标签：

#redis #apscheduler

FastAPI 专栏收录该内容

8 篇文章

订阅专栏

本文介绍了如何在FastAPI中集成APScheduler实现定时任务，包括使用AsyncIOScheduler、RedisJobStore和ThreadPoolExecutor。在实际应用中遇到了进程重复执行任务和线上任务不执行的问题。解决方案是改为单worker部署并使用ProcessPoolExecutor替代ThreadPoolExecutor来确保任务正常执行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

FastAPI定时任务APScheduler集成

在这里插入图片描述

一、前言

APScheduler定时任务传送门

二、在FastAPI中集成aAPScheduler

使用FastAPI启动前后处理程序进行启动任务

2.1 定时任务配置

使用AsyncIOScheduler调度器
使用Redis存储器
使用ThreadPoolExecutor执行器

from datetime import datetime

from apscheduler.schedulers.asyncio import AsyncIOScheduler
from apscheduler.jobstores.redis import RedisJobStore
from apscheduler.executors.pool import ThreadPoolExecutor

REDIS_DB = {
    "db": 1,
    "host": "127.0.0.1"
}

def func(name):
    now = datetime.now().strftime('%Y-%m-%d %H:%M:%S')
    print(now + f" Hello world, {name}")

interval_task = {
    # 配置存储器
    "jobstores": {
        # 使用Redis进行存储
        'default': RedisJobStore(**REDIS_DB)
    },
    # 配置执行器
	"executors": {
	    # 使用进程池进行调度，最大进程数是10个
	    'default': ProcessPoolExecutor(10)
	},
    # 创建job时的默认参数
    "job_defaults": {
        'coalesce': False,  # 是否合并执行
        'max_instances': 3,  # 最大实例数
    }

}
scheduler = AsyncIOScheduler(**interval_task)
# 添加一个定时任务
scheduler.add_job(func, 'interval', seconds=3, args=["desire"], id="desire_job", replace_existing=True)

2.2 启动FastAPI之前启动定时任务

from fastapi import FastAPI

# 导入定时任务配置
from scheduler import scheduler

app = FastAPI()

@app.on_event("startup")
async def start_event():
    scheduler.start()
    print("定时任务启动成功")

@app.get("/list")
async def jobs():
    jobs = scheduler.get_jobs()

    return [job.id for job in jobs]

2.3 挂载到app上

1）创建注册定时器的方法

def register_scheduler(app: FastAPI):
    @app.on_event("startup")
    async def start_event():
        scheduler.start()
        print("定时任务启动成功")

2）挂载到app上

from fastapi import FastAPI

app = FastAPI()
# 进行挂载
register_scheduler(app)

三、应用中遇到的问题

遇到的问题1：

使用gunicorn部署项目时，进程数设置的是当前服务器最大workers = multiprocessing.cpu_count() * 2 + 1，导致一个定时任务会在每个worker进行执行，造成了定时任务重复执行问题

解决办法：

不设置多worker工作，目前单worker工作对项目运行也没有不好的地方

遇到的问题2：

在本地执行定时任务是可以的，但是一上线就发现定时任务不执行了，回来经过查阅资料，也没找到解决办法，一次偶尔机会，发现执行器是使用的线程池进行调度的。

# 配置执行器
"executors": {
    # 使用线程池进行调度，最大线程数是20个
    'default': ThreadPoolExecutor(20)
},

可能就是在项目构建启动的时候，定时器的线程没有启动起来导致的。

解决办法：

把执行器改成了使用进程池进行调度，问题就解决了。

# 配置执行器
"executors": {
    # 使用进程池进行调度，最大进程数是10个
    'default': ProcessPoolExecutor(10)
},