广告位联系
返回顶部
分享到

fastapi框架异步执行踩坑记录

python 来源:互联网 作者:佚名 发布时间:2024-06-21 21:57:52 人浏览
摘要

fastapi框架异步执行踩坑 问题与背景 在公司项目中,使用了python作为中间件实现的主语言,项目是中间件性质的需要并行的为第三方提供服务,但是在使用过程中,出现了并行的问题,多个耗

fastapi框架异步执行踩坑

问题与背景

在公司项目中,使用了python作为中间件实现的主语言,项目是中间件性质的需要并行的为第三方提供服务,但是在使用过程中,出现了并行的问题,多个耗时操作,在串行,导致项目的分析操作耗时巨大。

web技术采用的是fastapi,这个技术官网介绍是并行的,用java起多线程访问接口,得到的结论竟然是串行的,这地方就特意研究了一下。

最佳实践

这篇文章,给我答疑解惑了:https://www.jb51.net/python/323052zd6.htm

我在项目中,翻了一个使用的错误,类似的方式如下:

1

2

3

4

@router.get("/a")

async def a():

    time.sleep(1)

    return {"message": "异步模式,但是同步执行sleep函数,执行过程是串行的"}

这种写法在于接口访问是异步的,但是执行的时候却是在主线程中,用同步的方法,就导致了串行了。

所以async和await应该是成对出现的,否则就不是绝对的异步:

1

2

3

4

5

6

7

import asyncio

 

@router.get("/b")

async def b():

    loop = asyncio.get_event_loop()

    result = await loop.run_in_executor(None, time.sleep, 1)

    return {"message": "线程池中运行sleep函数"}

这种方案接口可以异步调用,并且接口中的内容也会被异步执行,在实际使用中,可以对方法中的内容进行封装,然后通过loop.run_in_executor去异步调用封装的一个方法,最终实现绝对的异步。

fastapi的异步大骗/局

有部分入坑fastapi的同志们,可能经常会遇到一个耗时的密集型IO任务阻塞主线程的情况,导致接口单个接口占用整体的线程时间过长,从而影响到其他的接口响应。

很多人可能会说,fastapi不是一个异步的框架吗?为什么会存在阻塞这个问题?

这是一个很好的问题,我之前也想过这个问题,但是后面才发现,原来是fastapi框架的接口,本身不会自动帮忙处理长耗时的任务,如生成式的请求,调用复杂的第三方api,这个过程大概需要10-20s。

假如说自己使用的http请求是直接requests库的请求,那么就会导致阻塞。

正确的做法应该是:

使用一个异步执行的请求方式,例如aiohttp库,手动为请求添加上这个异步的请求方法,我就是使用这个库解决了长耗时任务阻塞线程的问题。

首先得安装好这个库:

1

pip install aiohttp

然后就再代码当中

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

from fastapi import FastAPI

import aiohttp

import asyncio

 

app = FastAPI()

 

async def long_running_task(url: str):

    async with aiohttp.ClientSession() as session:

        async with session.post(url, json={"load": "data"}) as response:

            # 处理响应数据

            data = await response.json()

            return data

 

@app.post("/start_task/")

async def start_task():

    url = "http://example.com/api"  # 目标 API 的 URL

    task_result = await long_running_task(url)

    return task_result

这样,这个长任务就不会阻塞主线程了。


版权声明 : 本文内容来源于互联网或用户自行发布贡献,该文观点仅代表原作者本人。本站仅提供信息存储空间服务和不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权, 违法违规的内容, 请发送邮件至2530232025#qq.cn(#换@)举报,一经查实,本站将立刻删除。

您可能感兴趣的文章 :

原文链接 :
    Tag :
相关文章
  • 本站所有内容来源于互联网或用户自行发布,本站仅提供信息存储空间服务,不拥有版权,不承担法律责任。如有侵犯您的权益,请您联系站长处理!
  • Copyright © 2017-2022 F11.CN All Rights Reserved. F11站长开发者网 版权所有 | 苏ICP备2022031554号-1 | 51LA统计