fastapi框架异步执行踩坑 问题与背景 在公司项目中,使用了python作为中间件实现的主语言,项目是中间件性质的需要并行的为第三方提供服务,但是在使用过程中,出现了并行的问题,多个耗
fastapi框架异步执行踩坑问题与背景在公司项目中,使用了python作为中间件实现的主语言,项目是中间件性质的需要并行的为第三方提供服务,但是在使用过程中,出现了并行的问题,多个耗时操作,在串行,导致项目的分析操作耗时巨大。 web技术采用的是fastapi,这个技术官网介绍是并行的,用java起多线程访问接口,得到的结论竟然是串行的,这地方就特意研究了一下。 最佳实践这篇文章,给我答疑解惑了:https://www.jb51.net/python/323052zd6.htm 我在项目中,翻了一个使用的错误,类似的方式如下:
这种写法在于接口访问是异步的,但是执行的时候却是在主线程中,用同步的方法,就导致了串行了。 所以async和await应该是成对出现的,否则就不是绝对的异步:
这种方案接口可以异步调用,并且接口中的内容也会被异步执行,在实际使用中,可以对方法中的内容进行封装,然后通过loop.run_in_executor去异步调用封装的一个方法,最终实现绝对的异步。 fastapi的异步大骗/局有部分入坑fastapi的同志们,可能经常会遇到一个耗时的密集型IO任务阻塞主线程的情况,导致接口单个接口占用整体的线程时间过长,从而影响到其他的接口响应。 很多人可能会说,fastapi不是一个异步的框架吗?为什么会存在阻塞这个问题? 这是一个很好的问题,我之前也想过这个问题,但是后面才发现,原来是fastapi框架的接口,本身不会自动帮忙处理长耗时的任务,如生成式的请求,调用复杂的第三方api,这个过程大概需要10-20s。 假如说自己使用的http请求是直接requests库的请求,那么就会导致阻塞。 正确的做法应该是: 使用一个异步执行的请求方式,例如aiohttp库,手动为请求添加上这个异步的请求方法,我就是使用这个库解决了长耗时任务阻塞线程的问题。 首先得安装好这个库:
然后就再代码当中
这样,这个长任务就不会阻塞主线程了。 |
2019-06-18
2019-07-04
2021-05-23
2021-05-27
2021-05-27