用python异步发送http请求来提升效率

需求

在一个我做的项目里,业务流程有一环需要调用http的接口。
这个接口本身是同步处理的,返回响应的速度会根据要处理的数据量不同而不同。
为了不拖慢主业务流程,客户要求采用 异步的方式来请求,即只要得到http状态码为200即认为请求成功,无须关心接口具体的返回结果

这个业务场景可以概括为,我这边处理了所有数据的流程之后,将结果通过这个接口告知服务方,只要对方收到通知即可。

这种场景一般有好几种处理方法,比如:
(1) 将被请求的接口改为异步模式 ,即接口本身只将发来的数据放入队列这一件事情并返回ok即可。数据的处理由其他进程去完成,接口仅仅只扮演一个生产者的角色;
(2)调用方采用 socket方式发送UDP请求
(3)调用方发送一个 异步的HTTP请求

在这个项目里,接口是其他团队提供的,由于一些原因,不可能要求对方支持异步模式,所以采用我方发送异步请求的方式。
在python中,可以使用第三方库grequests来实现这一需求。

项目地址及用法: https://github.com/spyoungtech/grequests
pip3 install grequests

import grequests
def invoke_async(self, url, data):
    # print("async ver")
    headers = {
        "Content-Type": "text/xml",
        "User-Agent":"xxxx"
    rs = [grequests.post(url, headers=headers, data=data)]
    res = grequests.map(rs)
    if len(res) > 0:
        return res[0]
    return None
if __name__ == "main":
    req = self.invoke(url, data=params)
    if req.status_code == 200:
        print("ok")
    else:
        print req.content.text
  • 在main里面,假设我们构建了一个用于发送post请求的url(接口地址)和data(参数)
  • grequests的使用方法和requests很像。也是直接使用get/post方法,比如:
  • # requests
    requests.post(url, headers=headers, data=data)
    # grequests
    grequest.post(url, headers=headers, data=data)
    

    不同的地方在于,grequest是异步的,所以他是通过grequests.map来驱动请求的。map方法需要接收一个数组作为参数。
    所以上面我的代码里,grequest.post是被放到了一个数组里,即使我只发了一个请求。

    grequests是使用gevent库,将每一个request使用协程的方式来实现的,由于存在循环导入类库的可能,如果你的代码也导入了gevent库的话。所以grequests会报一个警告:

    MonkeyPatchWarning: Monkey-patching ssl after ssl has already been imported may lead to errors, including RecursionError on Python 3.6. It may also silently lead to incorrect behaviour on Python 3.7. Please monkey-patch earlier.

    所以我们需要在import的代码之前,打一个猴子补丁,这样上面的代码可以改为:

    from gevent import monkey
    monkey.patch_all()
    import grequests
    # 此处省略其他代码,和上面是一样的......