什么?Python Celery 也能调度Go worker?
文中我们讨论了Python Celery调度Go写的worker的方法。
一文中,我们讨论了Go在单线程计算性能上的优势。
现在,考虑这样的一种场景:
我们需要从某些网址中同步数据并进行计算,保存到本地redis缓存中。
现在,我们可以通过编写Go Worker的方式,将计算和保存的过程保存在本地的redis缓存中,然后使用Celery来调度这些任务。
问题在于,从这些网址中获取数据的步骤,写在Go Worker里是否合适?Go进行网络请求是否比Python更稳定、速度更快?今天我们就来简单地比较一下。
首先,试试Go语言请求百度,获得这个请求和拿到回应之间的时间差:
结果如下:
可以看到,平均耗时在250ms左右。
然后测试Python的requests模块请求网站:
结果如下:
平均约220ms,似乎在单个请求的情况下,Python略胜一筹。
但是单个请求的比较是没有意义的,因为这个差异可以忽略不计。
重点还是在下面并发请求的比较上。
现在,我们试试用Go语言并发请求10次百度:
效果如下:
平均消耗在300ms左右,和单次请求差不多,速度还是相当快的。
接下来试试Python的并发请求,值得注意的是,这里没有用requests模板,因为requests模块是同步的,这一点一定要注意。
因此在这里需要使用aiohttp进行并发请求:
测试结果如下:
可以看到,平均耗时在500ms左右,在并发的时候,其速度相比于Go略逊一筹。
可以看到,Python在单个请求的时候(使用requests模块)速度比Go稍微快一丢丢,但是这样的区别几乎可以忽略不计。
在并发10次请求的情况下,Go平均耗时300ms,而Python平均耗时500ms,Go略胜一筹。
我们的文章到此就结束啦,如果你喜欢今天的Python 实战教程,请持续关注Python实用宝典。
有任何问题,可以在公众号后台回复:加群,回答红字的验证信息,进入互助群询问。
原创不易,希望你能在下面点个赞和在看支持我继续创作,谢谢!