本项目代码旨在限制对某个函数同一时刻对运行数量,同时支持对任务执行情况的查询处理,以及多回调函数的附加处理
基本原理是通过信号量与线程池进行控制
算法服务通常需要大量的算力,在算力受限的情况下,如果无法优化模型的算力需求,则只能通过异步限流的形式对服务进行调用
本项目可以控制需要限流的函数,也可以统一对不需要限流的函数进行处理
将项目中的ratelimiter.py复制到项目的文件夹下,通过包的引用加载即可
后续会将其打包成一个pypi进行分发
基础使用可见/test/test_rate_limiter.py中的使用
qq: 2781939070
wechat: 2781939070