Ryuchen/DeadPool

该项目是一个使用celery作为主体框架的爬虫应用，能够灵活的添加爬虫任务，并且同时运行多站点的爬虫工作，所有组件都能够原生支持规模并发和分布式，加上celery原生的分布式调用，实现大规模并发。

Language: Python - Size: 37.9 MB - Last synced at: 4 months ago - Pushed at: almost 3 years ago - Stars: 41 - Forks: 16