معرفی شرکت ها

تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر

تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر

تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر

تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر

تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر

توضیحات

一个分布式异步爬虫

ویژگی	مقدار
سیستم عامل	-
نام فایل	chuwt_Dcrawl-0.1.1
نام	chuwt_Dcrawl
نسخه کتابخانه	0.1.1
نگهدارنده	[]
ایمیل نگهدارنده	[]
نویسنده	chuwt
ایمیل نویسنده	weitaochu@gmail.com
آدرس صفحه اصلی	https://github.com/chuwt/Dcrawl
آدرس اینترنتی	https://pypi.org/project/chuwt_Dcrawl/
مجوز	BSD License

# Dcrawl(这次不装逼，用中文) 一个分布式异步爬虫，采用生产Producer和消费Consumer模式 # producer_demo from producer import Producer p = Producer() data = { "name": 'baidu', "url": "https://baidu.com", "headers": {"Content-Type": "application/json"}, "data": {}, "method": "get" } p.add_task(data) p.run() # consumer_demo from consumer import Consumer cons = Consumer() # 数据处理方法 todo 可以根据不同的name写不同的handle @Consumer.handle def result(resp): print('test') print(resp) cons.loop_task()

نحوه نصب

نصب پکیج whl chuwt_Dcrawl-0.1.1:

pip install chuwt_Dcrawl-0.1.1.whl

نصب پکیج tar.gz chuwt_Dcrawl-0.1.1:

pip install chuwt_Dcrawl-0.1.1.tar.gz