معرفی شرکت ها

bwt-scrapy-proxy-0.1.0

Card image cap
تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر
Card image cap
تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر
Card image cap
تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر
Card image cap
تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر
Card image cap
تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر
0.1.0
0.1.0

توضیحات

My short description for my project.
ویژگی مقدار
سیستم عامل -
نام فایل bwt-scrapy-proxy-0.1.0
نام bwt-scrapy-proxy
نسخه کتابخانه 0.1.0
نگهدارنده []
ایمیل نگهدارنده []
نویسنده Hennadii Dobrovolskyi
ایمیل نویسنده gen.dobr@gmail.com
آدرس صفحه اصلی https://github.com/gendobr/scrapyproxy
آدرس اینترنتی https://pypi.org/project/bwt-scrapy-proxy/
مجوز MIT
# Подключение ротации прокси-серверов к проекту на scrapy Подключение выполняется в Downloader Middleware. Чтобы его подключить, надо 0) Инсталлировать ``` pipenv run python -m pip install -e git+https://github.com/gendobr/scrapyproxy.git/#egg=bwt_scrapy_proxy ``` или ``` pip install -e git+https://github.com/gendobr/scrapyproxy.git/#egg=bwt_scrapy_proxy ``` 0) в settings.py в словарь DOWNLOADER_MIDDLEWARES добавить ``` 'bwt_scrapy_proxy.ProxyRotationMiddleware':530 ``` 0) в settings.py добавить параметры ``` X_BWT_PROXY_MEDIATOR = "http://192.168.11.82:5001" X_BWT_PARSERNAME = "test" ``` Сейчас mitmproxy работает на 192.168.11.82 и слушает порт 5001 X_BWT_PARSERNAME = "test" - уникальный идентификатор парсера 0) в базу данных (таблица parsers) внести уникальный идентификатор парсера (параметр X_BWT_PARSERNAME из settings.py) и максимальное количество коннектов (parsers.threads_limit) Это делает админ БД парсеров.


نیازمندی

مقدار نام
- scrapy


زبان مورد نیاز

مقدار نام
>=3.6.0 Python


نحوه نصب


نصب پکیج whl bwt-scrapy-proxy-0.1.0:

    pip install bwt-scrapy-proxy-0.1.0.whl


نصب پکیج tar.gz bwt-scrapy-proxy-0.1.0:

    pip install bwt-scrapy-proxy-0.1.0.tar.gz