معرفی شرکت ها

crawlframe-1.0.3

Card image cap
تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر
Card image cap
تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر
Card image cap
تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر
Card image cap
تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر
Card image cap
تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر
1.0.3
1.0.3

توضیحات

A Web Crawling and Web Scraping framework (crawlframe) for Python.
ویژگی مقدار
سیستم عامل -
نام فایل crawlframe-1.0.3
نام crawlframe
نسخه کتابخانه 1.0.3
نگهدارنده ['ChenXinqun <chenxinqun163@163.com>']
ایمیل نگهدارنده ['chenxinqun163@163.com']
نویسنده ChenXinqun
ایمیل نویسنده chenxinqun163@163.com
آدرس صفحه اصلی https://github.com/chenxinqun/crawlframe
آدرس اینترنتی https://pypi.org/project/crawlframe/
مجوز Apache 2.0
CrawlFrame: A Web Crawling framework ========================== [![PyPI](https://img.shields.io/pypi/v/crawlframe.svg)](https://pypi.org/project/crawlframe/) ##### Behold, the power of CrawlFrame: ``` crawlf createapp <appname> -url http://<website>/ crawlf createpro <projectname> crawlf start app:<name> crawlf start project crawlf stop app:<name> crawlf stop project crawlf stop <pid> ``` [CrawlFrame](https://github.com/chenxinqun/crawlframe) officially supports python3.5+ . Installation ------------ To install CrawlFrame, simply use [pip](https://pypi.org/project/crawlframe/): ``` $ pip install crawlframe ``` Documentation ------------- In the construction... Changed ------------- [CHANGES.md](https://github.com/chenxinqun/crawlframe/blob/prepack/CHANGES.md) crawlframe-1.0.3 ========================== 下载器并发方式变更 crawlframe-1.0.2 ========================== ``` CRAWLFRAME_SURVIVE_SWITCH = True CRAWLFRAME_SURVIVE_MAX = int reload spider ``` CRAWLFRAME_SURVIVE_SWITCH = True CRAWLFRAME_SURVIVE_MAX = int 设置两个参数 发出一定请求数之后, 自动重启爬虫. 避免内存溢出. 修复middle不能加载以及logger不能创建的bug. BaseLogger改为单例模式. crawlframe-1.0.1 ========================== ``` crawlf createapp <appname> -url http://<website>/ crawlf createpro <projectname> crawlf start app:<name> crawlf start project crawlf stop app:<name> crawlf stop project crawlf stop <pid> ``` 实际上以上命令只实现了start 与 stop. 但是已经能够在项目中使用了. 为了方便自己安装使用, 就先上传到 pypi 与 github 了.


نیازمندی

مقدار نام
- bs4
- pytz
- lxml
- redis
- psutil
- psycopg2
- requests


زبان مورد نیاز

مقدار نام
>=3.5.3 Python


نحوه نصب


نصب پکیج whl crawlframe-1.0.3:

    pip install crawlframe-1.0.3.whl


نصب پکیج tar.gz crawlframe-1.0.3:

    pip install crawlframe-1.0.3.tar.gz