معرفی شرکت ها

تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر

تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر

تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر

تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر

تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر

توضیحات

tool set for crawler project.

ویژگی	مقدار
سیستم عامل	-
نام فایل	crawlib-0.1.1
نام	crawlib
نسخه کتابخانه	0.1.1
نگهدارنده	['Unknown']
ایمیل نگهدارنده	[]
نویسنده	Sanhe Hu
ایمیل نویسنده	husanhe@gmail.com
آدرس صفحه اصلی	https://github.com/MacHu-GWU/
آدرس اینترنتی	https://pypi.org/project/crawlib/
مجوز	MIT

.. image:: https://readthedocs.org/projects/crawlib/badge/?version=latest :target: https://crawlib.readthedocs.io/index.html :alt: Documentation Status .. image:: https://circleci.com/gh/MacHu-GWU/crawlib-project.svg?style=svg :target: https://circleci.com/gh/MacHu-GWU/crawlib-project .. image:: https://img.shields.io/pypi/v/crawlib.svg :target: https://pypi.python.org/pypi/crawlib .. image:: https://img.shields.io/pypi/l/crawlib.svg :target: https://pypi.python.org/pypi/crawlib .. image:: https://img.shields.io/pypi/pyversions/crawlib.svg :target: https://pypi.python.org/pypi/crawlib .. image:: https://img.shields.io/badge/STAR_Me_on_GitHub!--None.svg?style=social :target: https://github.com/MacHu-GWU/crawlib-project ------ .. image:: https://img.shields.io/badge/Link-Document-blue.svg :target: https://crawlib.readthedocs.io/index.html .. image:: https://img.shields.io/badge/Link-API-blue.svg :target: https://crawlib.readthedocs.io/py-modindex.html .. image:: https://img.shields.io/badge/Link-Source_Code-blue.svg :target: https://crawlib.readthedocs.io/py-modindex.html .. image:: https://img.shields.io/badge/Link-Install-blue.svg :target: `install`_ .. image:: https://img.shields.io/badge/Link-GitHub-blue.svg :target: https://github.com/MacHu-GWU/crawlib-project .. image:: https://img.shields.io/badge/Link-Submit_Issue-blue.svg :target: https://github.com/MacHu-GWU/crawlib-project/issues .. image:: https://img.shields.io/badge/Link-Request_Feature-blue.svg :target: https://github.com/MacHu-GWU/crawlib-project/issues .. image:: https://img.shields.io/badge/Link-Download-blue.svg :target: https://pypi.org/pypi/crawlib#files Welcome to ``crawlib`` Documentation ============================================================================== ``crawlib`` is a board-first-search crawler framework for targeting-crawler (For those you know where's your data located and how's been organized). You just need to focus on the data model and html extraction logic, and let the framework do the rest of things like: - duplicate filter - recursive crawling - status tracking - periodical update Currently it supports mongodb as backend storage only. .. _install: Install ------------------------------------------------------------------------------ ``crawlib`` is released on PyPI, so all you need is: .. code-block:: console $ pip install crawlib To upgrade to latest version: .. code-block:: console $ pip install --upgrade crawlib

نیازمندی

مقدار	نام
-	requests
-	requests-html
-	beautifulsoup4
-	tabulate
==0.0.8	rolex
==0.0.13	constant2
==0.0.5	attrs-mate
==4.1.0	diskcache
==1.3.0	atomicwrites
==0.0.5	loggerFactory
==1.8.1	sphinx
-	sphinx-rtd-theme
-	sphinx-jinja
-	sphinx-copybutton
>=0.0.17	docfly
>=0.0.5	rstobj
-	pygments
==3.2.3	pytest
==2.5.1	pytest-cov
==0.5	pytest-ordering
-	pathlib-mate
-	flask
-	scrapy
==0.0.7	configirl
==0.0.5	mongoengine-mate
==0.0.4	pymongo-mate
==0.0.10	sqlalchemy-mate
==2.8.4	psycopg2-binary

نحوه نصب

نصب پکیج whl crawlib-0.1.1:

pip install crawlib-0.1.1.whl

نصب پکیج tar.gz crawlib-0.1.1:

pip install crawlib-0.1.1.tar.gz