معرفی شرکت ها

CrawlSpider-2.0.8

Card image cap
تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر
Card image cap
تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر
Card image cap
تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر
Card image cap
تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر
Card image cap
تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر
2.0.8
2.0.7
2.0.6
2.0.5
2.0.4
2.0.3
2.0.8
2.0.7
2.0.6
2.0.5
2.0.4
2.0.3

توضیحات

Python Common Spider for Humans.
ویژگی مقدار
سیستم عامل -
نام فایل CrawlSpider-2.0.8
نام CrawlSpider
نسخه کتابخانه 2.0.8
نگهدارنده []
ایمیل نگهدارنده []
نویسنده Ricky Wang
ایمیل نویسنده ricky.wbjian@gmail.com
آدرس صفحه اصلی https://gitee.com/dreamricky/crawl-spider
آدرس اینترنتی https://pypi.org/project/CrawlSpider/
مجوز Apache 2.0
# CrawlSpider **CrawlSpider** is a simple, yet light, spider library. ```python import asyncio from CrawlSpider.Utils.SpiderRequest import spiderRequest async def get(url): res = await spiderRequest.get( url, form='json' ) print(res) if __name__ == '__main__': asyncio.run(get("https://httpbin.org/get")) ``` 响应结果 ```json { "status_code": 200, "content": { "args": {}, "headers": { "Accept": "*/*", "Accept-Encoding": "gzip, deflate", "Cookie": "_hjAbsoluteSessionInProgress=0; _sp_id.eeee=d332c9c-a67e-4564-80ed-114737664d84", "Host": "httpbin.org", "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36", "X-Amzn-Trace-Id": "Root=1-62c6edbe-3de25d31339352e" }, "origin": "xxx.xxx.xxx.xxx", "url": "https://httpbin.org/get" } } ``` CrawlSpider allows you to crawl data from website extremely easily. There’s no need to manually change proxy and request's headers in crawling data ## Installing CrawlSpider and Supported Versions CrawlSpider is available on PyPI: ```console $ python -m pip install CrawlSpider ``` CrawlSpider officially supports Python 3.7+.


نیازمندی

مقدار نام
==1.8.2 pyperclip
==5.15.2 PySide2
==1.7.1 PySocks
==5.4.1 PyYAML
==1.5.1 PyExecJS
==3.14.0 protobuf
==1.8.3 pkginfo
==1.9.15 cos-python-sdk-v5
==2.26.0 requests
==4.10.0 beautifulsoup4
==4.6.3 lxml
==3.0.2 DBUtils
==0.9.3 PyMySQL
==4.0.0 selenium
==0.8.0 aiofiles
==3.8.1 aiohttp
==0.1.3 aiohttp-requests
==0.1.11 fake-useragent
==1.3.3 retrying
==4.3.3 redis
==0.0.22 aiomysql
==0.4.0 fire
==5.9.1 psutil
==1.26.6 urllib3
==1.24.24 boto3
==1.27.24 botocore
==2.13.33 aliyun-python-sdk-core-v3
==3.6.5 aliyun-python-sdk-green
==2.15.0 aliyun-python-sdk-kms
==8.0.1 tenacity
- psycopg2-binary
- psycopg
- pytz
==5.4.1 pyyaml
==0.6.0 pyexcel-xlsx
==0.6.0 loguru
- uvloop
- twine


زبان مورد نیاز

مقدار نام
>=3.6 Python


نحوه نصب


نصب پکیج whl CrawlSpider-2.0.8:

    pip install CrawlSpider-2.0.8.whl


نصب پکیج tar.gz CrawlSpider-2.0.8:

    pip install CrawlSpider-2.0.8.tar.gz