معرفی شرکت ها

dark-keeper-0.3.1

Card image cap
تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر
Card image cap
تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر
Card image cap
تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر
Card image cap
تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر
Card image cap
تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر
0.3.1
0.3.0
0.3.1
0.3.0
0.2.7
0.2.6

توضیحات

Dark Keeper is open source simple web-parser for podcast-sites
ویژگی مقدار
سیستم عامل -
نام فایل dark-keeper-0.3.1
نام dark-keeper
نسخه کتابخانه 0.3.1
نگهدارنده ['Arcady Usov']
ایمیل نگهدارنده ['itcrab@gmail.com']
نویسنده Arcady Usov
ایمیل نویسنده itcrab@gmail.com
آدرس صفحه اصلی https://github.com/itcrab/dark-keeper
آدرس اینترنتی https://pypi.org/project/dark-keeper/
مجوز MIT License
![GitHub Actions CI](https://github.com/itcrab/dark-keeper/actions/workflows/python-package.yml/badge.svg) # Dark Keeper Dark Keeper is open source simple web-parser for podcast-sites. Also you can use it for any sites.<br /> Goal idea: parsing full information per each podcast episodes like number, description and download link. # Features - [x] simple web-spider walking on site - [x] cache for all downloaded pages - [x] parse any information from pages - [x] export parsed data to MongoDB # Quick start `$ mkvirtualenv keeper`<br /> `(keeper)$ pip install dark-keeper`<br /> `(keeper)$ cat app.py` ```Python from dark_keeper import BaseParser, DarkKeeper from dark_keeper.exports import ExportMongo from dark_keeper.http import HttpClient from dark_keeper.storages import UrlsStorage, DataStorage class PodcastParser(BaseParser): def parse_urls(self, content): urls = content.parse_urls('.posts-list > .container-fluid .text-left a') return urls def parse_data(self, content): data = [] for post_item in content.get_block_items('.posts-list .posts-list-item'): post_data = dict( title=post_item.parse_text('.number-title'), desc=post_item.parse_text('.post-podcast-content'), mp3=post_item.parse_attr('.post-podcast-content audio', 'src'), ) if post_data['title'] and post_data['mp3']: data.append(post_data) return data if __name__ == '__main__': pk = DarkKeeper( http_client=HttpClient( delay=2, user_agent='Mozilla/5.0 (Windows NT 10.0; Win64; x64) ' 'AppleWebKit/537.36 (KHTML, like Gecko) ' 'Chrome/81.0.4044.138 Safari/537.36 OPR/68.0.3618.125', ), parser=PodcastParser(), urls_storage=UrlsStorage(base_url='https://radio-t.com/'), data_storage=DataStorage(), export_mongo=ExportMongo(mongo_uri='mongodb://localhost/podcasts.radio-t.com'), ) pk.run() ```


نیازمندی

مقدار نام
==1.1.0 cssselect
==4.6.2 lxml
==3.11.3 pymongo
==2.25.1 requests


نحوه نصب


نصب پکیج whl dark-keeper-0.3.1:

    pip install dark-keeper-0.3.1.whl


نصب پکیج tar.gz dark-keeper-0.3.1:

    pip install dark-keeper-0.3.1.tar.gz