معرفی شرکت ها
DataSika-1.0.3
تبلیغات ما
مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.
مشاهده بیشتر
تبلیغات ما
مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.
مشاهده بیشتر
تبلیغات ما
مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.
مشاهده بیشتر
تبلیغات ما
مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.
مشاهده بیشتر
تبلیغات ما
مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.
مشاهده بیشترتوضیحات
Package for building pipeline by yaml file
| ویژگی | مقدار |
|---|---|
| سیستم عامل | - |
| نام فایل | DataSika-1.0.3 |
| نام | DataSika |
| نسخه کتابخانه | 1.0.3 |
| نگهدارنده | [] |
| ایمیل نگهدارنده | [] |
| نویسنده | rainyjonne |
| ایمیل نویسنده | rainyjonne@gmail.com |
| آدرس صفحه اصلی | https://github.com/rainyjonne/DataSika |
| آدرس اینترنتی | https://pypi.org/project/DataSika/ |
| مجوز | MIT |
# DataSika :deer:
Have you gotten stuck in data muds and needed to write pile of codes to handle just a tiny data type problems? Or have you bumped into some situations that you have to check out your spaghetti codes :spaghetti: for a long time to see what's wrong when cleaning your data? Don't worry! :relieved: Here comes `DataSika` :deer: for you! `DataSika` is a simple python package that allows you to produce your own data pipeline locally by writing some basic **standard yaml syntaxs**. You can do **webscrapping**, **api-requesting** based on our useful functions. Also, we provide some filter availabilities for you if you want to filter out some content by **xpath (for html responses)**, **jsonpath (for json responses)** and **sql (for manipulating dataframes)**. Can't wait to try? Just install it as soon as possible and test it with examples we provided! :satisfied: :sparkles:
## Compatibility of python
- python version > `3.7`
## [PyPI Package](https://pypi.org/project/DataSika/)
## Environment SetUp
### Clone this project `(If you wanna run some examples!)`
- Using command: `git clone git@github.com:rainyjonne/DataSika.git`
- Manually download: clicking `Download ZIP file` from the green code button
### Install Python
- [Install python directly](https://www.python.org/downloads/)
- [Using Pyenv](docs/envs/pyenv.md)
### Upgrade your pip if its version not new enough
- [Install `pip`](https://pip.pypa.io/en/stable/installation/)
- macOS: `python -m ensurepip --upgrade`
- WSL, Linux: `python -m ensurepip --upgrade`
### Install our pacakge
- Just execute this command: `pip install DataSika`, then you can happily use this command with your yaml files! :tada: :confetti_ball:
- Sika Command usage:
```
usage: sika [-h] [--input INPUT] [--output OUTPUT] [--rerun]
Build a simple pipeline by a yaml file
optional arguments:
-h, --help show this help message and exit
--input INPUT put in an input yaml file path
--output OUTPUT put a path for your output db
--rerun rerun the whole pipeline again, delete all data tables in your db file
```
## Running examples
- Making this package's command line tool works: `python setup.py install`
- Running our four examples:
- Using command line tools:
1. (ETL) Getting Ruby Gem Details Example: `sika --input examples/repominer.yaml`
2. (ETL) Airbnb UK Hostings + UK Crime Data Example: `sika --input examples/airbnb-uk-crime.yaml`
3. (EL) Getting Ruby Gem Lists Example: `sika --input examples/repominer-el.yaml`
4. (EL) Airbnb Japan Hostings Example: `sika --input examples/airbnb-tokyo.yaml`
- Using python scripts:
1. (ETL) Getting Ruby Gem Details Example: `python sika/main.py --input examples/repominer.yaml`
2. (ETL) Airbnb UK Hostings + UK Crime Data Example: `python sika/main.py --input examples/airbnb-uk-crime.yaml`
3. (EL) Getting Ruby Gem Lists Example: `python sika/main.py --input examples/repominer-el.yaml`
4. (EL) Airbnb Japan Hostings Example: `python sika/main.py --input examples/airbnb-tokyo.yaml`
نیازمندی
| مقدار | نام |
|---|---|
| ==2021.10.8 | certifi |
| ==2.0.12 | charset-normalizer |
| ==3.3 | idna |
| ==4.8.0 | lxml |
| ==1.3 | pandas |
| ==1.17.3 | numpy |
| ==2.8.2 | python-dateutil |
| ==2021.3 | pytz |
| ==6.0 | PyYAML |
| ==1.16.0 | six |
| ==0.4.2 | sqldf |
| ==1.26.8 | urllib3 |
| ==0.7.3 | pandasql |
| ==7.32.0 | ipython |
| ==1.5.3 | jsonpath-ng |
| ==1.0.0 | requests-futures |
| ==7.1.2 | pytest |
| ==1.0.2 | pytest-vcr |
| ==1.4.0 | argparse |
| ==0.37.1 | wheel |
نحوه نصب
نصب پکیج whl DataSika-1.0.3:
pip install DataSika-1.0.3.whl
نصب پکیج tar.gz DataSika-1.0.3:
pip install DataSika-1.0.3.tar.gz