معرفی شرکت ها
dbt-airflow-factory-0.31.0
تبلیغات ما
مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.
مشاهده بیشتر
تبلیغات ما
مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.
مشاهده بیشتر
تبلیغات ما
مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.
مشاهده بیشتر
تبلیغات ما
مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.
مشاهده بیشتر
تبلیغات ما
مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.
مشاهده بیشترتوضیحات
Library to convert DBT manifest metadata to Airflow tasks
| ویژگی | مقدار |
|---|---|
| سیستم عامل | - |
| نام فایل | dbt-airflow-factory-0.31.0 |
| نام | dbt-airflow-factory |
| نسخه کتابخانه | 0.31.0 |
| نگهدارنده | [] |
| ایمیل نگهدارنده | [] |
| نویسنده | Piotr Pekala |
| ایمیل نویسنده | piotr.pekala@getindata.com |
| آدرس صفحه اصلی | https://github.com/getindata/dbt-airflow-factory/ |
| آدرس اینترنتی | https://pypi.org/project/dbt-airflow-factory/ |
| مجوز | Apache Software License (Apache 2.0) |
# DBT Airflow Factory
[](https://github.com/getindata/dbt-airflow-factory)
[](https://pypi.org/project/dbt-airflow-factory/)
[](https://pepy.tech/project/dbt-airflow-factory)
[](https://codeclimate.com/github/getindata/dbt-airflow-factory/maintainability)
[](https://codeclimate.com/github/getindata/dbt-airflow-factory/test_coverage)
[](https://dbt-airflow-factory.readthedocs.io/en/latest/?badge=latest)
Library to convert DBT manifest metadata to Airflow tasks
## Documentation
Read the full documentation at [https://dbt-airflow-factory.readthedocs.io/](https://dbt-airflow-factory.readthedocs.io/en/latest/index.html)
## Installation
Use the package manager [pip][pip] to install the library:
```bash
pip install dbt-airflow-factory
```
## Usage
The library is expected to be used inside an Airflow environment with a Kubernetes image referencing **dbt**.
**dbt-airflow-factory**'s main task is to parse `manifest.json` and create Airflow DAG out of it. It also reads config
files from `config` directory and therefore is highly customizable (e.g., user can set path to `manifest.json`).
To start, create a directory with a following structure, where `manifest.json` is a file generated by **dbt**:
```
.
├── config
│ ├── base
│ │ ├── airflow.yml
│ │ ├── dbt.yml
│ │ └── k8s.yml
│ └── dev
│ └── dbt.yml
├── dag.py
└── manifest.json
```
Then, put the following code into `dag.py`:
```python
from dbt_airflow_factory.airflow_dag_factory import AirflowDagFactory
from os import path
dag = AirflowDagFactory(path.dirname(path.abspath(__file__)), "dev").create()
```
When uploaded to Airflow DAGs directory, it will get picked up by Airflow, parse `manifest.json` and prepare a DAG to run.
### Configuration files
It is best to look up the example configuration files in [tests directory][tests] to get a glimpse of correct configs.
You can use [Airflow template variables][airflow-vars] in your `dbt.yml` and `k8s.yml` files, as long as they are inside
quotation marks:
```yaml
target: "{{ var.value.env }}"
some_other_field: "{{ ds_nodash }}"
```
Analogously, you can use `"{{ var.value.VARIABLE_NAME }}"` in `airflow.yml`, but only the Airflow variable getter.
Any other Airflow template variables will not work in `airflow.yml`.
### Creation of the directory with data-pipelines-cli
**DBT Airflow Factory** works best in tandem with [data-pipelines-cli][dp-cli] tool. **dp** not only prepares directory
for the library to digest, but also automates Docker image building and pushes generated directory to the cloud storage
of your choice.
[airflow-vars]: https://airflow.apache.org/docs/apache-airflow/stable/templates-ref.html#variables
[dp-cli]: https://pypi.org/project/data-pipelines-cli/
[pip]: https://pip.pypa.io/en/stable/
[tests]: https://github.com/getindata/dbt-airflow-factory/tree/develop/tests/config
زبان مورد نیاز
| مقدار | نام |
|---|---|
| >=3 | Python |
نحوه نصب
نصب پکیج whl dbt-airflow-factory-0.31.0:
pip install dbt-airflow-factory-0.31.0.whl
نصب پکیج tar.gz dbt-airflow-factory-0.31.0:
pip install dbt-airflow-factory-0.31.0.tar.gz