معرفی شرکت ها

dbt-spark-livy-1.3.1

Card image cap
تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر
Card image cap
تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر
Card image cap
تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر
Card image cap
تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر
Card image cap
تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر

توضیحات

The dbt-spark-livy adapter plugin for Spark in Cloudera DataHub with Livy interface
ویژگی مقدار
سیستم عامل -
نام فایل dbt-spark-livy-1.3.1
نام dbt-spark-livy
نسخه کتابخانه 1.3.1
نگهدارنده []
ایمیل نگهدارنده []
نویسنده Cloudera
ایمیل نویسنده innovation-feedback@cloudera.com
آدرس صفحه اصلی https://github.com/cloudera/dbt-spark-livy
آدرس اینترنتی https://pypi.org/project/dbt-spark-livy/
مجوز -
# dbt-spark-livy The `dbt-spark-livy` adapter allows you to use [dbt](https://www.getdbt.com/) along with [Apache spark-livy](https://spark.apache.org/) and [Cloudera Data Platform](https://cloudera.com) with Livy server support. This code bases use the dbt-spark project (https://github.com/dbt-labs/dbt-spark), and provides a Livy connectivity support over it. ## Getting started - [Install dbt](https://docs.getdbt.com/docs/installation) - Read the [introduction](https://docs.getdbt.com/docs/introduction/) and [viewpoint](https://docs.getdbt.com/docs/about/viewpoint/) ## Running locally A `docker-compose` environment starts a Spark Thrift server and a Postgres database as a Hive Metastore backend. Note: dbt-spark now supports Spark 3.1.1 (formerly on Spark 2.x). Python >= 3.8 dbt-core ~= 1.3.0 pyspark sqlparams requests_kerberos requests-toolbelt python-decouple ### Installing dbt-spark-livy `pip install dbt-spark-livy` ### Profile Setup ``` demo_project: target: dev outputs: dev: type: spark_livy method: livy schema: my_db host: https://spark-livy-gateway.my.org.com/dbt-spark/cdp-proxy-api/livy_for_spark3/ user: my_user password: my_pass ``` ### Caveats - While using livy , in the Livy UI if you notice sessions change state to dead from starting instead of idle, make sure there is a proper mapping for the user in the IDBroker mapping section - Actions > Manage Access > IDBroker Mappings . [Reference](https://docs.cloudera.com/cdf-datahub/7.2.15/flink-analyzing-data/topics/cdf-datahub-sa-create-idbroker-mapping.html) - Also make sure the workload password is set either through UI or CLI. [Reference](https://docs.cloudera.com/management-console/cloud/user-management/topics/mc-setting-the-ipa-password.html) ## Supported features Please see the original adapter documentation: https://github.com/dbt-labs/dbt-spark and https://docs.getdbt.com/reference/warehouse-profiles/spark-profile


نیازمندی

مقدار نام
~=1.3.0 dbt-core
>=3.0.0 sqlparams
==0.14 requests-kerberos
>=0.9.1 requests-toolbelt
>=3.6 python-decouple
>=4.0.30 pyodbc
<0.7.0,>=0.6.0 PyHive[hive]
<0.16.0,>=0.11.0 thrift
>=4.0.30 pyodbc
<0.7.0,>=0.6.0 PyHive[hive]
<0.16.0,>=0.11.0 thrift
<4.0.0,>=3.0.0 pyspark
<4.0.0,>=3.0.0 pyspark


زبان مورد نیاز

مقدار نام
>=3.7 Python


نحوه نصب


نصب پکیج whl dbt-spark-livy-1.3.1:

    pip install dbt-spark-livy-1.3.1.whl


نصب پکیج tar.gz dbt-spark-livy-1.3.1:

    pip install dbt-spark-livy-1.3.1.tar.gz