معرفی شرکت ها

data-extraction-c.lynch278-0.0.7

Card image cap
تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر
Card image cap
تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر
Card image cap
تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر
Card image cap
تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر
Card image cap
تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر
0.0.7
0.0.6
0.0.5
0.0.4
0.0.3
0.0.2
0.0.1
0.0.7
0.0.6
0.0.5
0.0.4
0.0.3
0.0.2
0.0.1

توضیحات

A small example package
ویژگی مقدار
سیستم عامل -
نام فایل data-extraction-c.lynch278-0.0.7
نام data-extraction-c.lynch278
نسخه کتابخانه 0.0.7
نگهدارنده []
ایمیل نگهدارنده []
نویسنده Example Author
ایمیل نویسنده author@example.com
آدرس صفحه اصلی https://github.com/pypa/sampleproject
آدرس اینترنتی https://pypi.org/project/data-extraction-c.lynch278/
مجوز -
# DataExtraction ## Overview This program is used to extract data from an implementation of Collibra into a SQL envrionment. In our case, we are extracting from Gore's instance of Collibra and into EXL_MDSDev. The program will extract the following objects: - Assets - Attributes - Attribute Types - Domains - Communities - Relations - Relation Types - Responsibilities Each of these object types are stored as their own table in SQL. ## Instruction For Use ### Setup The source executable file is kept in -- Artifact URL --. This folder contains a __main__.exe file and all of its dependencies. You will need add a 'prod_config.yml' file into the root of this folder. This config file can be found within the source code of the project and should be structured like so: ```yaml API_CONFIG: limit: 1000000 AUTH: username: <Valid admin username in environment> password: <Valid admin password in environment> auth-header: <Auto-generated basic auth token, generated using postman> ENVIRONMENT: gore: wlgore-<Envrionment Instance (dev,test,prod)>.collibra.com ``` ### Running Open a cmd prompt in the root of the project folder. Type __main__.exe and hit enter. The program will start to run and log its progress. During the run, the program will extract all data and overwrite the raw sql tables. ## SQL Tables The following sql tables are created/overwritten during the run on this program: - collibra_assets_raw - collibra_attributes_raw - collibra_attribute_types_raw - collibra_communities_raw - collibra_domains_raw - collibra_relations_raw - collibra_relation_types_raw - collibra_responsibilities_raw ## SQL Stored Procedures The following stored procedures are run on the raw tables to manipulate the data and add batch id's: - collibra.load_collibra_assets - collibra.load_collirba_attributes - collibra.load_collibra_attribute_types - collibra.load_collibra_communities - collibra.load_collibra_domains - collibra.load_collibra_relations - collibra.load_collibra_relation_types - collibra.load_collibra_responsibilities All of these procedures may be run simultaneously with the collibra\._load_entire_batch procedure. ## Migrating from dev/test to prod In order to change the environment in which the data extracton runs, the prod_config.yml file within the src folder will need to be changed. The username and password will need to be changed to that of a user in the new environment. Additionally the gore environment variable will need to be changed to the prod instance's URL. Example of a correctly configured prod_config.yml file for the prod environment: ```yaml API_CONFIG: limit: 1000000 AUTH: username: <Valid admin username in PROD environment> password: <Valid admin password in PROD environment> auth-header: <Auto-generated basic auth token, generated using postman> ENVIRONMENT: gore: wlgore-prod.collibra.com ```


نیازمندی

مقدار نام
- pyyaml


زبان مورد نیاز

مقدار نام
>=3.6 Python


نحوه نصب


نصب پکیج whl data-extraction-c.lynch278-0.0.7:

    pip install data-extraction-c.lynch278-0.0.7.whl


نصب پکیج tar.gz data-extraction-c.lynch278-0.0.7:

    pip install data-extraction-c.lynch278-0.0.7.tar.gz