معرفی شرکت ها
cdm-connector-0.0.6.9
تبلیغات ما
مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.
مشاهده بیشتر
تبلیغات ما
مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.
مشاهده بیشتر
تبلیغات ما
مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.
مشاهده بیشتر
تبلیغات ما
مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.
مشاهده بیشتر
تبلیغات ما
مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.
مشاهده بیشتر
0.0.6.9
0.0.6.8
0.0.6.70
0.0.6.7
0.0.6.69
0.0.6.68
0.0.6.67
0.0.6.66
0.0.6.65
0.0.6.64
0.0.6.63
0.0.6.62
0.0.6.61
0.0.6.60
0.0.6.6
0.0.6.59
0.0.6.58
0.0.6.57
0.0.6.56
0.0.6.55
0.0.6.54
0.0.6.53
0.0.6.52
0.0.6.51
0.0.6.50
0.0.6.5
0.0.6.49
0.0.6.48
0.0.6.47
0.0.6.46
0.0.6.45
0.0.6.44
0.0.6.43
0.0.6.42
0.0.6.41
0.0.6.40
0.0.6.4
0.0.6.39
0.0.6.38
0.0.6.37
0.0.6.36
0.0.6.35
0.0.6.34
0.0.6.33
0.0.6.32
0.0.6.31
0.0.6.30
0.0.6.3
0.0.6.29
0.0.6.28
0.0.6.27
0.0.6.26
0.0.6.25
0.0.6.24
0.0.6.23
0.0.6.22
0.0.6.21
0.0.6.20
0.0.6.2
0.0.6.19
0.0.6.18
0.0.6.17
0.0.6.16
0.0.6.15
0.0.6.14
0.0.6.13
0.0.6.12
0.0.6.11
0.0.6.10
0.0.6.1
0.0.6
0.0.5.0.8
0.0.5.0.7
0.0.5.0.6
0.0.5.0.5
0.0.5.0.4
0.0.5.0.3
0.0.5.0.2
0.0.5.0.13
0.0.5.0.12
0.0.4
0.0.3
0.0.2
0.0.1
0.0.6.9
0.0.6.8
0.0.6.70
0.0.6.7
0.0.6.69
0.0.6.68
0.0.6.67
0.0.6.66
0.0.6.65
0.0.6.64
0.0.6.63
0.0.6.62
0.0.6.61
0.0.6.60
0.0.6.6
0.0.6.59
0.0.6.58
0.0.6.57
0.0.6.56
0.0.6.55
0.0.6.54
0.0.6.53
0.0.6.52
0.0.6.51
0.0.6.50
0.0.6.5
0.0.6.49
0.0.6.48
0.0.6.47
0.0.6.46
0.0.6.45
0.0.6.44
0.0.6.43
0.0.6.42
0.0.6.41
0.0.6.40
0.0.6.4
0.0.6.39
0.0.6.38
0.0.6.37
0.0.6.36
0.0.6.35
0.0.6.34
0.0.6.33
0.0.6.32
0.0.6.31
0.0.6.30
0.0.6.3
0.0.6.29
0.0.6.28
0.0.6.27
0.0.6.26
0.0.6.25
0.0.6.24
0.0.6.23
0.0.6.22
0.0.6.21
0.0.6.20
0.0.6.2
0.0.6.19
0.0.6.18
0.0.6.17
0.0.6.16
0.0.6.15
0.0.6.14
0.0.6.13
0.0.6.12
0.0.6.11
0.0.6.10
0.0.6.1
0.0.6
0.0.5.0.8
0.0.5.0.7
0.0.5.0.6
0.0.5.0.5
0.0.5.0.4
0.0.5.0.3
0.0.5.0.2
0.0.5.0.13
0.0.5.0.12
0.0.4
0.0.3
0.0.2
0.0.1
توضیحات
A Python package to read and write files in CDM format. Customized for SkyPoint use cases.
| ویژگی | مقدار |
|---|---|
| سیستم عامل | - |
| نام فایل | cdm-connector-0.0.6.9 |
| نام | cdm-connector |
| نسخه کتابخانه | 0.0.6.9 |
| نگهدارنده | [] |
| ایمیل نگهدارنده | [] |
| نویسنده | SkyPoint Cloud |
| ایمیل نویسنده | support@skypointcloud.com |
| آدرس صفحه اصلی | https://github.com/skypointcloud/skypoint-python-cdm-connector |
| آدرس اینترنتی | https://pypi.org/project/cdm-connector/ |
| مجوز | GPL-3.0 |
# skypoint-python-cdm-connector
Python Spark CDM Connector by SkyPoint.
Apache Spark connector for the Microsoft Azure "Common Data Model". Reading and writing is supported and it is a work in progress. Please file issues for any bugs that you find.
For more information about the Azure Common Data Model, check out [this page](https://docs.microsoft.com/en-us/common-data-model/data-lake). <br>
We support Azure Data Lake Service (ADLS) and AWS S3 as storage, historical data preservation using snapshots of the schema & data files and usage within PySpark, Azure Functions etc.
*Upcoming Support for incremental data refresh handling, [CDM 1.1](https://docs.microsoft.com/en-us/common-data-model/cdm-manifest and Google Cloud (Cloud Storage). <br>
## Example
1. Please look into the sample usage file skypoint_python_cdm.py
2. Dynamically add/remove entities, annotations and attributes
3. Pass Reader and Writer object for any storage account you like to write/read data to/from.
4. Check out the below code for basic read and write examples.
```python
# Initialize empty model
m = Model()
# Sample dataframe
df = {"country": ["Brazil", "Russia", "India", "China", "South Africa", "ParaSF"],
"currentTime": [datetime.now(), datetime.now(), datetime.now(), datetime.now(), datetime.now(), datetime.now()],
"area": [8.516, 17.10, 3.286, 9.597, 1.221, 2.222],
"capital": ["Brasilia", "Moscow", "New Dehli", "Beijing", "Pretoria", "ParaSF"],
"population": [200.4, 143.5, 1252, 1357, 52.98, 12.34] }
df = pd.DataFrame(df)
# Generate entity from the dataframe
entity = Model.generate_entity(df, "customEntity")
# Add generated entity to model
m.add_entity(entity)
# Add model level annotation
# Annotation can be added at entity level as well as attribute level
Model.add_annotation("modelJsonAnnotation", "modelJsonAnnotationValue", m)
# Create an ADLSWriter to write into ADLS
writer = ADLSWriter("ACCOUNT_NAME", "ACCOUNT_KEY",
"CONTAINER_NAME", "STORAGE_NAME", "DATAFLOW_NAME")
# Write data as well as model.json in ADLS storage
m.write_to_storage("customEntity", df, writer)
```
## Contributing
This project welcomes contributions and suggestions.
## References
[Model.json version1 schema](https://github.com/microsoft/CDM/blob/master/docs/schema/modeljsonschema.json)
[A clean implementation for Python Objects from/to model.json file](https://github.com/Azure-Samples/cdm-azure-data-services-integration/blob/master/CDM/python/CdmModel.py)
نیازمندی
| مقدار | نام |
|---|---|
| ==1.0.1 | pandas |
| ==2.1.0 | azure-storage-blob |
| ==1.18.2 | numpy |
| ==0.9.2 | retry |
| ==1.14.2 | boto3 |
| ==1.17.2 | botocore |
نحوه نصب
نصب پکیج whl cdm-connector-0.0.6.9:
pip install cdm-connector-0.0.6.9.whl
نصب پکیج tar.gz cdm-connector-0.0.6.9:
pip install cdm-connector-0.0.6.9.tar.gz