معرفی شرکت ها

تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر

تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر

تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر

تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر

تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر

توضیحات

DeltaTorch allows loading training data from DeltaLake tables for training Deep Learning models using PyTorch

ویژگی	مقدار
سیستم عامل	-
نام فایل	deltatorch-0.0.1
نام	deltatorch
نسخه کتابخانه	0.0.1
نگهدارنده	[]
ایمیل نگهدارنده	[]
نویسنده	Michael Shtelma
ایمیل نویسنده	mshtelma@gmail.com
آدرس صفحه اصلی	https://github.com/mshtelma/deltatorch/
آدرس اینترنتی	https://pypi.org/project/deltatorch/
مجوز	Apache-2.0

# deltatorch ![![image](https://github.com/mshtelma/deltatorch/workflows/build/badge.svg)](https://github.com/mshtelma/deltatorch/actions/workflows/ci.yml/badge.svg) ![![image](https://github.com/mshtelma/deltatorch/workflows/build/badge.svg)](https://github.com/mshtelma/deltatorch/actions/workflows/flake8.yml/badge.svg) ## Concept `deltatorch` allows users to directly use `DeltaLake` tables as a data source for training using PyTorch. Using `deltatorch`, users can create a PyTorch `DataLoader` to load the training data. We support distributed training using PyTorch DDP as well. ## Usage ### Requirements - Python Version \> 3.8 - `pip` or `conda` ### Installation - with `pip`: ``` pip install git+https://github.com/mshtelma/deltatorch ``` ### Create PyTorch DataLoader to read our DeltaLake table To utilize `deltatorch` at first, we will need a DeltaLake table containing training data we would like to use for training your PyTorch deep learning model. There is a requirement: this table must have an autoincrement ID field. This field is used by `deltatorch` for sharding and parallelization of loading. After that, we can use the `create_pytorch_dataloader` function to create PyTorch DataLoader, which can be used directly during training. Below you can find an example of creating a DataLoader for the following table schema : ```sql CREATE TABLE TRAINING_DATA ( image BINARY, label BIGINT, id INT ) USING delta LOCATION 'path' ``` After the table is ready we can use the `create_pytorch_dataloader` function to create a PyTorch DataLoader : ```python from deltatorch import create_pytorch_dataloader def create_data_loader(path:str, length:int, batch_size:int): return create_pytorch_dataloader( # Path to the DeltaLake table path, # Length of the table. Can be easily pre-calculated using spark.read.load(path).count() length, # Field used as a source (X) src_field="image", # Target field (Y) target_field="label", # Autoincrement ID field id_field="id", # Load image using Pillow load_pil=True, # Number of readers num_workers=2, # Shuffle data inside the record batches shuffle=True, # Batch size batch_size=batch_size, ) ```

نیازمندی

مقدار	نام
>=0.15	torchtext
>=0.15	torchvision
>=2.0	pytorch-lightning
>=0.8	deltalake
>=9.5	pillow

زبان مورد نیاز

مقدار	نام
>=3.8,<4.0	Python

نحوه نصب

نصب پکیج whl deltatorch-0.0.1:

pip install deltatorch-0.0.1.whl

نصب پکیج tar.gz deltatorch-0.0.1:

pip install deltatorch-0.0.1.tar.gz