معرفی شرکت ها

تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر

تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر

تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر

تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر

تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر

توضیحات

Attention Free Transformer - Pytorch

ویژگی	مقدار
سیستم عامل	-
نام فایل	aft-pt-0.1.0
نام	aft-pt
نسخه کتابخانه	0.1.0
نگهدارنده	[]
ایمیل نگهدارنده	[]
نویسنده	Shen Dezhou
ایمیل نویسنده	tsinghua9boy@sina.com
آدرس صفحه اصلی	https://github.com/shendezhou/aft-pytorch
آدرس اینترنتی	https://pypi.org/project/aft-pt/
مجوز	MIT

# aft-pytorch Unofficial PyTorch implementation of **Attention Free Transformer**'s layers by [Zhai](https://twitter.com/zhaisf?lang=en), et al. [[abs](https://openreview.net/forum?id=pW--cu2FCHY), [pdf](https://arxiv.org/pdf/2105.14103.pdf)] from Apple Inc. <img src="https://github.com/ShenDezhou/aft-pytorch/blob/master/pic.png" width=650> ## Installation You can install `aft_pt` via `pip`: ```bash pip install aft_pt ``` ## Usage You can import the **AFT-Full** or **AFT-Simple** layer (as described in the paper) from the package like so: ### `AFTFull` ```python from aft_pt import AFTFull layer = AFTFull( max_seqlen=20, dim=512, hidden_dim=64 ) # a batch of sequences with 10 timesteps of length 512 each x = torch.rand(32, 10, 512) y = layer(x) # [32, 10, 512] ``` ### `AFTSimple` ```python from aft_pt import AFTSimple layer = AFTSimple( max_seqlen=20, dim=512, hidden_dim=64 ) # a batch of sequences with 10 timesteps of length 512 each x = torch.rand(32, 10, 512) y = layer(x) # [32, 10, 512] ``` ### `AFTLocal` ```python from aft_pt import AFTLocal layer = AFTLocal( max_seqlen=20, dim=512, hidden_dim=64 ) # a batch of sequences with 10 timesteps of length 512 each x = torch.rand(32, 10, 512) y = layer(x) # [32, 10, 512] ``` > This layer wrapper is a 'plug-and-play' with your existing networks / Transformers. You can swap out the Self-Attention layer with the available layers in this package with minimal changes. ## TODO - [ ] Add full AFT architecture - [ ] Add variants like, `AFTConv` - [ ] Benchmark using Karpathy's [minGPT](https://github.com/karpathy/minGPT) ## Contributing If you like this repo, please leave a star! If there are any amends or suggestions, feel free to raise a PR/issue. ## Credits ``` @misc{attention-free-transformer, title = {An Attention Free Transformer}, author = {Shuangfei Zhai and Walter Talbott and Nitish Srivastava and Chen Huang and Hanlin Goh and Ruixiang Zhang and Josh Susskind}, year = {2021}, URL = {https://arxiv.org/pdf/2105.14103.pdf} } ``` ## License [MIT](https://github.com/ShenDezhou/aft-pytorch/blob/main/LICENSE)

نیازمندی

مقدار	نام
>=1.6	torch

نحوه نصب

نصب پکیج whl aft-pt-0.1.0:

pip install aft-pt-0.1.0.whl

نصب پکیج tar.gz aft-pt-0.1.0:

pip install aft-pt-0.1.0.tar.gz