معرفی شرکت ها
compositional-attention-0.1.0
تبلیغات ما
مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.
مشاهده بیشتر
تبلیغات ما
مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.
مشاهده بیشتر
تبلیغات ما
مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.
مشاهده بیشتر
تبلیغات ما
مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.
مشاهده بیشتر
تبلیغات ما
مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.
مشاهده بیشترتوضیحات
An Implementation of Compositional Attention that disentagles seearch and retrieval.
| ویژگی | مقدار |
|---|---|
| سیستم عامل | - |
| نام فایل | compositional-attention-0.1.0 |
| نام | compositional-attention |
| نسخه کتابخانه | 0.1.0 |
| نگهدارنده | [] |
| ایمیل نگهدارنده | [] |
| نویسنده | Rishit Dagli |
| ایمیل نویسنده | rishit.dagli@gmail.com |
| آدرس صفحه اصلی | https://github.com/Rishit-dagli/Compositional-Attention/ |
| آدرس اینترنتی | https://pypi.org/project/compositional-attention/ |
| مجوز | - |
# Compositional Attention
[](https://github.com/Rishit-dagli/compositional-attention/actions/workflows/python-publish.yml)
[](https://github.com/psf/black)
[](https://github.com/Rishit-dagli/compositional-attention/stargazers)
[](https://github.com/Rishit-dagli)
[](https://twitter.com/intent/follow?screen_name=rishit_dagli)
This repository is an implementation of [Compositional Attention: Disentangling Search and Retrieval](https://arxiv.org/abs/2110.09419) by MILA. Revisiting standard Multi-head attention through the lens of multiple parallel and independent search and retrieval mechanisms, this leads to static pairings between searches and retrievals, often leading to redundancy of parameters. They reframe the "heads" of multi-head attention as "searches", and once the multi-headed/searched values are aggregated, there is an extra retrieval step (using attention) off the searched results. The experiments establish this as an easy drop-in replacement for Multi-head attention.
## Installation
Run the following to install:
```sh
pip install compositional-attention
```
## Developing `compositional-attention`
To install `compositional-attention`, along with tools you need to develop and test, run the following in your virtualenv:
```sh
git clone https://github.com/Rishit-dagli/compositional-attention.git
# or clone your own fork
cd compositional-attention
pip install -e .[dev]
```
## Usage
```py
import tensorflow as tf
from compositional_attention import CompositionalAttention
attn = CompositionalAttention(
dim = 1024, # input dimension
dim_head = 64, # dimension per attention 'head' - head is now either search or retrieval
num_searches = 8, # number of searches
num_retrievals = 2, # number of retrievals
dropout = 0.1, # dropout of attention of search and retrieval
)
tokens = tf.random.uniform([1, 512, 1024]) # tokens
mask = tf.ones([1, 512], dtype=tf.dtypes.bool) # mask
out = attn(tokens, mask = mask) # (1, 512, 1024)
```
## Want to Contribute 🙋♂️?
Awesome! If you want to contribute to this project, you're always welcome! See [Contributing Guidelines](CONTRIBUTING.md). You can also take a look at [open issues](https://github.com/Rishit-dagli/Compositional-Attention/issues) for getting more information about current or upcoming tasks.
## Want to discuss? 💬
Have any questions, doubts or want to present your opinions, views? You're always welcome. You can [start discussions](https://github.com/Rishit-dagli/Compositional-Attention/discussions).
## Citations
```bibtex
Mittal, Sarthak, et al. ‘Compositional Attention: Disentangling Search and Retrieval’. ArXiv:2110.09419 [Cs], Feb. 2022. arXiv.org, http://arxiv.org/abs/2110.09419.
```
Official [PyTorch implmentation](https://github.com/sarthmit/compositional-attention) and Phil Wang's [PyTorch implmenetation](https://github.com/lucidrains/compositional-attention-pytorch).
نیازمندی
| مقدار | نام |
|---|---|
| >=2.5.0 | tensorflow |
| ~=0.3.0 | einops |
| - | check-manifest |
| - | twine |
| - | numpy |
| - | black |
نحوه نصب
نصب پکیج whl compositional-attention-0.1.0:
pip install compositional-attention-0.1.0.whl
نصب پکیج tar.gz compositional-attention-0.1.0:
pip install compositional-attention-0.1.0.tar.gz