معرفی شرکت ها
aiai-eval-0.0.1
تبلیغات ما
مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.
مشاهده بیشتر
تبلیغات ما
مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.
مشاهده بیشتر
تبلیغات ما
مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.
مشاهده بیشتر
تبلیغات ما
مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.
مشاهده بیشتر
تبلیغات ما
مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.
مشاهده بیشترتوضیحات
Evaluation of finetuned models.
| ویژگی | مقدار |
|---|---|
| سیستم عامل | - |
| نام فایل | aiai-eval-0.0.1 |
| نام | aiai-eval |
| نسخه کتابخانه | 0.0.1 |
| نگهدارنده | [] |
| ایمیل نگهدارنده | [] |
| نویسنده | Dan Saattrup Nielsen |
| ایمیل نویسنده | dan.nielsen@alexandra.dk |
| آدرس صفحه اصلی | - |
| آدرس اینترنتی | https://pypi.org/project/aiai-eval/ |
| مجوز | MIT |
<div align='center'>
<img src="https://raw.githubusercontent.com/alexandrainst/AIAI-eval/main/gfx/aiai-eval-logo.png" width="auto" height="224">
</div>
### Evaluation of finetuned models.
______________________________________________________________________
[](https://pypi.org/project/aiai_eval/)
[](https://alexandrainst.github.io/AIAI-eval/aiai_eval.html)
[](https://github.com/alexandrainst/AIAI-eval/blob/main/LICENSE)
[](https://github.com/alexandrainst/AIAI-eval/commits/main)
[](https://github.com/alexandrainst/AIAI-eval/tree/main/tests)
Developers:
- Dan Saattrup Nielsen (dan.nielsen@alexandra.dk)
- Anders Jess Pedersen (anders.j.pedersen@alexandra.dk)
## Installation
To install the package simply write the following command in your favorite terminal:
```
$ pip install aiai-eval
```
## Quickstart
### Benchmarking from the Command Line
The easiest way to benchmark pretrained models is via the command line interface. After
having installed the package, you can benchmark your favorite model like so:
```
$ evaluate --model-id <model_id> --task <task>
```
Here `model_id` is the HuggingFace model ID, which can be found on the [HuggingFace
Hub](https://huggingface.co/models), and `task` is the task you want to benchmark the
model on, such as "ner" for named entity recognition. See all options by typing
```
$ evaluate --help
```
The specific model version to use can also be added after the suffix '@':
```
$ evaluate --model_id <model_id>@<commit>
```
It can be a branch name, a tag name, or a commit id. It defaults to 'main' for latest.
Multiple models and tasks can be specified by just attaching multiple arguments. Here
is an example with two models:
```
$ evaluate --model_id <model_id1> --model_id <model_id2> --task ner
```
See all the arguments and options available for the `evaluate` command by typing
```
$ evaluate --help
```
### Benchmarking from a Script
In a script, the syntax is similar to the command line interface. You simply initialise
an object of the `Evaluator` class, and call this evaluate object with your favorite
models and/or datasets:
```
>>> from aiai_eval import Evaluator
>>> evaluator = Evaluator()
>>> evaluator('<model_id>', '<task>')
```
## Project structure
```
.
├── .flake8
├── .github
│ └── workflows
│ ├── ci.yaml
│ └── docs.yaml
├── .gitignore
├── .pre-commit-config.yaml
├── LICENSE
├── README.md
├── gfx
│ └── aiai-eval-logo.png
├── makefile
├── models
├── notebooks
├── poetry.toml
├── pyproject.toml
├── src
│ ├── aiai_eval
│ │ ├── __init__.py
│ │ ├── automatic_speech_recognition.py
│ │ ├── cli.py
│ │ ├── co2.py
│ │ ├── config.py
│ │ ├── country_codes.py
│ │ ├── evaluator.py
│ │ ├── exceptions.py
│ │ ├── hf_hub.py
│ │ ├── image_to_text.py
│ │ ├── named_entity_recognition.py
│ │ ├── question_answering.py
│ │ ├── scoring.py
│ │ ├── task.py
│ │ ├── task_configs.py
│ │ ├── task_factory.py
│ │ ├── text_classification.py
│ │ └── utils.py
│ └── scripts
│ ├── fix_dot_env_file.py
│ └── versioning.py
└── tests
├── __init__.py
├── conftest.py
├── test_cli.py
├── test_co2.py
├── test_config.py
├── test_country_codes.py
├── test_evaluator.py
├── test_exceptions.py
├── test_hf_hub.py
├── test_image_to_text.py
├── test_named_entity_recognition.py
├── test_question_answering.py
├── test_scoring.py
├── test_task.py
├── test_task_configs.py
├── test_task_factory.py
├── test_text_classification.py
└── test_utils.py
```
نیازمندی
| مقدار | نام |
|---|---|
| >=1.12.0,<2.0.0 | torch |
| >=4.21.0,<5.0.0 | transformers |
| >=3.4.1,<4.0.0 | spacy |
| >=0.1.96,<0.2.0 | sentencepiece |
| >=4.21.4,<5.0.0 | protobuf |
| >=4.64.0,<5.0.0 | tqdm |
| >=1.2.2,<2.0.0 | seqeval |
| >=0.8.1,<1.0.0 | huggingface-hub |
| >=2.4.0,<3.0.0 | datasets |
| >=2.1.3,<3.0.0 | codecarbon |
| >=2022.7.1,<2023.0.0 | fsspec |
| >=1.1.0,<2.0.0 | termcolor |
| >=3.1.7,<4.0.0 | gradio |
زبان مورد نیاز
| مقدار | نام |
|---|---|
| >=3.8,<3.11 | Python |
نحوه نصب
نصب پکیج whl aiai-eval-0.0.1:
pip install aiai-eval-0.0.1.whl
نصب پکیج tar.gz aiai-eval-0.0.1:
pip install aiai-eval-0.0.1.tar.gz