معرفی شرکت ها

deduplication-0.0.3

Card image cap
تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر
Card image cap
تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر
Card image cap
تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر
Card image cap
تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر
Card image cap
تبلیغات ما

مشتریان به طور فزاینده ای آنلاین هستند. تبلیغات می تواند به آنها کمک کند تا کسب و کار شما را پیدا کنند.

مشاهده بیشتر
0.0.3
0.0.2
0.0.1
0.0.3
0.0.2
0.0.1

توضیحات

Remove duplicate documents via popular algorithms such as SimHash, SpotSig, Shingling, etc.
ویژگی مقدار
سیستم عامل -
نام فایل deduplication-0.0.3
نام deduplication
نسخه کتابخانه 0.0.3
نگهدارنده []
ایمیل نگهدارنده []
نویسنده Marcnuth
ایمیل نویسنده hxianxian@gmail.com
آدرس صفحه اصلی https://github.com/Marcnuth/deduplication
آدرس اینترنتی https://pypi.org/project/deduplication/
مجوز Apache License 2.0
# deduplication Remove duplicate documents via popular algorithms such as SimHash, SpotSig, Shingling, etc. ## Install Run following commands: ``` # install current library pip install deduplication # install required pretrained NLP models python -m spacy download xx_ent_wiki_sm python -m spacy download en_core_web_sm ``` ## Example __SimHash__ ```python from deduplication import simhash hashvalue1 = simhash('this is text') hashvalue2 = simhash('this is another text', n_block=4) ``` __L-SimHash__ ```python from deduplication import lsimhash hashvalue = lsimhash('this is very long article texts. maybe with a lot of sentences.') ``` ## Citation __SimHash__ ``` Sadowski C, Levin G. Simhash: Hash-based similarity detection[J]. Technical report, Google, 2007. ```


نیازمندی

مقدار نام
>='2.1.4' spacy


نحوه نصب


نصب پکیج whl deduplication-0.0.3:

    pip install deduplication-0.0.3.whl


نصب پکیج tar.gz deduplication-0.0.3:

    pip install deduplication-0.0.3.tar.gz