Character Repetition Filter

字符重复比例过滤器。过滤文本中字符级n-gram重复比例不在指定范围内的样本。 当用户提到字符重复、重复比例过滤、文本重复过滤、清理重复内容等需求时使用此skill。 即使用户没有明确说出"字符重复",只要任务涉及根据文本中字符重复的程度来筛选数据, 就应该使用此skill。

cas-bigdatalab Updated 541 repo stars

File contents

cas-bigdatalab/piflow commit 59eaf3816a

Frequently asked questions

npx get-skill add cas-bigdatalab/character-repetition-filter