Token Num Filter

Token数量过滤器。筛选器将总令牌数的样本保留在特定范围内。 本SKILL使用依赖data_juicer,请在调用前安装好python环境并安装data_juicer,你可用以下指令进行安装: pip install py-data-juicer 当用户提到token数量过滤、文本token数筛选、按token数过滤、文本分词过滤等需求时使用此skill。

cas-bigdatalab Updated 541 repo stars

File contents

cas-bigdatalab/piflow commit 31c014dd0a

Frequently asked questions

npx get-skill add cas-bigdatalab/token-num-filter