# En Text Cleaner

> 英文文本基础清洗工具。读取英文科研文本，展开常见缩写、修正常见拼写错误并可选规范大小写，输出整理后的 JSONL 数据。 当用户提到英文文本清洗、英文缩写展开、英文拼写纠正、英文文本规整等需求时使用此skill。 适合外文论文、英文实验记录的基础规整，不负责翻译、语法改写或跨语言语义修复。

- Skill: `cas-bigdatalab/en-text-cleaner` (Agent Skill, multi-file: 4 files)
- Install (CLI): `npx skillmds@latest add cas-bigdatalab/en-text-cleaner`
- Raw SKILL.md: https://api.skillmd.com/api/skills/cas-bigdatalab/en-text-cleaner/raw
- Safety review: pending
- Works with: Claude Code, Claude.ai, OpenAI Codex
- Category: Coding & Dev Tools
- Author: cas-bigdatalab (https://skillmd.com/u/cas-bigdatalab)
- Updated: 2026-09-17
- Page: https://skillmd.com/skills/cas-bigdatalab/en-text-cleaner

---


# EnTextCleaner - 英文文本清洗优化算子

## 功能概述

英文文本基础清洗工具。读取英文科研文本，展开常见缩写、修正常见拼写错误并可选规范大小写，输出整理后的 JSONL 数据。
适合外文论文、英文实验记录的基础规整，不负责翻译、语法改写或跨语言语义修复。

## 触发条件

当用户请求以下任务时，应使用此skill：
- 英文缩写展开
- 英文拼写纠正
- 英文文本规整
- 英文大小写规范化

## 核心参数说明

### 必需参数
- `--input`：输入JSONL文件路径
- `--output`：输出JSONL文件路径

### 可选参数
- `--text_field`：文本字段名，默认 `text`
- `--expand_abbreviations`：是否展开缩写，默认 `true`
- `--fix_spelling`：是否纠正拼写，默认 `true`
- `--normalize_case`：是否规范化大小写，默认 `false`
- `--mark_cleaned`：是否标记已清洗样本，默认 `true`
- `--custom_abbreviations`：自定义缩写词典JSON文件路径
- `--custom_spellings`：自定义拼写词典JSON文件路径

## 输入文件格式

- JSONL

## 使用方法

```bash
python scripts/run_en_text_cleaner.py \
  --input data.jsonl \
  --output cleaned.jsonl \
  --text_field text
```

## 输出示例

```
[OK] English text cleaning completed
   Total samples: 1000
   Samples processed: 234
   Abbreviations expanded: 156
   Spelling fixed: 89
```

## 环境要求

- Python 3.10+
- 仅依赖标准库

## 注意事项

1. 本skill只做缩写展开和拼写纠正，不负责语法修正或全句翻译。
2. 自定义词典需要符合JSON格式。
3. 修改样本会附带 `_en_cleaned` 标记和 `_en_change_details` 明细。