Safha

كاشط محتوى عربي — اجمع محتوى عربي من الويب، نظّفه، واكتشف لهجته. مخصص لتجهيز بيانات التدريب.

moshe-ship Updated

File contents

safha — كاشط المحتوى العربي

أداة لجمع وتنظيف المحتوى العربي من الويب لتجهيز بيانات التدريب.

الأوامر

كشط صفحة

safha scrape URL

يجمع المحتوى العربي ويحفظه بصيغة JSONL.

كشط sitemap كامل

safha sitemap URL

يكشط جميع الروابط بالتوازي مع rate limiting.

تنظيف البيانات

safha clean data.jsonl

10 خطوات تنظيف: حذف URLs، تطبيع الألف/الياء، إزالة التشكيل...

اكتشاف اللهجة

safha detect data.jsonl

يصنّف كل نص حسب اللهجة (فصحى/مصري/خليجي/شامي/مغربي).

إحصائيات

safha stats

أعلام مفيدة

  • --output FILE — ملف الخروج
  • --keep-tashkeel — لا تحذف التشكيل

متى تستخدم

  • المستخدم يريد جمع بيانات تدريب عربية
  • تنظيف بيانات خام من الويب
  • تصنيف بيانات حسب اللهجة

moshe-ship/mkhlab/tree/main/skills/safha commit c0930f3bb8

Frequently asked questions

npx skillmds@latest add moshe-ship/safha