Majal

فاحص بيانات التدريب العربية — اكتشف مشاكل الترميز والمحتوى المخفي وخلط اللهجات في ملفات JSONL. استخدم لتنظيف بيانات التدريب.

moshe-ship ba581e2 1.3 KB Updated

File contents

majal — فاحص بيانات التدريب العربية

أداة لفحص جودة بيانات التدريب العربية عبر 16 فحص.

الأوامر

فحص البيانات

majal scan data.jsonl

يعرض جدول بالمشاكل المكتشفة مع مستوى الخطورة.

إحصائيات

majal stats data.jsonl

إحصائيات شاملة: توزيع اللغات، التوكنات، الحقول.

إصلاح تلقائي

majal fix data.jsonl

يعرض diff قبل التطبيق. أضف --yes لتخطي التأكيد.

شرح الفحوصات

majal explain

عيّنة عشوائية

majal sample data.jsonl

يعرض عيّنة مع ملاحظات الجودة.

الفئات الـ16

Encoding، Invisible، Content، Arabic، Format

متى تستخدم

  • المستخدم يجهّز بيانات تدريب عربية
  • يريد فحص جودة dataset
  • يشك بمشاكل ترميز أو محتوى مخفي

moshe-ship/mkhlab/tree/main/skills/majal commit ba581e276b

Frequently asked questions

npx skillmds@latest add moshe-ship/majal