moshe-ship arabench — معيار جودة العربية للنماذج
أداة لتقييم جودة الذكاء الاصطناعي بالعربي عبر 8 فئات.
الأوامر
تشغيل المعيار الكامل
arabench run
النتيجة المتوقعة:
╔══════════════════════════════════════════════╗
║ arabench — Full Benchmark ║
╠════════════════╦═══════╦═══════╦═════════════╣
║ Category ║ GPT-4 ║ Claude║ Gemini ║
╠════════════════╬═══════╬═══════╬═════════════╣
║ Translation ║ 82 ║ 87 ║ 79 ║
║ Grammar ║ 76 ║ 84 ║ 74 ║
║ Dialect ║ 68 ║ 71 ║ 65 ║
║ Diacritization ║ 54 ║ 62 ║ 51 ║
║ Summarization ║ 78 ║ 83 ║ 76 ║
║ QA ║ 81 ║ 85 ║ 78 ║
║ Generation ║ 75 ║ 80 ║ 73 ║
║ Culture ║ 70 ║ 77 ║ 66 ║
╠════════════════╬═══════╬═══════╬═════════════╣
║ OVERALL ║ 73.0 ║ 78.6 ║ 70.3 ║
╚════════════════╩═══════╩═══════╩═════════════╝
اختبار سريع لمزوّد واحد
arabench quick claude
arabench quick gpt4
arabench quick gemini
النتيجة — نتائج سريعة خلال 30 ثانية لأهم 3 فئات (translation, grammar, qa).
مقارنة مزوّدين
arabench compare claude gpt4
النتيجة المتوقعة:
claude vs gpt4 — Arabic Quality Comparison
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
Translation: claude 87 ████████▋ vs gpt4 82 ████████▏
Grammar: claude 84 ████████▍ vs gpt4 76 ███████▌
Dialect: claude 71 ███████ vs gpt4 68 ██████▊
Winner: claude (+5.6 avg)
عرض لوحة النتائج
arabench leaderboard
يعرض ترتيب جميع المزوّدين المُقيّمين حسب المعدل العام.
شرح فئة تقييم
arabench explain translation
arabench explain dialect
arabench explain diacritization
الفئات الثمانية بالتفصيل
| الفئة | الوصف | أمثلة الاختبار |
|---|---|---|
| translation | دقة الترجمة عربي↔إنجليزي | مصطلحات تقنية، تعابير اصطلاحية |
| grammar | صحة القواعد النحوية والصرفية | إعراب، تصريف أفعال، جمع تكسير |
| dialect | فهم اللهجات الخمس | مصري، خليجي، شامي، مغاربي، عراقي |
| diacritization | دقة التشكيل | نصوص بدون تشكيل يُطلب تشكيلها |
| summarization | جودة التلخيص العربي | مقالات إخبارية، نصوص أكاديمية |
| qa | الإجابة على أسئلة بالعربي | ثقافية، تاريخية، علمية |
| generation | جودة توليد النصوص | مقالات، قصص، محتوى تسويقي |
| culture | الوعي الثقافي العربي | عادات، أمثال، سياق اجتماعي |
نظام التقييم
- 90-100: ممتاز — أداء يقارب المتحدث الأصلي
- 80-89: جيد جدا — أخطاء نادرة وطفيفة
- 70-79: جيد — يفهم السياق لكن فيه أخطاء ملحوظة
- 60-69: مقبول — يحتاج تدقيق بشري
- أقل من 60: ضعيف — غير موثوق للاستخدام الإنتاجي
متى تستخدم
- المستخدم يسأل "أي نموذج أفضل بالعربي؟"
- يريد مقارنة بين Claude و GPT أو غيرهم
- يريد يعرف نقاط ضعف نموذج معين بالعربي
- يختار نموذج لمشروع يتطلب عربي عالي الجودة
- يريد يفهم ليش نموذج معين ضعيف بالتشكيل أو اللهجات