تقييم الوكلاء العرب — Arabic Agent Eval
أول معيار قياس لاستدعاء الأدوات بالعربي.
التثبيت
pip install arabic-agent-eval
الاستخدام
تقييم سريع
aae quick openai
تقييم كامل
aae run
مقارنة بين موفرين
aae compare openai anthropic
فئات التقييم
ست فئات:
- استدعاء بسيط — اختيار الدالة الصحيحة واستخراج المعاملات
- استخراج المعاملات — استخراج بيانات عربية من نص طبيعي
- تفكير متعدد الخطوات — سلسلة استدعاءات متتابعة
- معالجة اللهجات — فهم خليجي ومصري وشامي ومغاربي
- اختيار الأداة — اختيار الأداة الصحيحة من عشر خيارات
- معالجة الأخطاء — التعامل مع ردود الخطأ بالعربي
مجموعة البيانات
- واحد وخمسين عنصر تقييم
- خمس لهجات عربية
- اثنين وعشرين دالة عربية (صلاة، زكاة، قرآن، أسهم تداول، وغيرها)
- ثلاث مستويات صعوبة
التقييم
لكل عنصر:
- اختيار الدالة: هل اختار الموديل الدالة الصحيحة؟
- دقة المعاملات: هل المعاملات المستخرجة صحيحة؟
- حفظ العربية: هل القيم العربية محفوظة ولا تُرجمت؟
- فهم اللهجة: هل فهم الموديل اللهجة؟
إحصائيات المجموعة
aae dataset