مهندس تطبيقات، دور التقييمات

تسعى Mercor إلى توظيف مهندسي برمجيات لبناء وتقييم عمليات التقييم وتطويرها. ستقوم بتحويل طلبات السحب المكتملة إلى مهام هندسية وتخدام إطار عمل التقييم الداخلي الخاص بنا لتقييم العديد من وكلاء البرمجة المتقدمين، بما في ذلك Claude Code وCodex والمزيد.

نعمل جنباً إلى جنب مع فريق بحث داخلي وأنتجنا معايير رائدة في الصناعة لمقارنة أداء النماذج اللغوية الكبيرة المتقدمة.

في هذا الدور، ستقوم بما يلي:

• تحديد المستودعات التي تحتوي على عمل جوهري كافٍ لدعم التقييمات الصعبة، واختيار طلبات السحب المكتملة المناسبة.

• التحقيق في كل مشكلة، وحلها المرجعي، وهندسة المستودع، والاختبارات، والاتفاقيات الخاصة به.

• كتابة موجزات المهام وبناء التقييمات باستخدام الاختبارات الآلية، وأوامر shell، وموجزات تقييم LLM.

• التحقق من صحة التقييمات مقابل الحلول المرجعية والتنفيذات المعيبة عن عمد. العثور على عمليات التحقق المفقودة، والدرجات غير الصحيحة، والمعايير التي تقيد دون داعٍ كيفية حل المشكلة.

• تشغيل التقييمات بشكل متكرر عبر نماذج وأدوات متعددة. التحقيق فيما إذا كانت الإخفاقات ناتجة عن حل الوكيل، أو البيئة، أو التقييم، والتأكد من أن المهام تكشف عن نقاط ضعف هي في أداء الوكيل.

• تحسين التقييمات من خلال الاختبار المستمر والمراجعة. توثيق النتائج وقرارات التقييم، والعمل على التغذية الراجعة.

ستحتاج إلى:

• أساسيات برمجة قوية وخبرة عمل عملية في قواعد أكواد برمجية جوهرية ومعقدة. اللغات التي ننشئ تقييمات لها تشمل TypeScript/JavaScript وPython وJava وKotlin وGo وRuby وPHP وC++ وRust

• القدرة على فهم الكود غير المألوف، والتحقيق في السلوك الدقيق، وتقييم ما إذا كانت التنفيذات المختلفة تحل نفس المشكلة بشكل صحيح.

• خبرة في كتابة اختبارات ذات معنى، بما في ذلك الحالات الحدية وتغطية الانحدار.

• الاهتمام بالتفاصيل والصبر على التحقيق المستمر والتحسين.

• خبرة عملية في استخدام أدوات البرمجة المدعومة بالذكاء الاصطناعي، مع القدرة على التحقق من مخرجاتها واكتشاف الأخطاء.

• الثقة في استخدام Git، وأدوات تشغيل الاختبارات، وأدوات CI.

• تواصل كتابي ولفظي واضح وطلاقة مع القدرة على تولي المهمة بشكل مستقل مع طرح الأسئلة عندما تكون المتطلبات غامضة.

يمكن أن تأتي الخبرة ذات الصلة من مستودعات مفتوحة المصدر، أو خاصّة، أو للمؤسسات. تُعد الإلمام بلغة أو بيئة معيّنة أمرًا مفيدًا؛ وتظل القدرة على تعلم المستودع واتخاذ قرارات هندسية سليمة أكثر أهمية من شعبيته أو سجل مساهماتك العامة.

نحن نقدم التوجيه لإطار عمل التقييم وتعليقات المراجعة المستمرة. بعد التوجيه، يُتوقع منك تولي اختيار المهام، وتطوير التقييم، والتكرار دون توجيه خطوة بخطوة.