Ingénieur Appliqué, Rôle Évaluations

Mercor recherche des ingénieurs logiciels pour concevoir et affiner des évaluations. Vous transformerez des pull requests finalisées en tâches d'ingénierie et utiliserez notre framework d'évaluation interne pour tester plusieurs agents de codage de pointe, notamment Claude Code, Codex et bien d'autres.

Nous travaillons aux côtés d'une équipe de recherche interne et avons produit des benchmarks de premier plan pour comparer les performances des grands modèles de langage de pointe.

Dans ce rôle, vous devrez :

• Identifier des répertoires contenant suffisamment de travail substantiel pour permettre des évaluations stimulantes, et sélectionner des PR finalisées adaptées.

• Étudier chaque problème, sa solution de référence ainsi que l'architecture, les tests et les conventions du répertoire.

• Rédiger des instructions de tâches et concevoir des évaluations à l'aide de tests automatisés, de commandes shell et de prompts de notation par LLM.

• Valider les évaluations par rapport aux solutions de référence et à des implémentations comportant des défauts volontaires. Détecter les vérifications manquantes, les notes erronées et les critères qui restreignent inutilement la résolution d'un problème.

• Exécuter les évaluations de manière répétée sur plusieurs modèles et environnements d'exécution. Analyser si les échecs proviennent de la solution de l'agent, de l'environnement ou de la notation, et s'assurer que les tâches mettent en évidence des faiblesses significatives dans les performances des agents.

• Affiner les évaluations grâce à des tests et des révisions répétés. Documenter les conclusions et les décisions de notation, et traiter les retours.

Profil recherché :

• Solides bases en programmation et expérience pratique sur des bases de code importantes et complexes. Les langages pour lesquels nous créons des évaluations incluent TypeScript/JavaScript, Python, Java, Kotlin, Go, Ruby, PHP, C++ et Rust.

• Capacité à comprendre du code inconnu, à analyser des comportements subtils et à évaluer si différentes implémentations résolvent correctement le même problème.

• Expérience dans la rédaction de tests pertinents, incluant les cas limites et la couverture des régressions.

• Sens du détail et patience face à l'investigation et à l'affinage répétés.

• Expérience pratique de l'utilisation d'outils de codage par IA, avec le discernement nécessaire pour vérifier leurs résultats et corriger les erreurs.

• Maîtrise de Git, des exécuteurs de tests et des outils de CI.

• Communication écrite et orale claire et fluide, avec la capacité de prendre en charge une tâche en autonomie tout en sachant poser des questions lorsque les exigences sont ambiguës.

Une expérience pertinente peut provenir de répertoires open-source, privés ou d'entreprise. La familiarité avec un langage ou un écosystème particulier est un atout ; la capacité à appréhender le répertoires et à porter un jugement technique judicieux importe plus que sa popularité ou votre historique de contributions publiques.

Nous assurons une période d'intégration à notre framework d'évaluation ainsi qu'un suivi continu des retours. À l'issue de cette période, vous serez attendu pour gérer de manière autonome la sélection des tâches, le développement des évaluations et les itérations, sans supervision étape par étape.