Angewandter Engineer für den Bereich Evaluierungen

Mercor sucht Softwareingenieure, um Evaluierungen zu entwickeln und zu verfeinern. Sie wandeln abgeschlossene Pull Requests in technische Aufgaben um und nutzen unser internes Evaluierungs-Framework für mehrere führende Coding-Agents, darunter Claude Code, Codex und weitere.

Wir arbeiten eng mit einem internen Forschungsteam zusammen und haben branchenführende Benchmarks entwickelt, um die Leistung von führenden Large Language Models zu vergleichen.

In dieser Rolle werden Sie:

• Repositories mit ausreichend substanzieller Arbeit zur Unterstützung anspruchsvoller Evaluierungen identifizieren und geeignete abgeschlossene PRs auswählen.

• Jedes Problem, seine Referenzlösung sowie die Architektur, die Tests und die Konventionen des Repositories untersuchen.

• Aufgaben-Prompts schreiben und Evaluierungen unter Verwendung automatisierter Tests, Shell-Befehle und LLM-Bewertungs-Prompts erstellen.

• Evaluierungen anhand von Referenzlösungen und absichtlich fehlerhaften Implementierungen validieren. Fehlende Prüfungen, falsche Bewertungen und Kriterien identifizieren, die die Problemlösung unnötig einschränken.

• Evaluierungen wiederholt über mehrere Modelle und Testumgebungen hinweg ausführen. Untersuchen, ob Fehler vom Agenten, der Umgebung oder der Bewertung stammen, und sicherstellen, dass Aufgaben signifikante Schwachstellen in der Leistung des Agenten aufdecken.

• Evaluierungen durch wiederholte Tests und Überprüfungen verfeinern. Ergebnisse und Bewertungsentscheidungen dokumentieren und Feedback einarbeiten.

Sie benötigen:

• Starke Programmiergrundlagen und praktische Erfahrung in der Arbeit mit umfangreichen und komplexen Codebases. Zu den Sprachen, für die wir Evals erstellen, gehören TypeScript/JavaScript, Python, Java, Kotlin, Go, Ruby, PHP, C++ und Rust.

• Die Fähigkeit, fremden Code zu verstehen, subtiles Verhalten zu untersuchen und zu bewerten, ob unterschiedliche Implementierungen dasselbe Problem korrekt lösen.

• Erfahrung im Schreiben aussagekräftiger Tests, einschließlich Randfällen und Regressionsabdeckung.

• Augenmerk auf Details und Geduld für wiederholte Untersuchungen und Verfeinerungen.

• Praktische Erfahrung im Umgang mit KI-Coding-Tools sowie das Urteilsvermögen, deren Ergebnisse zu überprüfen und Fehler zu erkennen.

• Sicherheit im Umgang mit Git, Test-Runnern und CI-Tools.

• Klare und flüssige schriftliche und mündliche Kommunikationsfähigkeiten sowie die Fähigkeit, eine Aufgabe eigenständig zu übernehmen und bei unklaren Anforderungen nachzufragen.

Einschlägige Erfahrungen können aus Open-Source-, privaten oder Unternehmens-Repositories stammen. Vertrautheit mit einer bestimmten Sprache oder einem Ökosystem ist hilfreich; wichtiger als deren Popularität oder Ihre öffentliche Beitrags Historie ist jedoch die Fähigkeit, das Repository zu verstehen und fundierte technische Entscheidungen zu treffen.

Wir bieten ein Onboarding für das Evaluierungs-Framework sowie fortlaufendes Feedback zu Überprüfungen. Nach dem Onboarding wird von Ihnen erwartet, dass Sie die Auswahl der Aufgaben, die Entwicklung der Evaluierungen und die Iteration ohne schrittweise Anleitung eigenverantwortlich übernehmen.