SWE-Bench Task Auditor
70 $ bis 90 $/Std.Richtwert laut Mercor
Veröffentlicht am 28. August 2026 · Bewerbung bis 15. November 2026
Nur: Vereinigte Staaten
Ich leite Sie zur offiziellen Seite von Mercor weiter. Die Bewerbung ist kostenlos und auf Englisch.
Ich erhalte von der Plattform eine Provision, wenn ein von mir empfohlener Kandidat eingestellt wird. Für Sie ändert sich nichts.
This remote role involves evaluating and auditing software-engineering benchmark tasks, reference patches, and test harnesses for AI models. Candidates need at least three years of professional software engineering experience, open-source contribution history, and strong code-review skills.
Beschreibung auf Englisch, wie von Mercor veröffentlicht.
Evaluate the quality, correctness, and reproducibility of software-engineering benchmark tasks used to train and evaluate a frontier AI lab's models. You'll assess repository-level tasks, reference patches, test harnesses, and grading integrity, and provide clear, rubric-based written feedback.
Basic Qualifications • 3+ years professional software engineering • Real open-source contribution or maintainer experience (merged PRs, committer / maintainer roles) • Strong ability to audit reference patches, test runners, and Docker isolation, and to detect answer leakage / reward hacking • Fluency across common ecosystems (Python and at least one of Java / Go / TypeScript / C++)
Preferred Qualifications • Familiarity with SWE-Bench (Verified) or similar repository benchmarks • Maintainer history on major Python OSS (Django, Flask, scikit-learn, sympy, pytest, etc.) • Prior code-review or task-grading experience
3 offene Stellen
Nur: Vereinigte Staaten
Über Mercor
Mercor ist ein US-Marktplatz, der Remote-Experten für KI- und Beratungsprojekte einstellt, vom Recht bis zum Ingenieurwesen. Die Originalanzeige steht auf deren Website.
Diese Stelle auf Mercor ansehenÄhnliche Stellen
AI Developer Trace Task Auditor
This remote role involves evaluating and grading AI-assisted software development traces for correctness and workflow quality, providing clear written feedback. Key requirements include three years of professional software development experience and hands-on work with AI coding tools.
Vor 48 Tagen veröffentlicht70 $ bis 90 $/Std.
AWS Serverless & Infrastructure-as-Code Task Auditor
This remote role involves evaluating AWS serverless and infrastructure-as-code tasks to train frontier AI models, requiring over three years of hands-on experience building multi-service AWS serverless applications and strong proficiency with infrastructure-as-code.
Vor 48 Tagen veröffentlicht70 $ bis 90 $/Std.
ML Challenge Task Auditor
This remote role involves evaluating the quality, correctness, and methodological rigor of applied machine learning tasks to provide clear written feedback. Candidates need at least three years of hands-on applied machine learning experience and proficiency with standard frameworks like PyTorch and TensorFlow.
Vor 48 Tagen veröffentlicht70 $ bis 90 $/Std.
Kubernetes Task Auditor
This remote role involves evaluating and grading Kubernetes tasks for AI model training by assessing cluster operations and troubleshooting production scenarios. The ideal candidate brings at least three years of hands-on production Kubernetes experience and deep knowledge of cluster internals and failure modes.
Vor 48 Tagen veröffentlicht70 $ bis 90 $/Std.