Senior Software Engineer für LLM-Evaluation

Über Turing

Turing mit Sitz in San Francisco, Kalifornien, ist der weltweit führende Forschungsbeschleuniger für wegweisende KI-Labore und ein vertrauenswürdiger Partner für globale Unternehmen, die fortschrittliche KI-Systeme einsetzen. Turing unterstützt Kunden auf zwei Arten: Erstens durch die Beschleunigung von Grundlagenforschung mit hochwertigen Daten, fortschrittlichen Trainings-Pipelines sowie Top-KI-Forschern, die auf Programmierung, Logik, STEM, Mehrsprachigkeit, Multimodalität und Agenten spezialisiert sind; und zweitens durch die Anwendung dieser Expertise, um Unternehmen dabei zu helfen, KI von Machbarkeitsnachweisen in proprietäre Intelligenz zu verwandeln, mit Systemen, die zuverlässig arbeiten, messbaren Nutzen bringen und dauerhafte Ergebnisse in der Gewinn- und Verlustrechnung erzielen.

Überblick über die Rolle

Als Evaluator für Softwareentwicklung erstellen Sie in enger Zusammenarbeit mit Forschern modernste Datensätze für das Training, Benchmarking und die Weiterentwicklung großer Sprachmodelle. Dies umfasst das Kuratieren von Codebeispielen, das Bereitstellen präziser Lösungen und das Durchführen von Korrekturen in Python, JavaScript (einschließlich ReactJS), C/C++, Java, Rust und Go; das Bewerten und Verfeinern von KI-generiertem Code hinsichtlich Effizienz, Skalierbarkeit und Zuverlässigkeit; sowie die Zusammenarbeit mit funktionsübergreifenden Teams zur Verbesserung unternehmensweiter, KI-gesteuerter Programmierlösungen.

Wie sieht der Arbeitsalltag aus?

• Mitarbeit an KI-Modell-Trainingsinitiativen durch das Kuratieren von Codebeispielen, Erstellen von Lösungen und Korrigieren von Code in Python, JavaScript (einschließlich ReactJS), C/C++, Java, Rust und Go.
• Bewertung und Verfeinerung von KI-generiertem Code, um dessen Effizienz, Skalierbarkeit und Zuverlässigkeit sicherzustellen.
• Zusammenarbeit mit funktionsübergreifenden Teams zur Optimierung KI-gesteuerter Programmierlösungen anhand von Branchen-Leistungs-Benchmarks.
• Entwicklung von Agenten zur Überprüfung der Code-Qualität und Identifizierung von Fehlermustern.
• Aufstellung von Hypothesen zu Schritten im Softwareentwicklungszyklus (Prototyping, Architekturentwurf, API-Design, Produktionsimplementierung, Einführung, Experimente, Monitoring, Betriebs- und Wartungsprozesse) und Evaluierung der Modellfähigkeiten in diesen Bereichen.
• Konzeption von Verifizierungsmechanismen, die eine Lösung für eine Softwareentwicklungsaufgabe automatisch überprüfen können.

Anforderungen

• Mehrjährige Erfahrung in der Softwareentwicklung, darunter mindestens 2 Jahre durchgehende Vollzeiterfahrung bei einem erstklassigen Produktunternehmen (z. B. Google, Stripe, Amazon, Apple, Meta, Netflix, Microsoft, Datadog, Dropbox, Shopify, PayPal, IBM Research).
• Fundierte Expertise in der Entwicklung von Full-Stack-Anwendungen und der Bereitstellung skalierbarer, produktionsreifer Software unter Verwendung moderner Sprachen und Werkzeuge.
• Tiefgehendes Verständnis von Softwarearchitektur, Design, Entwicklung, Debugging und Code-Qualitäts-/Review-Bewertungen.
• Hervorragende mündliche und schriftliche Kommunikationsfähigkeiten für klare, strukturierte Bewertungsbegründungen.

Angebot

• Verfügbarkeit: Flexible Zusammenarbeit, mindestens 10 Std./Woche, bis zu 40 Std./Woche (teilweise Überschneidung mit PST erforderlich)
• Vertragsart: Freiberuflich (keine Krankenversicherung/bezahlter Urlaub)
• Dauer: 1 Monat (Beginn nächste Woche; potenzielle Verlängerung basierend auf Leistung und Eignung)