Senior Software Engineer, LLM Evaluation (mit Sitz in US/Kanada/WEU)

Über uns
Mit Sitz in San Francisco, Kalifornien, ist Turing der weltweit führende Forschungsbeschleuniger für fortschrittliche KI-Labore und ein verlässlicher Partner für globale Unternehmen, die fortschrittliche KI-Systeme einsetzen. Turing unterstützt Kunden auf zwei Arten: Erstens durch die Beschleunigung der Spitzenforschung mit hochwertigen Daten, fortschrittlichen Trainings-Pipelines sowie Top-KI-Forschern, die sich auf Softwareentwicklung, logisches Denken, MINT, Mehrsprachigkeit, Multimodalität und Agenten spezialisiert haben; und zweitens durch die Anwendung dieser Expertise, um Unternehmen dabei zu helfen, KI von einem Machbarkeitsnachweis in proprietäre Intelligenz zu verwandeln, mit Systemen, die zuverlässig arbeiten, messbare Ergebnisse liefern und nachhaltigen geschäftlichen Erfolg auf der Gewinn- und Verlustrechnung antreiben.

Projektübersicht
Als Softwareentwicklungs-Evaluator erstellen Sie hochmoderne Datensätze zum Trainieren, Benchmarking und Weiterentwickeln großer Sprachmodelle und arbeiten dabei eng mit Forschern zusammen. Dies umfasst das Kuratieren von Code-Beispielen, das Bereitstellen präziser Lösungen und das Vornehmen von Korrekturen in Python, JavaScript (einschließlich ReactJS), C/C++, Java, Rust und Go; das Evaluieren und Verfeinern von KI-generiertem Code im Hinblick auf Effizienz, Skalierbarkeit und Zuverlässigkeit; sowie die Zusammenarbeit mit funktionsübergreifenden Teams zur Verbesserung von KI-gesteuerten Codierungslösungen auf Unternehmensebene.

Wie sieht ein typischer Arbeitstag aus?

• Mitarbeit an Initiativen zum Training von KI-Modellen durch Kuratieren von Code-Beispielen, Erstellen von Lösungen und Korrigieren von Code in Python, JavaScript (einschließlich ReactJS), C/C++, Java, Rust und Go.
• Evaluieren und Verfeinern von KI-generiertem Code, um sicherzustellen, dass er effizient, skalierbar und zuverlässig ist.
• Zusammenarbeit mit funktionsübergreifenden Teams zur Verbesserung von KI-gesteuerten Codierungslösungen anhand von Branchen-Leistungs-Benchmarks.
• Entwickeln von Agenten, die die Qualität des Codes überprüfen und Fehlermuster identifizieren können.
• Aufstellen von Hypothesen zu Schritten im Softwareentwicklungszyklus (Prototyping, Architekturdesign, API-Design, Produktionsimplementierung, Launch, Experimente, Monitoring, betriebliche Wartung) und Evaluieren der Modellfähigkeiten in diesen Bereichen.
• Entwerfen von Verifikationsmechanismen, die eine Lösung für eine Softwareentwicklungsaufgabe automatisch überprüfen können.

Erforderliche Fähigkeiten

• Mehrjährige Erfahrung in der Softwareentwicklung (3 Jahre oder mehr)
• Fundierte Expertise im Aufbau von Full-Stack-Anwendungen und im Bereitstellen skalierbarer, produktionsreifer Software unter Verwendung moderner Sprachen und Tools.
• Deepes Verständnis von Softwarearchitektur, Design, Entwicklung, Debugging und der Bewertung von Codequalität/Code-Reviews.
• Exzellente mündliche und schriftliche Kommunikationsfähigkeiten für klare, strukturierte Evaluierungsbegründungen.

Details zur Zusammenarbeit

• Verfügbarkeit: flexibles Engagement, mindestens 10 Std./Woche, bis zu 40 Std./Woche
• Art: Freiberuflich (keine medizinische Versorgung/bezahlter Urlaub)
• Dauer: 1 Monat (mögliche Verlängerungen basierend auf Leistung und Eignung)
• Standort: Kandidaten müssen in den USA, Kanada oder WEU-Ländern (Österreich, Belgien, Frankreich, Deutschland ...) ansässig sein.

Evaluierungsprozess

• Der Bewerbungsprozess dauert 15, 30 Minuten.
• Das Absolvieren eines KI-Videointerviews ist erforderlich.