Senior Software Engineer für LLM Evaluation & Repository Validation

Berufsbezeichnung: Senior Software Engineer, LLM Evaluation & Repository Validation

Über die Projekte: Wir entwickeln Datensätze zur LLM-Evaluierung und -Schulung, um LLMs für die Arbeit an realistischen Softwareentwicklungsproblemen zu trainieren. Einer unserer Ansätze in diesem Projekt besteht darin, verifizierbare SWE-Aufgaben basierend auf öffentlichen Repository-Verläufen in einem synthetischen Ansatz mit menschlicher Beteiligung (Human-in-the-Loop) zu erstellen und gleichzeitig die Abdeckung des Datensatzes auf verschiedene Arten von Aufgaben hinsichtlich Programmiersprache, Schwierigkeitsgrad usw. auszuweiten.

Über die Rolle: Wir suchen erfahrene Software-Engineers (auf Tech-Lead-Niveau), die mit hochwertigen öffentlichen GitHub-Repositories vertraut sind und zu diesem Projekt beitragen können. Sie sollten Erfahrung in der Arbeit mit gut gewarteten, weit verbreiteten Repos mit über 500 Sternen mitbringen. Diese Rolle umfasst praktische Softwareentwicklungsarbeiten, einschließlich der Automatisierung von Entwicklungsumgebungen, der Problemtragung (Triage) sowie der Evaluierung von Testabdeckung und -qualität.

Warum zu uns kommen?
Turing ist eines der weltweit am schnellsten wachsenden KI-Unternehmen und beschleunigt die Weiterentwicklung und den Einsatz leistungsstarker KI-Systeme. Sie stehen an vorderster Front bei der Evaluierung, wie LLMs mit echtem Code interagieren, und beeinflussen die Zukunft der KI-gestützten Softwareentwicklung. Dies ist eine einzigartige Gelegenheit, praktische Softwareentwicklung mit KI-Forschung zu verbinden.

Wie sieht der Alltag aus:

• Analysieren und Triage von GitHub-Issues über im Trend liegende Open-Source-Bibliotheken hinweg.
• Einrichten und Konfigurieren von Code-Repositories, einschließlich Dockerisierung und Einrichtung der Umgebung.
• Evaluierung der Abdeckung und Qualität von Unit-Tests.
• Lokales Modifizieren und Ausführen von Codebasen zur Bewertung der LLM-Leistung in Fehlerbehebungsszenarien.
• Zusammenarbeit mit Forschern, um Repositories und Issues zu entwerfen und zu identifizieren, die für LLMs eine Herausforderung darstellen.
• Möglichkeiten zur Leitung eines Teams von Junior-Engineers bei der Zusammenarbeit an Projekten.

Erforderliche Fähigkeiten:

• Fundierte Erfahrung mit mindestens einer der folgenden Sprachen: Python, JavaScript, Java, Go, Rust, C/C++, C# oder Ruby.
• Kenntnisse in Git, Docker und der Einrichtung grundlegender Software-Pipelines.
• Fähigkeit, komplexe Codebasen zu verstehen und sich darin zu orientieren.
• Sicherheit beim lokalen Ausführen, Modifizieren und Testen realer Projekte.
• Erfahrung im Beitragen zu oder Evaluieren von Open-Source-Projekten ist von Vorteil.

Wünschenswert:

• Vorherige Teilnahme an LLM-Forschungs- oder -Evaluierungsprojekten.
• Erfahrung im Erstellen oder Testen von Entwicklertools oder Automatisierungsagenten.

Vorteile der freiberuflichen Tätigkeit bei Turing:

• Arbeiten in einer vollständig externen Umgebung (Remote).
• Möglichkeit, an hochmodernen KI-Projekten mit führenden LLM-Unternehmen zu arbeiten.

Angebotdetails:

• Erforderliches Engagement: 20 Stunden pro Woche mit gewisser Überschneidung mit PST
• Beschäftigungsart: Auftragnehmer-Assignment (keine medizinischen Leistungen / kein bezahlter Urlaub)
• Vertragslaufzeit: 3 Monate mit voraussichtlichem Starttermin in der nächsten Woche