Senior Software Engineer, LLM Evaluation & Repository Validation

Titolo della posizione: Senior Software Engineer, LLM Evaluation & Repository Validation

Informazioni sui progetti: stiamo creando dataset di valutazione e addestramento per LLM per istruire i modelli a lavorare su problemi di ingegneria del software realistici. Uno dei nostri approcci in questo progetto consiste nel creare task SWE verificabili basati sulla cronologia di repository pubblici in un approccio sintetico con human-in-the-loop, espandendo al contempo la copertura del dataset a diversi tipi di task in termini di linguaggio di programmazione, livello di difficoltà e altro.

Informazioni sul ruolo: Cerchiamo ingegneri del software esperti (livello tech lead) che abbiano familiarità con repository pubblici GitHub di alta qualità e possano contribuire a questo progetto. Dovresti avere esperienza con repository ben mantenuti e ampiamente utilizzati con oltre 500 stelle. Questo ruolo prevede attività pratiche di ingegneria del software, inclusa l'automazione dell'ambiente di sviluppo, la gestione e classificazione dei problemi (triage) e la valutazione della qualità e della copertura dei test.

Perché unirti a noi?
Turing è una delle aziende di IA in più rapida crescita al mondo, che accelera l'avanzamento e la distribuzione di potenti sistemi di IA. Sarai in prima linea nella valutazione di come gli LLM interagiscono con il codice reale, influenzando il futuro dello sviluppo software assistito da IA. Questa è un'opportunità unica per unire l'ingegneria del software pratica alla ricerca sull'IA.

Cosa comporta la giornata tipo:

• Analizzare e gestire le segnalazioni (issues) di GitHub su librerie open source di tendenza.
• Impostare e configurare repository di codice, inclusi Dockerization e configurazione dell'ambiente.
• Valutare la qualità e la copertura dei test unitari.
• Modificare ed eseguire codebase in locale per valutare le prestazioni degli LLM in scenari di correzione di bug.
• Collaborare con i ricercatori per progettare e identificare repository e problemi che risultano complessi per gli LLM.
• Opportunità di guidare un team di ingegneri junior collaborando ai progetti.

Competenze richieste:

• Solida esperienza con almeno uno dei seguenti linguaggi: Python, JavaScript, Java, Go, Rust, C/C++, C# o Ruby.
• Competenza con Git, Docker e configurazione di base di pipeline software.
• Capacità di comprendere e orientarsi in codebase complesse.
• Propensione a eseguire, modificare e testare progetti reali in locale.
• L'esperienza nella contribution o nella valutazione di progetti open source è un plus.

Cosa sarebbe gradito:

• Precedente partecipazione a progetti di ricerca o valutazione di LLM.
• Esperienza nella creazione o nel test di developer tools o agenti di automazione.

Vantaggi del lavoro freelance con Turing:

• Lavoro in un ambiente completamente remoto.
• Opportunità di lavorare su progetti di IA all'avanguardia con le principali aziende di LLM.

Dettagli dell'offerta:

• Impegno richiesto: 20 ore settimanali con qualche sovrapposizione con il fuso orario PST
• Tipo di impiego: Incarico come contractor (senza coperture mediche o ferie retribuite)
• Durata del contratto: 3 mesi con data di inizio prevista per la settimana prossima