Senior Software Engineer, LLM Evaluation

Informazioni su Turing

Con sede a San Francisco, in California, Turing è il principale acceleratore di ricerca al mondo per i laboratori di IA di frontiera e un partner di fiducia per le grandi aziende globali che implementano sistemi di IA avanzati. Turing supporta i propri clienti in due modi: primo, accelerando la ricerca di frontiera con dati di alta qualità, pipeline di addestramento avanzate e i migliori ricercatori di IA specializzati in programmazione, ragionamento, STEM, multilinguismo, multimodalità e agenti; secondo, applicando tale esperienza per aiutare le aziende a trasformare l'IA da prova di concetto a intelligenza proprietaria con sistemi che funzionano in modo affidabile, offrono un impatto misurabile e guidano risultati duraturi sul conto economico.

Panoramica del ruolo

In qualità di valutatore di ingegneria del software, creerai set di dati all'avanguardia per l'addestramento, il benchmarking e il progresso di modelli linguistici di grandi dimensioni, collaborando a stretto contatto con i ricercatori. Questo include la cura di esempi di codice, la fornitura di soluzioni precise e l'esecuzione di correzioni in Python, JavaScript (incluso ReactJS), C/C++, Java, Rust e Go; la valutazione e il perfezionamento del codice generato dall'IA in termini di efficienza, scalabilità e affidabilità; e la collaborazione con team multifunzionali per migliorare le soluzioni di programmazione basate sull'IA a livello aziendale.

Com'è la giornata tipo?

• Lavorare su iniziative di addestramento di modelli di IA curando esempi di codice, sviluppando soluzioni e correggendo codice in Python, JavaScript (incluso ReactJS), C/C++, Java, Rust e Go.
• Valutare e perfezionare il codice generato dall'IA per garantire che sia efficiente, scalabile e affidabile.
• Collaborare con team multifunzionali per migliorare le soluzioni di programmazione guidate dall'IA rispetto ai benchmark di performance del settore.
• Creare agenti in grado di verificare la qualità del codice e identificare i pattern di errore.
• Formulare ipotesi sulle fasi del ciclo di ingegneria del software (prototipazione, progettazione dell'architettura, progettazione delle API, implementazione in produzione, lancio, esperimenti, monitoraggio, manutenzione operativa) e valutare le capacità dei modelli su di esse.
• Progettare meccanismi di verifica in grado di verificare automaticamente una soluzione a un'attività di ingegneria del software.

Requisiti

• Diversi anni di esperienza nell'ingegneria del software, di cui oltre 2 anni di esperienza continuativa a tempo pieno presso un'azienda di prodotto di alto livello (ad esempio, Google, Stripe, Amazon, Apple, Meta, Netflix, Microsoft, Datadog, Dropbox, Shopify, PayPal, IBM Research).
• Solida esperienza nella creazione di applicazioni full-stack e nell'implementazione di software scalabile di livello di produzione utilizzando linguaggi e strumenti moderni.
• Profonda comprensione dell'architettura software, della progettazione, dello sviluppo, del debug e della valutazione della qualità/revisione del codice.
• Eccellenti capacità di comunicazione orale e scritta per motivazioni di valutazione chiare e strutturate.

Dettagli dell'offerta

• Impegno: collaborazione flessibile, minimo 10 ore/settimana, fino a 40 ore/settimana (richiesta parziale sovrapposizione con il fuso orario PST)
• Tipo: Contratto di collaborazione (senza permessi medici/retribuiti)
• Durata: 1 mese (inizio dalla prossima settimana; potenziali estensioni in base alle performance e all'idoneità)