Senior Python Developer

Informazioni su Turing:

Turing è una delle aziende di AI a più rapida crescita al mondo, impegnata ad accelerare il progresso e l'implementazione di potenti sistemi di intelligenza artificiale.

Turing aiuta i clienti in due modi: collaborando con i principali laboratori di AI a livello globale per far avanzare le capacità dei modelli di frontiera in termini di pensiero, ragionamento, programmazione, comportamento degli agenti, multimodalità, multilinguismo, STEM e conoscenza di frontiera; e sfruttando tale lavoro per costruire sistemi di AI reali che risolvano priorità critiche per le aziende.

Panoramica del ruolo:

Questa posizione fa parte di un progetto con una delle principali aziende di LLM di base. L'obiettivo è assistere queste aziende nel potenziamento dei loro Large Language Models.

Un modo in cui aiutiamo queste aziende a migliorare i loro modelli è fornire dati proprietari di alta qualità. Questi dati hanno due scopi principali: primo, come base per il fine-tuning dei modelli; secondo, come set di valutazione per misurare le prestazioni dei modelli o di quelli concorrenti.

Ad esempio, per la generazione di dati SFT, potresti dover assemblare o ricevere un prompt contenente codice e domande fornite, per poi generare le risposte del modello e scrivere il codice Python corrispondente per risolvere i quesiti.

Per la generazione di dati RLHF, potresti dover creare tu stesso un prompt o utilizzarne uno fornito dal cliente, fare domande al modello e valutare gli output generati da due versioni dell'LLM. Confronterai questi output fornendo un feedback, che verrà poi utilizzato per effettuare il fine-tuning dei modelli. Nota che questo ruolo non prevede la creazione o il fine-tuning di LLM.

Attività quotidiane:

• Progettare, sviluppare e mantenere codice Python efficiente e di alta qualità per addestrare e ottimizzare i modelli di AI.
• Condurre valutazioni (Evals) per misurare le prestazioni del modello e analizzare i risultati per un miglioramento continuo.
• Familiarità con framework e librerie Python.
• Valutare e classificare le risposte dei modelli di AI alle richieste degli utenti in diversi domini, garantendo l'allineamento con criteri predefiniti.
• Sviluppare spiegazioni e motivazioni complete per le valutazioni, mostrando eccellenti capacità di ragionamento e competenze tecniche.
• Guidare le attività di Supervised Fine-Tuning (SFT), inclusa la creazione e il mantenimento di dataset di alta qualità specifici per i compiti.
• Collaborare con ricercatori e annotatori per eseguire l'apprendimento per rinforzo da feedback umano (RLHF) e perfezionare i modelli di ricompensa.
• Progettare strategie e processi di valutazione innovativi per migliorare l'allineamento del modello con le esigenze degli utenti e le linee guida etiche.
• Creare e perfezionare risposte ottimali per migliorare le prestazioni dell'AI, enfatizzando chiarezza, rilevanza e accuratezza tecnica.
• Condurre approfondite revisioni paritarie (peer review) di codice e documentazione, fornendo feedback costruttivi e identificando aree di miglioramento.
• Collaborare con team multifunzionali per migliorare le prestazioni del modello e contribuire ai miglioramenti del prodotto.
• Esplorare e integrare continuamente nuovi strumenti, tecniche e metodologie per migliorare i processi di addestramento dell'AI.

Requisiti:

• Oltre 3 anni di solida esperienza con il linguaggio di programmazione Python.
• Esperienza nel settore e conoscenza della qualità del codice, della formattazione e delle migliori pratiche dello sviluppo software.
• Esperienza con l'ecosistema di testing di Python, inclusi test unitari, di integrazione e basati su proprietà.
• Conoscenza della programmazione multithreading e asincrona in Python.
• Capacità di lavorare con pattern architetturali e di effettuare il refactoring del codice senza introdurre regressioni.
• Forti capacità di debugging, inclusa la risoluzione di problemi di memoria e concorrenza.
• Fluente conoscenza della comunicazione in inglese, sia parlata che scritta.

Vantaggi del lavoro freelance con Turing:

• Lavorare in un ambiente completamente remoto.
• Opportunità di lavorare su progetti di AI all'avanguardia con le principali aziende di LLM.

Dettagli dell'offerta:

• Impegno richiesto: almeno 4 ore al giorno e un minimo di 20 ore alla settimana, con una sovrapposizione di 4 ore con il fuso orario PST. (Offriamo 3 opzioni di impegno orario: 20 ore/settimana, 30 ore/settimana o 40 ore/settimana).
• Tipo di collaborazione: Incarico come contractor (nessuna copertura medica o congedo retribuito).
• Durata del contratto: 1 mese; [la data di inizio prevista è la prossima settimana].

Processo di valutazione (circa 75 minuti):

• Due cicli di colloqui (60 minuti tecnico + 15 minuti culturale e discussione dell'offerta).