Membro dello Staff Tecnico, Addestramento dei Modelli (ricerca post-training)

Titolo di lavoro: Member of Technical Staff, Model Training (ricerca sul post-addestramento)

Tipo di lavoro: Tempo pieno

Sede: Da remoto

Il ruolo

In questo ruolo, studierai come algoritmi di apprendimento, dati di addestramento e metodologie di valutazione interagiscono per produrre un ragionamento più solido, una migliore generalizzazione e capacità da agente. Esplorerai nuovi approcci all'apprendimento per rinforzo, alla distillazione e all'addestramento efficiente sui dati, traducendo le intuizioni della ricerca in metodi scalabili che migliorano l'intelligenza dei modelli.

Si tratta di un ruolo altamente sperimentale, all'intersezione tra la ricerca fondamentale nel machine learning e lo sviluppo di modelli su larga scala. Avrai l'opportunità di formulare ipotesi di ricerca, progettare esperimenti ambiziosi e sviluppare metodi di addestramento che influenzano direttamente le capacità dei nostri modelli.

Cosa farai

• Ricerca, implementa e scala metodi avanzati di post-addestramento, tra cui il fine-tuning supervisionato (SFT), l'apprendimento per rinforzo (RL) e la distillazione on-policy (OPD), su modelli linguistici e multimodali di grandi dimensioni.
• Studia obiettivi di apprendimento, dinamiche di ottimizzazione, strategie di esplorazione e meccanismi di assegnazione del credito per migliorare la stabilità dell'addestramento, l'efficienza campionaria e l'acquisizione di nuove capacità.
• Sviluppa e perfeziona ricette di addestramento ottimizzando congiuntamente miscele di dati, strategie di campionamento, curricula e metodologie di valutazione.
• Progetta metodi per apprendere da dimostrazioni di esperti, preferenze umane, correzioni e traiettorie generate dal modello, individuando dove il feedback umano offre i miglioramenti più significativi.
• Ricerca la co-evoluzione di generatori, modelli di ricompensa e valutatori, sviluppando approcci che migliorano sia le prestazioni del modello sia la qualità dei segnali di addestramento che utilizza.
• Progetta esperimenti rigorosi, studi di ablazione e framework di valutazione per misurare generalizzazione, ragionamento e prestazioni su compiti realistici a valle.
• Gestisci iniziative di ricerca dall'inizio alla fine, dall'individuazione di direzioni promettenti all'implementazione di nuovi algoritmi, fino all'esecuzione di esperimenti su larga scala e alla validazione dei risultati.

Cosa cerchiamo

• Solide basi in machine learning, deep learning, ottimizzazione e tecniche moderne di addestramento dei modelli.
• Esperienza pratica nell'addestramento, nel fine-tuning o nel post-addestramento di modelli linguistici o multimodali di grandi dimensioni.
• Profonda competenza tecnica in una o più aree come apprendimento per rinforzo, distillazione dei modelli, modellazione delle ricompense, selezione dei dati o dinamiche di apprendimento.
• Solida padronanza di Python e PyTorch, con la capacità di implementare, correggere e ottimizzare pipeline di addestramento complesse.
• Esperienza nella progettazione di esperimenti controllati, nell'interpretazione del comportamento dei modelli e nella traduzione dei risultati empirici in direzioni di ricerca concrete.
• Capacità di affrontare in autonomia problemi di ricerca ambigui, formulare ipotesi e iterare rapidamente sulla base delle evidenze sperimentali.
• Forte capacità analitica e mentalità orientata alla ricerca, con attenzione alla riproducibilità, al rigore scientifico e ai miglioramenti misurabili.

Requisiti preferenziali

• Esperienza con RLHF, RLAIF, ottimizzazione delle preferenze o apprendimento per rinforzo applicato a compiti di ragionamento e agentici.
• Familiarità con l'addestramento distribuito, la sperimentazione su larga scala e l'ottimizzazione dei modelli su GPU.
• Esperienza nello sviluppo di modelli di ricompensa, verificatori, valutatori o sistemi di valutazione automatica.
• Contributi di ricerca nel post-addestramento, nell'apprendimento per rinforzo o in aree correlate, attraverso pubblicazioni, progetti open-source o sistemi in produzione.
• Esperienza nello studio della generazione di dati sintetici, dell'apprendimento curricolare o di tecniche di auto-miglioramento iterativo.

Avviso su retribuzione e benefit

L'intervallo retributivo nazionale per questa posizione a tempo pieno prevede uno stipendio base di $200,000, $320,000. Tutti i dipendenti hanno diritto a compensi in azioni e possono inoltre ricevere bonus legati alle prestazioni, in base al ruolo e nel rispetto delle politiche aziendali. micro1 offre un pacchetto di benefit completo, che include il rimborso fino al 100% dei premi dell'assicurazione sanitaria, ferie retribuite, un piano pensionistico 401(K) con contributo aziendale e ulteriori benefit pensati per sostenere una forza lavoro ad alte prestazioni che lavora principalmente a distanza.

micro1 è un datore di lavoro che offre pari opportunità. Tutti i candidati qualificati saranno considerati per l'impiego senza discriminazioni basate su razza, colore, religione, sesso (inclusi gravidanza, orientamento sessuale o identità di genere), origine nazionale, età, disabilità, informazioni genetiche, status di veterano o qualsiasi altra caratteristica tutelata dalle leggi, dai regolamenti e dalle normative locali applicabili. Se hai bisogno di assistenza e/o di un adattamento ragionevole durante il processo di candidatura, contatta support@micro1.ai.

Il nostro processo di selezione utilizza strumenti di intelligenza artificiale per supportare la valutazione e la selezione dei candidati. I nostri strumenti AI sono progettati per integrare, non sostituire, il processo decisionale umano.