Membre du personnel technique, entraînement des modèles (recherche en post-entraînement)

Intitulé du poste : Member of Technical Staff, Model Training (post-training research)

Type de poste : Temps plein

Lieu : À distance

Le rôle

Dans ce rôle, vous étudierez comment les algorithmes d'apprentissage, les données d'entraînement et les méthodologies d'évaluation interagissent pour produire un meilleur raisonnement, une meilleure généralisation et de meilleures capacités d'agent. Vous explorerez de nouvelles approches de l'apprentissage par renforcement, de la distillation et de l'entraînement économe en données, en traduisant les résultats de recherche en méthodes évolutives qui améliorent l'intelligence des modèles.

Il s'agit d'un poste très expérimental, à l'intersection de la recherche fondamentale en apprentissage automatique et du développement de modèles à grande échelle. Vous aurez l'occasion de formuler des hypothèses de recherche, de concevoir des expériences ambitieuses et de développer des méthodes d'entraînement qui influencent directement les capacités de nos modèles.

Ce que vous ferez

• Rechercher, implémenter et faire évoluer des méthodes avancées de post-entraînement, notamment le réglage fin supervisé (SFT), l'apprentissage par renforcement (RL) et la distillation on-policy (OPD), sur de grands modèles de langage et multimodaux.
• Étudier les objectifs d'apprentissage, la dynamique d'optimisation, les stratégies d'exploration et les mécanismes d'attribution de crédit afin d'améliorer la stabilité de l'entraînement, l'efficacité d'échantillonnage et l'acquisition de capacités.
• Développer et affiner des recettes d'entraînement en optimisant conjointement les mélanges de données, les stratégies d'échantillonnage, les curriculums et les méthodologies d'évaluation.
• Concevoir des méthodes d'apprentissage à partir de démonstrations d'experts, de préférences humaines, de corrections et de trajectoires générées par les modèles, en identifiant les cas où le retour humain apporte les gains les plus importants.
• Étudier la coévolution des générateurs, des modèles de récompense et des correcteurs, et développer des approches qui améliorent à la fois les performances des modèles et la qualité des signaux d'entraînement qu'ils utilisent.
• Concevoir des expériences rigoureuses, des études d'ablation et des cadres d'évaluation pour mesurer la généralisation, le raisonnement et les performances sur des tâches réalistes en aval.
• Piloter des initiatives de recherche de bout en bout, de l'identification de pistes prometteuses à l'implémentation de nouveaux algorithmes, en passant par la conduite d'expériences à grande échelle et la validation des résultats.

Profil recherché

• Solides bases en apprentissage automatique, apprentissage profond, optimisation et techniques modernes d'entraînement de modèles.
• Expérience pratique de l'entraînement, du réglage fin ou du post-entraînement de grands modèles de langage ou multimodaux.
• Expertise technique approfondie dans un ou plusieurs domaines tels que l'apprentissage par renforcement, la distillation de modèles, la modélisation des récompenses, la sélection de données ou la dynamique de l'apprentissage.
• Maîtrise avancée de Python et de PyTorch, avec la capacité d'implémenter, de déboguer et d'optimiser des pipelines d'entraînement complexes.
• Expérience de la conception d'expériences contrôlées, de l'interprétation du comportement des modèles et de la traduction de résultats empiriques en pistes de recherche concrètes.
• Capacité à aborder de manière autonome des problèmes de recherche ambigus, à formuler des hypothèses et à itérer rapidement à partir des résultats expérimentaux.
• Solide esprit analytique et orientation recherche, avec un accent sur la reproductibilité, la rigueur scientifique et les améliorations mesurables.

Atouts appréciés

• Expérience du RLHF, du RLAIF, de l'optimisation des préférences ou de l'apprentissage par renforcement pour le raisonnement et les tâches agentiques.
• Familiarité avec l'entraînement distribué, l'expérimentation à grande échelle et l'optimisation de modèles sur GPU.
• Expérience du développement de modèles de récompense, de vérificateurs, de correcteurs ou de systèmes d'évaluation automatisée.
• Contributions à la recherche sur le post-entraînement, l'apprentissage par renforcement ou des domaines connexes, à travers des publications, des projets open source ou des systèmes en production.
• Expérience dans l'étude de la génération de données synthétiques, de l'apprentissage par curriculum ou des techniques d'auto-amélioration itérative.

Avis sur la rémunération et les avantages

La fourchette de rémunération nationale pour ce poste à temps plein correspond à un salaire de base de 200 000 $ à 320 000 $. Tous les employés peuvent bénéficier d'une rémunération en actions, et les employés peuvent également recevoir des primes liées à la performance, selon le rôle et sous réserve des politiques de l'entreprise. micro1 propose un ensemble complet d'avantages sociaux, notamment le remboursement jusqu'à 100 % des primes d'assurance maladie, des congés payés, un plan d'épargne retraite 401(k) avec abondement de l'employeur, ainsi que d'autres avantages conçus pour soutenir une main-d'œuvre performante et entièrement à distance.

micro1 est un employeur garantissant l'égalité des chances. Toutes les candidatures qualifiées seront examinées sans considération de race, de couleur, de religion, de sexe (y compris la grossesse, l'orientation sexuelle ou l'identité de genre), d'origine nationale, d'âge, de handicap, d'informations génétiques, de statut d'ancien combattant ou de toute autre caractéristique protégée par les lois, règlements et ordonnances locaux applicables. Si vous avez besoin d'assistance et/ou d'un aménagement raisonnable pendant le processus de candidature, contactez support@micro1.ai.

Notre processus de recrutement utilise des outils d'intelligence artificielle pour aider à la présélection et à l'évaluation des candidats. Nos outils d'IA sont conçus pour compléter la prise de décision humaine, et non la remplacer.