Chercheur en IA, LLM (Pré-entraînement, vision par ordinateur et robustesse contradictoire)

Nous recherchons des chercheurs expérimentés en apprentissage automatique possédant une expérience pratique de l'entraînement et de l'amélioration de modèles d'apprentissage profond de bout en bout, à la fois en vision et en traitement du langage. Vous travaillerez sur des problèmes de recherche en IA empiriques, ouverts et bien cadrés.

Responsabilités

• Entraîner des classificateurs d'images et des modèles génératifs d'images à partir de zéro, et affiner des modèles de langage à poids ouverts.
• Tirer le meilleur parti de budgets limités en matière de données, de calcul et de taille de modèle.
• Rendre les modèles robustes face aux entrées contradictoires et aux conversations antagonistes.
• Compresser les modèles pour respecter des contraintes strictes de taille et de latence sans sacrifier la précision.
• Diagnostiquer et résoudre les problèmes d'entraînement.

Exigences

Nous recherchons des candidats dotés d'une forte expertise dans un ou plusieurs des domaines suivants :

Robustesse antagoniste

Expérience avec :

• L'entraînement antagoniste de classificateurs d'images (par ex. entraînement basé sur PGD, TRADES).
• L'évaluation de la précision robuste sous des modèles de menace standard (par ex. attaques L∞, AutoAttack) et l'évitement des pièges de masquage de gradient.
• La gestion du compromis entre robustesse et précision, ainsi que du surapprentissage robuste.

Vision par ordinateur efficace

Expérience avec :

• L'entraînement de classificateurs d'images de bout en bout, en particulier pour la reconnaissance fine (nombreuses classes visuellement similaires, peu d'exemples par classe).
• La compression de modèles : quantification, élagage et distillation de connaissances de grands modèles enseignants vers de petits modèles étudiants.
• Le déploiement de modèles sous des contraintes strictes de taille ou de latence (sur l'appareil, en périphérie ou en milieu embarqué).

Modélisation générative d'images

Expérience avec :

• L'entraînement de modèles génératifs d'images à partir de zéro : modèles de diffusion, GANs, VAEs ou modèles basés sur les flux.
• L'itération sur des métriques de qualité d'échantillon telles que le FID.
• Des astuces d'efficacité d'entraînement permettant de produire rapidement de bons générateurs avec un faible nombre de paramètres.

Post-entraînement de LLM et robustesse comportementale

Expérience pratique avec un ou plusieurs des éléments suivants :

• L'affinage supervisé et l'optimisation des préférences (DPO, RLHF, RLAIF) de modèles de langage à poids ouverts, y compris la création de vos propres jeux de données par génération synthétique, supervision bruyante ou faible, et échantillonnage par rejet.
• Le modelage du comportement conversationnel sur plusieurs tours : résistance à la persuasion et à la flagornerie, confiance calibrée et capacité à accepter les corrections au bon moment.
• L'affinage de type alignement qui modifie un comportement spécifique tout en préservant les capacités générales.

Pré-entraînement multilingue

Expérience avec :

• L'entraînement de modèles multilingues ou pour langues à faibles ressources à partir de zéro.
• La conception de tokeniseurs à travers différentes écritures et langues aux typologies diverses.
• L'équilibrage de données hautement inégales par langue (températures d'échantillonnage, transfert interlinguistique) dans des régimes contraints en données.

Domaines d'intérêt supplémentaires

Une expérience dans l'un des domaines suivants constitue un plus :

• Les lois d'échelle et la recherche sur l'efficacité de l'entraînement.
• L'apprentissage par curriculum et l'ordonnancement des données.
• L'évaluation des modèles : construction de benchmarks, contrôle de la contamination, comparaisons statistiquement rigoureuses.
• L'estimation de l'incertitude et la calibration des modèles.
• L'augmentation de données et les données synthétiques pour la robustesse.

Qualifications générales

• Plus de 3 ans d'expérience en recherche en apprentissage automatique (la recherche doctorale est prise en compte).
• Solide expérience avec PyTorch, JAX, TensorFlow ou des frameworks ML similaires.
• Diplôme d'une université du top 100, expérience dans une entreprise FAANG ou une entreprise d'IA comparable, ou un parcours de recherche équivalent attesté par des publications ou des contributions open source à fort impact.

Pourquoi nous rejoindre

• Travailler sur des recherches de pointe en apprentissage automatique.
• Collaborer avec des chercheurs de premier plan en IA sur des projets stimulants et à fort impact.
• Travail flexible, basé sur des projets, avec une rémunération compétitive.