Spécialiste en benchmarks d'IA et Red-Teaming

À propos de Turing :
Basée à San Francisco, en Californie, Turing est le premier accélérateur de recherche au monde pour les laboratoires d'IA de pointe et un partenaire de confiance pour les entreprises mondiales qui déployent des systèmes d'IA avancés. Turing soutient ses clients de deux manières : tout d'abord, en accélérant la recherche de pointe grâce à des données de haute qualité, des pipelines d'entraînement avancés et des chercheurs en IA de premier plan spécialisés dans le code, le raisonnement, les STEM, le multilinguisme, la multimodalité et les agents ; et deuxièmement, en appliquant cette expertise pour aider les entreprises à transformer l'IA d'une preuve de concept en une intelligence propriétaire dotée de systèmes qui fonctionnent de manière fiable, génèrent un impact mesurable et stimulent des résultats durables sur le compte de résultat.

Aperçu du rôle

Nous recherchons un chercheur analytique et un spécialiste du red-teaming pour concevoir des tâches de référence de recherche web fondées sur des preuves, qui mettent de manière fiable en lumière les faiblesses des modèles d'IA de pointe (SOTA) (par exemple, Claude Opus 5 Max). Dans ce rôle, vous découvrirez des faits difficiles à surface, construirez des tâches de recherche précises autour d'eux, les testerez directement sur les LLM de premier plan et diagnostiquerez les mécanismes exacts de défaillance dans les parcours de recherche et de raisonnement du modèle.

Votre travail façonnera directement les cadres d'évaluation de l'IA, garantissant que les modèles de pointe de nouvelle génération sont testés face à des scénarios de recherche du monde réel rigoureux et non triviaux.

Exigences du poste :

• Expérience principale : 1 an ou plus en recherche d'investigation, vérification des faits, création de tâches de benchmark en IA, red-teaming ou révision technique de l'AQ.
• Familiarité avec les benchmarks : Expérience avérée dans la création, le test ou la révision de tâches pour des benchmarks d'IA tels que GAIA, BrowseComp, SimpleQA, SWE-bench, Terminal-Bench ou Humanity’s Last Exam (HLE).
• Compétences analytiques et OSINT : Compétences intermédiaires à avancées en recherche web et en Renseignement d'Origine Sources Ouvertes (OSINT) ; capacité à naviguer dans les archives académiques, les dossiers locaux ou les bases de données obscures.
• Débogage de la trajectoire du modèle : Solide capacité analytique pour inspecter les chaînes de raisonnement du modèle, les journaux de recherche et la sélection des sources afin de diagnostiquer les causes profondes des défaillances.
• Rédaction de précision : Capacité à rédiger des instructions de benchmark claires et sans ambiguïté avec des clés de réponse infaillibles et issues de sources primaires.

Responsabilités du poste :

• Découverte de faits obscurs : Rechercher en profondeur des sujets de niche pour identifier des vérités factuelles de terrain qui ne peuvent être mises en surface par de simples requêtes de recherche directes.
• Vérification des sources : Vérifier rigoureusement les faits par rapport à des sources primaires ou hautement crédibles, croiser les preuves contradictoires et documenter les URL exactes des sources.
• Construction de tâches : Rédiger des tâches de benchmark claires et réponsables, conçues spécifiquement pour exposer les faiblesses structurelles des stratégies de recherche des modèles.
• Red-Teaming et test de modèles : Exécuter des tâches sur les modèles SOTA désignés pour confirmer qu'ils déclenchent de manière fiable les pannes de modèle escomptées.
• Diagnostic des pannes et débogage : Tracer les journaux d'exécution du modèle, les trajectoires de recherche et les sorties intermédiaires pour identifier précisément où et pourquoi le modèle a échoué (en distinguant les véritables limitations du modèle des instructions ambiguës).
• Mise à l'échelle et révision des schémas : Appliquer des schémas de recherche validés de « rupture de modèle » à de nouveaux domaines et, pour les profils les plus performants, réviser les tâches créées par des formateurs pairs.
  
  Gros plus (Qualifications préférées)
• Un diplôme de licence ou supérieur dans un domaine d'ingénierie pertinent est indispensable pour ce poste.
• Expérience préalable spécifique dans la conception de tâches d'injection d'instructions (prompt-injection) ou de pièges de raisonnement qui mettent en échec les modèles SOTA.
• Capacités OSINT avancées ou recherche d'investigation/académique publiée démontrant une vérification approfondie des sources.
• Expertise sectorielle de niche dans des domaines riches en dossiers difficiles à trouver (par exemple, déclarations de gouvernements locaux, histoire sportive régionale, archives juridiques, brevets historiques).
• Expérience en tant que réviseur principal, auditeur de benchmark ou responsable qualité sur des projets d'évaluation de l'IA.

Détails de l'offre :

• Engagements requis : Jusqu'à 40 heures par semaine avec 4 heures de chevauchement avec le fuseau horaire PST.
• Type d'engagement : Prestataire
• Durée de l'engagement : Jusqu'à 4 semaines

Processus d'évaluation -

• Les candidats devront soumettre un Formulaire d'intérêt pour le poste et une évaluation.
• Les talents retenus lors de l'évaluation passeront par l'évaluation, la révision et progresseront en conséquence.