Científico de Investigación en LLM (Preentrenamiento, Visión por Computadora y Robustez Adversaria)

Buscamos investigadores con experiencia en aprendizaje automático y práctica en el entrenamiento y mejora de modelos de aprendizaje profundo de extremo a extremo, tanto en visión como en lenguaje. Trabajarás en problemas de investigación de ML empíricos, abiertos y bien acotados.

Responsabilidades

• Entrenar clasificadores de imágenes y modelos generativos de imágenes desde cero, y afinar modelos de lenguaje de pesos abiertos.
• Aprovechar al máximo presupuestos limitados de datos, cómputo y tamaño de modelos.
• Hacer que los modelos sean robustos frente a entradas adversarias y conversaciones adversarias.
• Comprimir modelos para cumplir con restricciones estrictas de tamaño y latencia sin sacrificar precisión.
• Diagnosticar y resolver problemas de entrenamiento.

Requisitos

Buscamos candidatos con sólida experiencia en una o más de las siguientes áreas:

Robustez adversaria

Experiencia con:

• Entrenamiento adverso de clasificadores de imágenes (por ejemplo, entrenamiento basado en PGD, TRADES).
• Evaluación de la precisión robusta bajo modelos de amenaza estándar (por ejemplo, ataques L∞, AutoAttack) y evitar los problemas de ocultamiento de gradientes.
• Gestión del equilibrio entre robustez y precisión, y el sobreajuste robusto.

Visión por computadora eficiente

Experiencia con:

• Entrenamiento de clasificadores de imágenes de extremo a extremo, especialmente para reconocimiento detallado (muchas clases visualmente similares, pocos ejemplos por clase).
• Compresión de modelos: cuantización, poda y destilación de conocimiento desde modelos grandes a pequeños.
• Despliegue de modelos bajo presupuestos estrictos de tamaño o latencia (en dispositivos, entornos edge o embebidos).

Modelado generativo de imágenes

Experiencia con:

• Entrenamiento de modelos generativos de imágenes desde cero: modelos de difusión, GANs, VAEs o modelos basados en flujos.
• Iteración en función de métricas de calidad de muestras como FID.
• Trucos de eficiencia en el entrenamiento que produzcan buenos generadores rápidamente y con pocos parámetros.

Post-entrenamiento de LLM y robustez conductual

Experiencia práctica en uno o más de los siguientes aspectos:

• Ajuste supervisado y optimización de preferencias (DPO, RLHF, RLAIF) de modelos de lenguaje de pesos abiertos, incluyendo la creación de tus propios conjuntos de datos mediante generación sintética, supervisión ruidosa o débil, y muestreo por rechazo.
• Modelado del comportamiento conversacional en múltiples turnos: resistencia a la persuasión y a la adulación, confianza calibrada y saber cuándo aceptar correcciones.
• Ajuste de estilo de alineación que modifica un comportamiento específico mientras preserva la capacidad general.

Pre-entrenamiento multilingüe

Experiencia con:

• Entrenamiento de modelos multilingües o de lenguajes de bajos recursos desde cero.
• Diseño de tokenizadores en diferentes alfabetos y lenguajes tipológicamente diversos.
• Equilibrio de datos por idioma altamente desigual (temperaturas de muestreo, transferencia translingüe) en regímenes con limitaciones de datos.

Áreas de interés adicionales

La experiencia en cualquiera de las siguientes áreas es una ventaja:

• Leyes de escala e investigación de eficiencia en el entrenamiento.
• Aprendizaje curricular y ordenamiento de datos.
• Evaluación de modelos: construcción de benchmarks, control de contaminación, comparaciones estadísticamente sólidas.
• Estimación de incertidumbre y calibración de modelos.
• Aumento de datos y datos sintéticos para la robustez.

Calificaciones generales

• Más de 3 años de experiencia en investigación de aprendizaje automático (la investigación de doctorado cuenta para este requisito).
• Sólida experiencia con PyTorch, JAX, TensorFlow o frameworks de ML similares.
• Título de una universidad clasificada entre las 100 mejores, experiencia en una empresa FAANG o de IA comparable, o un historial de investigación equivalente a través de publicaciones o contribuciones de código abierto de gran impacto.

Por qué unirte

• Trabaja en investigación de aprendizaje automático de vanguardia.
• Colabora con destacados investigadores de IA en proyectos desafiantes y de alto impacto.
• Trabajo flexible por proyectos con una compensación competitiva.