Ingeniero de Software Senior, Rust (Evaluación de LLMs y Validación de Repositorios)

Título del puesto: Ingeniero de Software Senior, Evaluación de LLMs y Validación de Repositorios

Sobre los proyectos: estamos construyendo conjuntos de datos de evaluación y entrenamiento de LLMs para capacitar a los LLMs en la resolución de problemas realistas de ingeniería de software. Uno de nuestros enfoques en este proyecto es construir tareas de SWE verificables basadas en historiales de repositorios públicos mediante un enfoque sintético con intervención humana (human-in-the-loop), mientras expandimos la cobertura del conjunto de datos a diferentes tipos de tareas en cuanto a lenguaje de programación, nivel de dificultad, entre otros.

Sobre el rol: Buscamos ingenieros de software con experiencia (nivel de líder técnico) que estén familiarizados con repositorios públicos de GitHub de alta calidad y puedan contribuir a este proyecto. Este rol implica trabajo práctico de ingeniería de software, incluyendo automatización de entornos de desarrollo, clasificación de incidencias (triage) y evaluación de la cobertura y calidad de las pruebas.

¿Por qué unirte a nosotros? Turing es una de las empresas de IA de más rápido crecimiento en el mundo, acelerando el avance y la implementación de sistemas de IA potentes. Estarás a la vanguardia de la evaluación de cómo los LLMs interactúan con código real, influyendo en el futuro del desarrollo de software asistido por IA. Esta es una oportunidad única para combinar la ingeniería de software práctica con la investigación en IA.

Cómo es el día a día:

• Analizar y clasificar incidencias de GitHub en bibliotecas de código abierto populares.
• Configurar y poner a punto repositorios de código, incluyendo la contenedorización con Docker y la configuración del entorno.
• Evaluar la cobertura y calidad de las pruebas unitarias.
• Modificar y ejecutar bases de código localmente para evaluar el rendimiento de los LLMs en escenarios de corrección de errores.
• Colaborar con los investigadores para diseñar e identificar repositorios e incidencias que resulten desafiantes para los LLMs.
• Oportunidades para liderar un equipo de ingenieros junior que colaboran en los proyectos.

Habilidades requeridas:

• Mínimo 3+ años de experiencia general
• Sólida experiencia con al menos uno de los siguientes lenguajes: Rust
• Dominio de Git, Docker y configuración básica de canalizaciones (pipelines) de software.
• Capacidad para comprender y navegar por bases de código complejos.
• Facilidad para ejecutar, modificar y probar proyectos del mundo real de forma local.
• Se valorará la experiencia contribuyendo o evaluando proyectos de código abierto.

Se valora positivamente:

• Participación previa en proyectos de investigación o evaluación de LLMs.
• Experiencia en la construcción o prueba de herramientas para desarrolladores o agentes de automatización.

Ventajas de hacer freelance con Turing:

• Trabaja en un entorno totalmente remoto.
• Oportunidad de trabajar en proyectos de IA de vanguardia con empresas líderes en LLMs.

Detalles de la oferta:

• Dedicación requerida: Al menos 4 horas al día y un mínimo de 20 horas por semana con una coincidencia de 4 horas con el horario PST. (Tenemos 3 opciones de dedicación de tiempo: 20 hrs/semana, 30 hrs/semana o 40 hrs/semana)
• Tipo de empleo: Contrato por obra o servicio (sin seguro médico ni baja pagada)
• Duración del contrato: 3 meses; [la fecha de inicio prevista es la próxima semana]
• Ubicación: India, Pakistán, Nigeria, Kenia, Egipto, Ghana, Bangladés, Turquía, México

Proceso de evaluación (aproximadamente 75 mins):

• Dos rondas de entrevistas (60 min técnica + 30 min debate técnico y cultural)