Ingeniero de Software Senior, C++ (Evaluación de LLM y Validación de Repositorios)

Acerca de los proyectos: estamos construyendo conjuntos de datos de entrenamiento y evaluación de LLM para entrenar a los LLM en la resolución de problemas de ingeniería de software realistas. Uno de nuestros enfoques en este proyecto es construir tareas de SWE verificables basadas en historiales de repositorios públicos mediante un enfoque sintético con intervención humana, mientras ampliamos la cobertura del conjunto de datos a diferentes tipos de tareas en cuanto a lenguaje de programación, nivel de dificultad, etc.

Acerca del puesto: Buscamos ingenieros de software con experiencia (nivel de líder técnico) que estén familiarizados con repositorios públicos de GitHub de alta calidad y puedan contribuir a este proyecto. Este rol implica trabajo práctico de ingeniería de software, incluida la automatización de entornos de desarrollo, la clasificación de incidencias y la evaluación de la calidad y la cobertura de pruebas.

¿Por qué unirte a nosotros? Turing es una de las empresas de IA de más rápido crecimiento del mundo, que acelera el avance y el despliegue de potentes sistemas de IA. Estarás a la vanguardia de la evaluación de cómo los LLM interactúan con código real, influyendo en el futuro del desarrollo de software asistido por IA. Esta es una oportunidad única para combinar la ingeniería de software práctica con la investigación en IA.

Cómo es el día a día:

• Analizar y clasificar incidencias de GitHub en bibliotecas de código abierto populares.
• Configurar repositorios de código, incluida la contenedorización con Docker y la configuración del entorno.
• Evaluar la calidad y la cobertura de las pruebas unitarias.
• Modificar y ejecutar bases de código localmente para evaluar el rendimiento de los LLM en escenarios de corrección de errores.
• Colaborar con los investigadores para diseñar e identificar repositorios e incidencias que supongan un reto para los LLM.
• Oportunidades de liderar un equipo de ingenieros junior para colaborar en proyectos.

Habilidades requeridas:

• Un mínimo de más de 3 años de experiencia general.
• Sólida experiencia con al menos uno de los siguientes lenguajes: C++
• Dominio de Git, Docker y configuración básica de canalizaciones de software.
• Capacidad para comprender y navegar por bases de código complejas.
• Facilidad para ejecutar, modificar y probar proyectos del mundo real localmente.
• Se valorará la experiencia contribuyendo o evaluando proyectos de código abierto.

Se valorará positivamente:

• Participación previa en proyectos de investigación o evaluación de LLM.
• Experiencia en la construcción o prueba de herramientas para desarrolladores o agentes de automatización.

Ventajas de trabajar como freelance con Turing:

• Trabaja en un entorno totalmente remoto.
• Oportunidad de trabajar en proyectos de IA de vanguardia con empresas líderes de LLM.

Detalles de la oferta:

• Compromisos requeridos: Al menos 4 horas al día y un mínimo de 20 horas a semana con una superposición de 4 horas con la hora estándar del Pacífico (PST). (Tenemos 3 opciones de compromiso de tiempo: 20 horas/semana, 30 horas/semana o 40 horas/semana).
• Tipo de empleo: Asignación como contratista (sin seguro médico ni baja pagada).
• Ubicación: India, Pakistán, Nigeria, Kenia, Egipto, Ghana, Bangladés, Turquía, México.

Proceso de evaluación (aproximadamente 75 minutos):

• Dos rondas de entrevistas (60 minutos de carácter técnico + 30 minutos de debate técnico y cultural).