Ingeniero de Software Senior, Evaluación de LLM y Validación de Repositorios

Título del puesto: Ingeniero de software sénior, Evaluación de LLM y Validación de repositorios

Sobre los proyectos: estamos construyendo conjuntos de datos de entrenamiento y evaluación de LLM para entrenar a los LLM en la resolución de problemas realistas de ingeniería de software. Uno de nuestros enfoques en este proyecto es construir tareas de SWE verificables basadas en historiales de repositorios públicos mediante un enfoque sintético con intervención humana, mientras ampliamos la cobertura del conjunto de datos a diferentes tipos de tareas en cuanto a lenguaje de programación, nivel de dificultad, etc.

Sobre el puesto: Buscamos ingenieros de software experimentados (nivel de líder técnico) que estén familiarizados con repositorios públicos de GitHub de alta calidad y puedan contribuir a este proyecto. Debes tener experiencia trabajando con repositorios bien mantenidos y ampliamente utilizados con más de 500 estrellas. Este puesto implica trabajo práctico de ingeniería de software, incluida la automatización de entornos de desarrollo, la clasificación de incidencias y la evaluación de la calidad y la cobertura de pruebas.

¿Por qué unirte a nosotros?
Turing es una de las empresas de IA de más rápido crecimiento del mundo, que acelera el avance y el despliegue de potentes sistemas de IA. Estarás a la vanguardia de la evaluación de cómo los LLM interactúan con código real, influyendo en el futuro del desarrollo de software asistido por IA. Esta es una oportunidad única para combinar la ingeniería de software práctica con la investigación en IA.

Cómo es el día a día:

• Analizar y clasificar incidencias de GitHub en bibliotecas de código abierto en tendencia.
• Configurar repositorios de código, incluida la contenedorización con Docker y la configuración del entorno.
• Evaluar la calidad y la cobertura de las pruebas unitarias.
• Modificar y ejecutar bases de código localmente para evaluar el rendimiento de los LLM en escenarios de corrección de errores.
• Colaborar con investigadores para diseñar e identificar repositorios e incidencias que resulten desafiantes para los LLM.
• Oportunidades para liderar un equipo de ingenieros junior para colaborar en proyectos.

Habilidades requeridas:

• Amplia experiencia con al menos uno de los siguientes lenguajes: Python, JavaScript, Java, Go, Rust, C/C++, C# o Ruby.
• Dominio de Git, Docker y configuración básica de canales de software.
• Capacidad para comprender y navegar por bases de código complejos.
• Facilidad para ejecutar, modificar y probar proyectos del mundo real localmente.
• La experiencia en contribuir a proyectos de código abierto o evaluarlos es una ventaja.

Deseable:

• Participación previa en proyectos de investigación o evaluación de LLM.
• Experiencia en la creación o prueba de herramientas para desarrolladores o agentes de automatización.

Ventajas de trabajar como freelance con Turing:

• Trabaja en un entorno totalmente remoto.
• Oportunidad de trabajar en proyectos de IA de vanguardia con empresas líderes de LLM.

Detalles de la oferta:

• Compromiso requerido: 20 horas por semana con cierta superposición con PST
• Tipo de empleo: Asignación por contrato (sin seguro médico ni baja pagada)
• Duración del contrato: 3 meses con fecha de inicio prevista para la próxima semana