Ingeniero de Software Senior, Python (Evaluación de LLM y Validación de Repositorios)

Acerca de los proyectos: estamos construyendo conjuntos de datos de evaluación y entrenamiento de LLMs para entrenar a los LLMs a trabajar en problemas reales de ingeniería de software. Uno de nuestros enfoques en este proyecto es construir tareas de ingeniería de software verificables basadas en historiales de repositorios públicos utilizando un enfoque sintético con intervención humana, mientras expandimos la cobertura del conjunto de datos a diferentes tipos de tareas en términos de lenguaje de programación, nivel de dificultad, entre otros.

Acerca del rol: Buscamos ingenieros de software con experiencia (nivel de líder técnico) que estén familiarizados con repositorios públicos de GitHub de alta calidad y puedan contribuir a este proyecto. Este rol implica trabajo práctico de ingeniería de software, incluida la automatización de entornos de desarrollo, la clasificación de incidencias y la evaluación de la cobertura y calidad de las pruebas.

¿Por qué unirte a nosotros? Turing es una de las empresas de IA de mayor crecimiento en el mundo, acelerando el avance y la implementación de sistemas de IA potentes. Estarás a la vanguardia de la evaluación de cómo los LLMs interactúan con código real, influyendo en el futuro del desarrollo de software asistido por IA. Esta es una oportunidad única para combinar la ingeniería práctica de software con la investigación en IA.

¿Cómo es el día a día?:

• Analizar y clasificar incidencias de GitHub en bibliotecas de código abierto populares.
• Configurar y poner a punto repositorios de código, incluyendo la contenerización con Docker y la configuración del entorno.
• Evaluar la cobertura y la calidad de las pruebas unitarias.
• Modificar y ejecutar bases de código localmente para evaluar el rendimiento de los LLMs en escenarios de corrección de errores.
• Colaborar con investigadores para diseñar e identificar repositorios e incidencias que resulten desafiantes para los LLMs.
• Oportunidades de liderar un equipo de ingenieros juniores para colaborar en proyectos.

Habilidades requeridas:

• Mínimo de más de 3 años de experiencia general.
• Sólida experiencia con al menos uno de los siguientes lenguajes: Python.
• Dominio de Git, Docker y configuración básica de flujos de trabajo de software.
• Capacidad para comprender y navegar por bases de código complejas.
• Facilidad para ejecutar, modificar y probar proyectos del mundo real localmente.
• Se valorará la experiencia contribuyendo o evaluando proyectos de código abierto.

Deseables:

• Participación previa en investigación de LLMs o proyectos de evaluación.
• Experiencia construyendo o probando herramientas para desarrolladores o agentes de automatización.

Ventajas de trabajar como autónomo con Turing:

• Trabaja en un entorno totalmente remoto.
• Oportunidad de trabajar en proyectos de IA de vanguardia con empresas líderes en LLMs.

Detalles de la oferta:

• Compromisos requeridos: Al menos 4 horas al día y un mínimo de 20 horas a semana con una coincidencia de 4 horas con la zona horaria PST. (Tenemos 3 opciones de compromiso de tiempo: 20 h/semana, 30 h/semana o 40 h/semana)
• Tipo de empleo: Asignación como contratista (sin seguro médico ni baja pagada)
• Duración del contrato: 3 meses; [la fecha de inicio prevista es la próxima semana]
• Ubicación: India, Pakistán, Nigeria, Kenia, Egipto, Ghana, Bangladés, Turquía, México

Proceso de evaluación (aproximadamente 75 minutos):

• Dos rondas de entrevistas (60 minutos de carácter técnico + 30 minutos de discusión técnica y cultural)