Ingeniero de Software Senior, C# (Evaluación de LLMs y Validación de Repositorios)

Sobre los proyectos: estamos construyendo conjuntos de datos de entrenamiento y evaluación de LLM para entrenar a los LLM a trabajar en problemas de ingeniería de software reales. Uno de nuestros enfoques en este proyecto es construir tareas de SWE verificables basadas en historiales de repositorios públicos en un enfoque sintético con intervención humana, mientras expandimos la cobertura del conjunto de datos a diferentes tipos de tareas en cuanto a lenguaje de programación, nivel de dificultad, etc.

Sobre el rol: Buscamos ingenieros de software con experiencia (nivel de líder técnico) que estén familiarizados con repositorios públicos de GitHub de alta calidad y puedan contribuir a este proyecto. Este rol implica trabajo práctico de ingeniería de software, incluida la automatización del entorno de desarrollo, la clasificación de incidencias y la evaluación de la calidad y cobertura de pruebas.

¿Por qué unirte a nosotros? Turing es una de las empresas de IA de más rápido crecimiento del mundo, que acelera el avance y la implementación de potentes sistemas de IA. Estarás a la vanguardia de la evaluación de cómo los LLM interactúan con código real, influyendo en el futuro del desarrollo de software asistido por IA. Esta es una oportunidad única para combinar la ingeniería de software práctica con la investigación en IA.

Cómo es el día a día:

• Analizar y clasificar incidencias de GitHub en bibliotecas de código abierto populares.
• Configurar repositorios de código, incluida la contenedorización con Docker y la configuración del entorno.
• Evaluar la calidad y la cobertura de las pruebas unitarias.
• Modificar y ejecutar bases de código localmente para evaluar el rendimiento de los LLM en escenarios de corrección de errores.
• Colaborar con investigadores para diseñar e identificar repositorios e incidencias que supongan un reto para los LLM.
• Oportunidades de liderar un equipo de ingenieros junior para colaborar en proyectos.

Habilidades requeridas:

• Mínimo 3+ años de experiencia general
• Sólida experiencia con al menos uno de los siguientes lenguajes: C#
• Dominio de Git, Docker y configuración básica de canalizaciones de software.
• Capacidad para comprender y navegar por bases de código complejas.
• Comodidad para ejecutar, modificar y probar proyectos del mundo real localmente.
• La experiencia contribuyendo o evaluando proyectos de código abierto es una ventaja.

Es bueno tener:

• Participación previa en proyectos de investigación o evaluación de LLM.
• Experiencia en la construcción o prueba de herramientas para desarrolladores o agentes de automatización.

Ventajas de trabajar como freelance con Turing:

• Trabaja en un entorno totalmente remoto.
• Oportunidad de trabajar en proyectos de IA de vanguardia con empresas líderes de LLM.

Detalles de la oferta:

• Compromisos requeridos: Al menos 4 horas al día y un mínimo de 20 horas por semana con una coincidencia de 4 horas con la hora estándar del Pacífico (PST). (Tenemos 3 opciones de compromiso de tiempo: 20 horas/semana, 30 horas/semana o 40 horas/semana)
• Tipo de empleo : Asignación como contratista (sin seguro médico ni baja remunerada)
• Ubicación : India, Pakistán, Nigeria, Kenia, Egipto, Ghana, Bangladés, Turquía, México

Proceso de evaluación (aproximadamente 75 minutos) :

• Dos rondas de entrevistas (60 min técnica + 30 min discusión técnica y cultural)