Ingeniero de Software, Evaluación de Código de IA y Evaluación Comparativa (solo candidatos en EE. UU.)

Acerca de Turing

Turing es una de las empresas de IA de mayor crecimiento en el mundo, que acelera el avance y la implementación de sistemas de IA potentes. Turing ayuda a los principales laboratorios de IA a mejorar las capacidades de razonamiento, resolución de problemas y toma de decisiones de los grandes modelos de lenguaje (LLMs) a través de retroalimentación humana de alta calidad, evaluación y datos de entrenamiento.

Descripción del rol

Buscamos ingenieros de software con experiencia para ayudar a evaluar, realizar pruebas comparativas (benchmarking) y mejorar las capacidades de programación de modelos de IA de vanguardia. En este rol, evaluarás código generado por IA, validarás soluciones frente a tareas de ingeniería de software del mundo real, identificarás problemas de corrección y calidad, y contribuirás al desarrollo de conjuntos de datos de evaluación y pruebas comparativas de alta calidad.

Esta posición es ideal para ingenieros que disfrutan de la revisión de código, la depuración, la resolución de problemas y la aplicación de un sólido criterio de ingeniería de software a escenarios técnicos complejos. Tu trabajo contribuirá directamente a medir y mejorar el rendimiento de sistemas avanzados de programación con IA.

¿Cómo es el día a día?

• Revisar y evaluar el código generado por IA en cuanto a corrección, eficiencia, mantenibilidad y cumplimiento de los requisitos.
• Analizar tareas de ingeniería de software y validar si las propuestas de solución cumplen con los resultados esperados.
• Depurar código, reproducir problemas y verificar correcciones en diferentes entornos de programación.
• Evaluar las explicaciones generadas por los modelos, el razonamiento y los enfoques de implementación en cuanto a precisión técnica.
• Crear, refinar y mantener conjuntos de datos de evaluación, pruebas comparativas y rúbricas de calificación para tareas de programación.
• Identificar casos límite, modos de fallo y áreas en las que los sistemas de IA tienen dificultades con problemas de ingeniería de software.
• Documentar los hallazgos con claridad y proporcionar retroalimentación estructurada para mejorar la calidad y la consistencia de la evaluación.
• Colaborar con los equipos de proyecto para establecer estándares de calidad y metodologías de evaluación.

Requisitos

• Grado o maestría en Ciencias de la Computación, Ingeniería de Software o un campo técnico relacionado.
• Más de 3 años de experiencia profesional en ingeniería de software.
• Sólida competencia en uno o más de los siguientes lenguajes: Python, Java, C/C++, Go, Swift, Objective-C, PHP o SQL.
• Sólida comprensión de estructuras de datos, algoritmos, principios de diseño de software y metodologías de depuración.
• Experiencia realizando revisiones de código y evaluando la calidad del código en producción o bases de código a gran escala.
• Capacidad para analizar problemas técnicos complejos y evaluar la corrección de las soluciones con mínima supervisión.
• Familiaridad con sistemas de control de versiones (por ejemplo, Git) y flujos de trabajo de desarrollo de software modernos.
• Sólidas habilidades de comunicación escrita y atención al detalle.
• La experiencia con anotación de datos de IA/ML, PNL, ingeniería de prompts, evaluación de modelos o proyectos relacionados con LLMs es una ventaja.
• Se prefiere considerablemente la experiencia evaluando código generado por IA, creando pruebas comparativas o realizando evaluaciones de calidad de software.

Ventajas de ser autónomo con Turing

• Trabaja en un entorno completamente remoto.
• Oportunidad de trabajar en proyectos de IA de vanguardia con empresas líderes en LLMs.

Detalles de la oferta

• Compromisos requeridos: Al menos 4 horas por día y un mínimo de 20 horas por semana con una coincidencia de 4 horas con PST.
• Tipo de compromiso: Asignación como contratista (sin permiso médico o pagado).
• Duración del contrato: 1 mes; [la fecha de inicio prevista es la próxima semana].
• Ubicación: Solo EE. UU.

Proceso de evaluación

1. Desafío de programación automatizado en línea para Python y prueba de Docker (RHLF).