Senior Software Engineer, LLM Evaluation (con base en EE. UU. / Canadá / Europa Occidental)

Sobre nosotros
Con sede en San Francisco, California, Turing es el acelerador de investigación líder en el mundo para laboratorios de IA de vanguardia y un socio de confianza para empresas globales que implementan sistemas de IA avanzados. Turing apoya a los clientes de dos maneras: primero, acelerando la investigación de vanguardia con datos de alta calidad, canales de entrenamiento avanzados e investigadores de IA de primer nivel especializados en ingeniería de software, razonamiento lógico, STEM, multilingüismo, multimodalidad y agentes; y segundo, aplicando esa experiencia para ayudar a las empresas a transformar la IA de una prueba de concepto en inteligencia propietaria con sistemas que funcionan de manera confiable, ofrecen un impacto medible e impulsan resultados duraderos en la cuenta de resultados.

Descripción del proyecto
Como evaluador de ingeniería de software, crearás conjuntos de datos de vanguardia para entrenar, evaluar y hacer avanzar modelos de lenguaje grandes, colaborando estrechamente con investigadores. Esto incluye curar ejemplos de código, proporcionar soluciones precisas y realizar correcciones en Python, JavaScript (incluido ReactJS), C/C++, Java, Rust y Go; evaluar y perfeccionar código generado por IA en cuanto a eficiencia, escalabilidad y confiabilidad; y trabajar con equipos multifuncionales para mejorar las soluciones de codificación impulsadas por IA a nivel empresarial.

¿Cómo es un día típico?

• Trabajar en iniciativas de entrenamiento de modelos de IA curando ejemplos de código, construyendo soluciones y corrigiendo código en Python, JavaScript (incluido ReactJS), C/C++, Java, Rust y Go.
• Evaluar y perfeccionar código generado por IA para garantizar que sea eficiente, escalable y confiable.
• Colaborar con equipos multifuncionales para mejorar las soluciones de codificación impulsadas por IA frente a los estándares de rendimiento de la industria.
• Construir agentes que puedan verificar la calidad del código e identificar patrones de errores.
• Hacer hipótesis sobre los pasos en el ciclo de ingeniería de software (prototipado, diseño de arquitectura, diseño de API, implementación en producción, lanzamiento, experimentos, monitoreo, mantenimiento operativo) y evaluar las capacidades del modelo en ellos.
• Diseñar mecanismos de verificación que puedan verificar automáticamente una solución a una tarea de ingeniería de software.

Habilidades requeridas

• Varios años de experiencia en ingeniería de software (3 años o más)
• Gran experiencia en la construcción de aplicaciones full-stack y el despliegue de software escalable listo para producción utilizando lenguajes y herramientas modernos.
• Profundo entendimiento de la arquitectura de software, diseño, desarrollo, depuración y evaluación de la calidad y revisión de código.
• Excelentes habilidades de comunicación oral y escrita para obtener fundamentos de evaluación claros y estructurados.

Detalles de la colaboración

• Dedicación: colaboración flexible, mínimo 10 horas/semana, hasta 40 horas/semana
• Tipo: Contratista (sin seguro médico ni baja remunerada)
• Duración: 1 mes (posibles extensiones según el rendimiento y la adecuación)
• Ubicación: los candidatos deben residir en EE. UU., Canadá o países de Europa Occidental (Austria, Bélgica, Francia, Alemania...)

Proceso de evaluación

• El proceso de solicitud toma entre 15 y 30 minutos.
• Se requiere completar una entrevista en video con IA.