Ingeniero de Software Senior, Evaluación de LLM

Acerca de Turing

Con sede en San Francisco, California, Turing es el acelerador de investigación líder en el mundo para laboratorios de IA de vanguardia y un socio de confianza para empresas globales que implementan sistemas de IA avanzados. Turing apoya a los clientes de dos maneras: primero, acelerando la investigación de vanguardia con datos de alta calidad, canales de entrenamiento avanzados e investigadores de expertos en IA especializados en programación, razonamiento, STEM, multilingüismo, multimodalidad y agentes; y segundo, aplicando esa experiencia para ayudar a las empresas a transformar la IA desde una prueba de concepto en inteligencia propietaria con sistemas que funcionen de manera confiable, generen un impacto medible e impulsen resultados duraderos en la cuenta de resultados.

Descripción del puesto

Como evaluador de ingeniería de software, crearás conjuntos de datos de vanguardia para entrenar, evaluar y hacer avanzar modelos de lenguaje grandes, colaborando estrechamente con investigadores. Esto incluye seleccionar ejemplos de código, proporcionar soluciones precisas y realizar correcciones en Python, JavaScript (incluido ReactJS), C/C++, Java, Rust y Go; evaluar y perfeccionar código generado por IA en cuanto a eficiencia, escalabilidad y confiabilidad; y trabajar con equipos multifuncionales para mejorar las soluciones de programación impulsadas por IA a nivel empresarial.

¿Cómo es el día a día?

• Trabajar en iniciativas de entrenamiento de modelos de IA seleccionando ejemplos de código, construyendo soluciones y corrigiendo código en Python, JavaScript (incluido ReactJS), C/C++, Java, Rust y Go.
• Evaluar y perfeccionar código generado por IA para garantizar que sea eficiente, escalable y confiable.
• Colaborar con equipos multifuncionales para mejorar las soluciones de programación impulsadas por IA en comparación con los estándares de rendimiento de la industria.
• Construir agentes que puedan verificar la calidad del código e identificar patrones de errores.
• Plantear hipótesis sobre las fases del ciclo de ingeniería de software (prototipado, diseño de arquitectura, diseño de API, implementación en producción, lanzamiento, experimentos, monitoreo, mantenimiento operativo) y evaluar las capacidades de los modelos en ellas.
• Diseñar mecanismos de verificación que puedan comprobar automáticamente una solución para una tarea de ingeniería de software.

Requisitos

• Varios años de experiencia en ingeniería de software, incluidos más de 2 años de experiencia continua a tiempo completo en una empresa de producto de primer nivel (por ejemplo, Google, Stripe, Amazon, Apple, Meta, Netflix, Microsoft, Datadog, Dropbox, Shopify, PayPal, IBM Research).
• Sólida experiencia en la construcción de aplicaciones full-stack y en la implementación de software escalable listo para producción utilizando lenguajes y herramientas modernos.
• Profundo conocimiento de la arquitectura de software, diseño, desarrollo, depuración y evaluación de la calidad/revisión del código.
• Excelentes habilidades de comunicación oral y escrita para fundamentar evaluaciones claras y estructuradas.

Detalles de la oferta

• Dedicación: compromiso flexible, mínimo 10 horas/semana, hasta 40 horas/semana (se requiere solapamiento parcial con PST)
• Tipo: Contratista (sin baja médica ni pagada)
• Duración: 1 mes (comenzando la próxima semana; posibles extensiones según el desempeño y la adecuación)