Ingeniero Aplicado, Rol de Evaluaciones

Mercor busca ingenieros de software para desarrollar y perfeccionar evaluaciones. Transformarás pull requests completadas en tareas de ingeniería y usarás nuestro marco de evaluación interno con múltiples agentes de programación de vanguardia, incluidos Claude Code, Codex y más.

Trabajamos junto a un equipo de investigación interno y hemos elaborado benchmarks líderes en la industria para comparar el rendimiento de los grandes modelos de lenguaje de vanguardia.

En este rol, tú:

• Identificarás repositorios con suficiente trabajo sustancial para respaldar evaluaciones desafiantes y seleccionarás PRs completadas adecuadas.

• Investigarás cada problema, su solución de referencia y la arquitectura, las pruebas y las convenciones del repositorio.

• Escribirás prompts de tareas y construirás evaluaciones utilizando pruebas automatizadas, comandos de shell y prompts de calificación de LLM.

• Validarás las evaluaciones frente a soluciones de referencia e implementaciones con fallas deliberadas. Encontrarás comprobaciones faltantes, calificaciones incorrectas y criterios que restrinjan innecesariamente la forma en que se puede resolver un problema.

• Ejecutarás evaluaciones repetidamente en múltiples modelos y arneses. Investigarás si los fallos provienen de la solución del agente, del entorno o de la calificación, y establecerás que las tareas expongan debilidades significativas en el rendimiento del agente.

• Perfeccionarás las evaluaciones mediante pruebas y revisiones repetidas. Documentarás los hallazgos y las decisiones de calificación, y trabajarás en base a los comentarios recibidos.

Necesitarás:

• Sólidos fundamentos de programación y experiencia práctica trabajando en bases de código sustanciales y complejas. Los lenguajes para los que creamos evaluaciones incluyen TypeScript/JavaScript, Python, Java, Kotlin, Go, Ruby, PHP, C++ y Rust.

• La capacidad de comprender código desconocido, investigar comportamientos sutiles y evaluar si diferentes implementaciones resuelven el mismo problema correctamente.

• Experiencia escribiendo pruebas significativas, incluidos casos límite y cobertura de regresión.

• Atención al detalle y paciencia para la investigación y el perfeccionamiento repetidos.

• Experiencia práctica en el uso de herramientas de programación de IA, con el criterio necesario para verificar su producción y detectar errores.

• Seguridad en el uso de Git, ejecutores de pruebas y herramientas de CI.

• Comunicación escrita y verbal clara y fluida, con la capacidad de liderar una tarea de forma independiente y plantear preguntas cuando los requisitos sean ambiguos.

La experiencia relevante puede provenir de repositorios de código abierto, privados o empresariales. La familiaridad con un lenguaje o ecosistema en particular es útil; la capacidad de aprender el repositorio y tomar decisiones de ingeniería acertadas importa más que su popularidad o tu historial de contribuciones públicas.

Ofrecemos incorporación al marco de evaluación y comentarios de revisión continuos. Después de la incorporación, se espera que te hagas cargo de la selección de tareas, el desarrollo de evaluaciones y la iteración sin necesidad de una dirección paso a paso.