Experto en Razonamiento de Juegos de Mesa (Entrenamiento y Evaluación de IA)

Sobre Turing

Turing es una de las empresas de IA de mayor crecimiento en el mundo, que acelera el avance y la implementación de sistemas de IA potentes. Turing ayuda a los principales laboratorios de IA a mejorar las capacidades de razonamiento, resolución de problemas y toma de decisiones de los modelos grandes de lenguaje (LLM) a través de retroalimentación humana de alta calidad, evaluación y datos de entrenamiento.

Descripción del puesto

Buscamos expertos en razonamiento de juegos de mesa para ayudar a entrenar y evaluar modelos de IA de próxima generación. En este rol, aprovecharás tu experiencia en juegos de mesa, mecánicas de juego, razonamiento estratégico, probabilidad y sistemas de reglas complejos para crear, revisar y evaluar conjuntos de datos de alta calidad que mejoren el rendimiento de la IA.

Trabajarás en tareas desafiantes que involucran lógica de juegos, toma de decisiones, planificación estratégica, interpretación de reglas y análisis de escenarios, ayudando a los sistemas de IA de vanguardia a desarrollar capacidades de razonamiento más sólidas.

¿Cómo es el día a día?

• Crear y revisar tareas de razonamiento basadas en juegos diseñadas para evaluar sistemas de IA.
• Analizar escenarios de juegos de mesa, árboles de decisión estratégica y sistemas basados en reglas.
• Evaluar respuestas generadas por IA en cuanto a su corrección, consistencia y calidad de razonamiento.
• Desarrollar prompts, rúbricas y pautas de evaluación para tareas centradas en juegos de mesa y estrategia.
• Identificar errores lógicos, violaciones de reglas y razonamientos defectuosos en las salidas de la IA.
• Contribuir a la creación de benchmarks y procesos de control de calidad para proyectos de evaluación de IA.
• Colaborar con los equipos de proyecto para mejorar la calidad de los conjuntos de datos y las metodologías de evaluación.

Requisitos

Calificaciones requeridas

• Título universitario en Ciencias de la Computación, Matemáticas, Ciencia Cognitiva, Diseño de Juegos, Filosofía, Economía o un campo analítico relacionado.
• Más de 2 años de experiencia profesional o semiprofesional en diseño de juegos de mesa, pruebas de juego (playtesting), comunidades de juegos de mesa o entornos relacionados centrados en la estrategia.
• Sólida comprensión de la lógica, el razonamiento probabilístico, las mecánicas de juego y los sistemas de reglas complejos.
• Antecedentes en teoría de juegos, economía del comportamiento, ciencia de decisiones o lógica formal.
• Familiaridad con juegos de mesa modernos, juegos de cartas coleccionables (TCG), juegos de rol de mesa, juegos de estrategia o sistemas de juegos competitivos.
• Sólidas habilidades analíticas y de resolución de problemas.
• Excelentes habilidades de comunicación escrita.

Calificaciones preferidas

• Experiencia previa en anotación de datos, entrenamiento de IA, ingeniería de prompts, control de calidad (QA), diseño de juegos, diseño de acertijos o análisis de sistemas basados en reglas.
• Experiencia en la creación de rúbricas de evaluación, conjuntos de datos de referencia (benchmark) o marcos de control de calidad.
• Experiencia con Python, SQL o herramientas de análisis de datos.
• Experiencia trabajando en proyectos de RLHF, evaluación de modelos, generación de datos sintéticos o evaluación comparativa de LLM.
• Familiaridad con juegos de estrategia o de mesa lanzados recientemente y capacidad para aprender rápidamente nuevos sistemas de reglas.

Ventajas de trabajar como freelance con Turing

• Trabaja en un entorno totalmente remoto.
• Oportunidad de trabajar en proyectos de IA de vanguardia con empresas líderes en LLM.

Detalles de la oferta

• Compromisos requeridos: Al menos 4 horas por día y un mínimo de 20 horas por semana con una coincidencia de 4 horas con PST.
• Tipo de compromiso: Asignación como contratista (sin seguro médico ni licencia pagada)
• Duración del contrato: 2 meses; [la fecha de inicio prevista es la próxima semana]

Proceso de evaluación

1. Evaluación para llevar a casa