Especialista STEM y Técnico en Diseño de Rúbricas

En este rol de contratista remoto por horas, trabajarás como especialista técnico y experto en la materia (SME) en STEM para crear preguntas complejas de nivel experto, evaluar contenido técnico generado por IA y diseñar rúbricas detalladas que definan lo que debe contener una respuesta correcta, rigurosa y de calidad experta.

Desarrollarás problemas dentro de tu área de experiencia que pongan a prueba el razonamiento avanzado en lugar de la simple recuperación de datos. Identificarás debilidades en los modelos de IA de frontera, incluidas suposiciones incorrectas, razonamientos incompletos, errores matemáticos o científicos, casos límite pasados por alto y respuestas que parecen plausibles pero fallan bajo el escrutinio de un experto.

Un enfoque principal de este rol es el diseño y la redacción de rúbricas. Traducirás juicios técnicos complejos en criterios de evaluación claros, específicos y medibles, que incluirán los conceptos requeridos, los pasos de razonamiento, los enfoques alternativos aceptables, los errores críticos y las consideraciones de crédito parcial. También podrás criticar y mejorar rúbricas desarrolladas por otros expertos.

Este rol es en SME Careers, una empresa de servicios de datos de IA de rápido crecimiento y filial de SuperAnnotate, que proporciona datos de entrenamiento para muchas de las mayores empresas de IA y laboratorios de modelos base del mundo. Tu experiencia técnica ayuda directamente a mejorar los principales modelos de IA del mundo haciendo que su razonamiento sea más preciso, riguroso y confiable.

Responsabilidades

• Crear preguntas técnicas de nivel experto: Desarrollar preguntas difíciles que pongan a prueba el razonamiento técnico genuino y expongan las debilidades en los sistemas de IA avanzados.
• Diseñar rúbricas de evaluación: Escribir criterios estructurados que definan lo que debe contener una respuesta correcta, rigurosa y completa.
• Definir estándares de crédito parcial: Identificar los pasos de razonamiento esenciales, las alternativas aceptables, los errores menores y las fallas críticas.
• Evaluar soluciones generadas por IA: Valorar las salidas en función de su corrección, calidad de razonamiento, integridad, metodología y precisión técnica.
• Identificar errores de razonamiento ocultos: Detectar casos en los que una respuesta llega a la conclusión correcta utilizando suposiciones inválidas o lógica defectuosa.
• Criticar rúbricas de pares: Revisar los criterios de otros expertos en cuanto a precisión técnica, claridad, integridad y consistencia en la puntuación.
• Desarrollar contenido de referencia: Producir respuestas de expertos, explicaciones, críticas y otro contenido de primer nivel.
• Apoyar el entrenamiento de IA: Crear preguntas, rúbricas, evaluaciones, juicios de preferencia y pares de respuestas de referencia adecuados para flujos de trabajo de RL y SFT.
• Mantener el rigor técnico: Asegurar que el contenido refleje los estándares profesionales o académicos apropiados dentro de la disciplina correspondiente.

Requisitos

• Grado universitario o superior en Matemáticas, Física, Química, Ingeniería, Ciencias de la Computación, Estadística, Ciencias Aplicadas u otra disciplina técnica.
• Sólida competencia profesional en inglés, mínimo C1, con capacidad para escribir explicaciones técnicas precisas y criterios de evaluación.
• Más de 3 años de experiencia profesional, académica, de investigación o en la industria en tu dominio técnico declarado.
• Demostrada experiencia avanzada en un campo técnico o especialización claramente definido.
• Capacidad para crear preguntas técnicas desafiantes que requieran razonamiento de varios pasos, experiencia en el dominio o juicio profesional.
• Gran capacidad para diseñar rúbricas de evaluación detalladas que definan el razonamiento requerido, la metodología correcta, las alternativas aceptables, los criterios de crédito parcial y los errores críticos.
• Capacidad para distinguir entre una respuesta final correcta y una respuesta respaldada por un razonamiento válido frente a uno defectuoso.
• Comodidad revisando y criticando las rúbricas de otros expertos en busca de ambigüedad, criterios faltantes, redundancia, imprecisiones técnicas o diseño de puntuación deficiente.
• Alta atención al detalle al evaluar fórmulas, suposiciones, unidades, metodología, casos límite, consistencia lógica y terminología técnica.
• Se prefiere firmemente la experiencia en redacción de exámenes, calificación académica, revisión por pares, revisión de investigación, control de calidad técnico, desarrollo de estándares o diseño de evaluaciones.
• Se prefiere experiencia previa en evaluación de IA, RLHF, SFT, benchmarking, anotación de datos, diseño de prompts o evaluación de LLM.
• Confiable, autónomo y capaz de ofrecer una calidad constante en un flujo de trabajo de contratista remoto por horas.