Especialista en salud, diseño de rúbricas

En este rol de contratista independiente y por horas, trabajarás como especialista en el sector de la salud (SME) para crear preguntas clínicas desafiantes y de nivel experto, evaluar contenido clínico generado por inteligencia artificial y diseñar rúbricas de alta calidad que definan lo que debe contener una respuesta precisa, completa y profesionalmente adecuada.

Utilizarás tu experiencia clínica o profesional para identificar áreas en las que los modelos de inteligencia artificial de vanguardia puedan ofrecer respuestas incompletas, inexactas, mal razonadas, demasiado confiadas o clínicamente inadecuadas. Redactarás preguntas especializadas en tu campo, desarrollarás criterios de puntuación detallados, criticarás rúbricas creadas por otros profesionales de la salud y proporcionarás comentarios escritos precisos.

Un enfoque principal de este rol es el diseño de rúbricas y la evaluación experta. Definirás conceptos clínicos esenciales, pasos de razonamiento, advertencias relevantes, enfoques alternativos aceptables, omisiones significativas y errores críticos que distinguen las respuestas superficiales de las de nivel experto.

Este puesto es en SME Careers, una empresa de servicios de datos de IA de rápido crecimiento y subsidiaria de SuperAnnotate, que suministra datos de entrenamiento para muchas de las empresas de IA y laboratorios de modelos base más grandes del mundo. Tu experiencia en el sector de la salud ayuda directamente a mejorar los principales modelos de IA del mundo haciendo que sus respuestas sean más precisas, clínicamente adecuadas, rigurosas y confiables.

Responsabilidades

• Crear preguntas clínicas expertas: desarrollar preguntas especializadas capaces de exponer limitaciones en sistemas avanzados de inteligencia artificial.
• Diseñar rúbricas detalladas: definir los componentes requeridos para una respuesta precisa, completa y clínicamente adecuada.
• Identificar criterios críticos: distinguir el razonamiento clínico esencial de la información complementaria.
• Evaluar respuestas de IA: valorar las salidas del modelo en cuanto a precisión factual, razonamiento, seguridad, integridad y calidad profesional.
• Identificar fallas sutiles: detectar consideraciones faltantes, suposiciones sin fundamento, seguridad inapropiada y omisiones clínicamente importantes.
• Criticar rúbricas de colegas: identificar ambigüedad, redundancia, expectativas incorrectas, criterios faltantes o un diseño de puntuación deficiente.
• Desarrollar respuestas de referencia: producir ejemplos expertos, explicaciones, críticas y contenido de referencia ideal.
• Apoyar el entrenamiento de IA: generar pares de preguntas, rúbricas, evaluaciones, críticas y respuestas de referencia para flujos de trabajo de RL y SFT.
• Mantener la calidad clínica: asegurar que el contenido refleje la terminología adecuada, el razonamiento profesional y un juicio consciente de la evidencia.

Requisitos

• Título profesional, licencia, credencial o cualificación reconocida en medicina, odontología, farmacia, enfermería u otra disciplina sanitaria.
• Sólida competencia profesional en inglés, mínimo C1.
• Más de 3 años de experiencia profesional o clínica; se prefiere firmemente a profesionales de nivel sénior y especialistas.
• Experiencia demostrada en una especialidad o subespecialidad claramente definida.
• Capacidad para desarrollar preguntas clínicas o profesionales desafiantes que requieran verdadera experiencia y juicio matizado.
• Gran capacidad para redactar rúbricas de evaluación detalladas que definan los hechos requeridos, los pasos de razonamiento, las advertencias, las alternativas aceptables y los errores clínicos críticos.
• Capacidad para distinguir entre omisiones menores y errores que afecten materialmente la calidad clínica o la seguridad.
• Comodidad al revisar y criticar rúbricas creadas por otros profesionales de la salud.
• Capacidad para evaluar las salidas de la IA en cuanto a precisión, integridad, calidad del razonamiento, seguridad, calibración y relevancia clínica.
• Se prefiere firmemente la experiencia en educación médica, redacción de exámenes, evaluación de competencias, guías clínicas, enseñanza, revisión por pares o garantía de calidad.
• Se prefiere experiencia previa en evaluación de IA, RLHF, SFT, anotación de datos, evaluación comparativa de modelos o puntuación basada en rúbricas.
• Confiable, autónomo y capaz de producir trabajo escrito coherente.