Especialista en Legal y Cumplimiento, Diseño de Rúbricas

En este rol de contratista remoto por horas, trabajarás como experto en la materia (SME) de Derecho y Cumplimiento Normativo para crear preguntas profesionales desafiantes, evaluar contenido jurídico y normativo generado por IA, y diseñar rúbricas de alta calidad que definan lo que debe contener una respuesta completa, bien fundamentada y profesionalmente apropiada.

Desarrollarás tareas que implican análisis jurídico, interpretación normativa, cumplimiento, identificación de problemas, evaluación de riesgos, interpretación de políticas, contratos, privacidad, regulación financiera, asuntos laborales, cumplimiento corporativo o campos relacionados, según tu especialización.

Evaluarás si las respuestas generadas por la IA identifican problemas relevantes, aplican normas o estándares adecuados, reconocen excepciones, distinguen los hechos de las suposiciones, abordan los riesgos pertinentes y evitan conclusiones sin fundamento.

Un componente principal de este rol es la redacción de rúbricas y el diseño de evaluaciones. Traducirás un criterio jurídico o normativo matizado en criterios estructurados que cubran la identificación de problemas, los estándares aplicables, la calidad del análisis, la exhaustividad, las excepciones, las consideraciones jurisdiccionales, el riesgo y el razonamiento profesional.

Este rol es en SME Careers, una empresa de servicios de datos de IA de rápido crecimiento y filial de SuperAnnotate, que ofrece datos de entrenamiento para muchas de las mayores empresas de IA y laboratorios de modelos fundamentales del mundo. Tu experiencia ayuda directamente a mejorar los principales modelos de IA del mundo haciendo que sus resultados legales y de cumplimiento sean más precisos, rigurosos y profesionalmente confiables.

Responsabilidades

• Crear tareas de derecho y cumplimiento: Desarrollar escenarios realistas y difíciles que requieran análisis experto y juicio profesional.
• Diseñar rúbricas detalladas: Definir problemas relevantes, normas, estándares, pasos analíticos, excepciones, riesgos y errores críticos.
• Evaluar el análisis generado por la IA: Evaluar las respuestas en cuanto a precisión, exhaustividad, calidad de razonamiento, relevancia y rigor profesional.
• Revisar la identificación de problemas: Determinar si el modelo identifica las consideraciones jurídicas o normativas materiales.
• Evaluar la calidad del razonamiento: Identificar conclusiones sin fundamento, aplicación incorrecta de normas, excepciones faltantes y suposiciones erróneas.
• Criticar las rúbricas de pares: Revisar las rúbricas para detectar problemas faltantes, ambigüedad, redundancia, excesiva subjetividad o expectativas jurídicas inexactas.
• Desarrollar contenido de referencia: Crear análisis de alta calidad, marcos de respuestas, críticas y ejemplos de referencia ideales.
• Apoyar el entrenamiento de la IA: Producción de preguntas, rúbricas, evaluaciones, datos de preferencia y pares de respuestas de referencia para flujos de trabajo de RL y SFT.
• Mantener la calidad profesional: Garantizar que el contenido distinga adecuadamente el análisis fáctico, la interpretación jurídica, el juicio profesional y la incertidumbre.

Requisitos

• JD, LLB, LLM, título en derecho, cualificación en cumplimiento normativo o antecedentes profesionales equivalentes relevantes para la especialidad indicada.
• Se prefiere firmemente una cualificación jurídica profesional o colegiación para los roles centrados en abogados.
• Gran dominio profesional del inglés, mínimo C1.
• Más de 3 años de experiencia profesional en derecho, cumplimiento normativo, investigación jurídica, políticas, riesgos, privacidad, cumplimiento financiero, contratos o un campo relacionado.
• Experiencia demostrada en un área jurídica, normativa o de cumplimiento claramente definida.
• Capacidad para crear escenarios profesionales desafiantes que requieran identificación de problemas, interpretación, análisis y juicio.
• Gran capacidad para diseñar rúbricas que definan los problemas requeridos, los estándares aplicables, los pasos de razonamiento, las excepciones relevantes, los riesgos y las omisiones críticas.
• Capacidad para distinguir entre interpretaciones jurídicas alternativas legítimas y análisis objetivamente deficientes.
• Comodidad para revisar y criticar rúbricas desarrolladas por otros expertos legales o de cumplimiento.
• Gran atención al detalle al evaluar la terminología, las suposiciones fácticas, la jurisdicción, la autoridad, las excepciones, la materialidad y las conclusiones.
• Se prefiere firmemente la experiencia en educación jurídica, redacción de exámenes, revisión por pares, edición jurídica, control de calidad, redacción de políticas, pruebas de cumplimiento o revisión de supervisión.
• Se prefiere la experiencia previa con evaluación de IA, IA jurídica, anotación de datos, RLHF, evaluación comparativa de modelos o puntuación basada en rúbricas.