Líder de Garantía de Calidad Legal (QAL)

En este puesto de contratista remoto por horas, trabajarás como Líder de Control de Calidad Legal (QAL) para supervisar la calidad, la consistencia y el rendimiento de los formadores en proyectos de entrenamiento de IA legal. Revisarás contenido legal generado por IA y el trabajo de los formadores/QA, evaluarás la calidad de los resultados frente a las directrices del proyecto, proporcionarás comentarios escritos precisos y te asegurarás de que todos los colaboradores sigan los estándares de calidad esperados.

Evaluarás el trabajo en cuanto a la calidad del razonamiento jurídico, la detección de problemas, la conciencia jurisdiccional, el manejo de citas y fuentes, la claridad, la conciencia de riesgos, el formato, el cumplimiento de instrucciones y la adherencia a rúbricas específicas del proyecto. Detectarás problemas recurrentes de calidad, comunicarás actualizaciones a los formadores y analistas de QA, apoyarás la incorporación, mantendrás la documentación y ayudarás a activar a los colaboradores que no estén trabajando de manera consistente. Este puesto requiere sólidos conocimientos jurídicos, excelentes habilidades de comunicación en inglés, gran atención al detalle, comunicación estructurada y la capacidad de gestionar flujos de trabajo de calidad en equipos remotos de revisión legal.

Este puesto es en SME Careers, una empresa de servicios de datos de IA en rápido crecimiento y filial de SuperAnnotate, que proporciona datos de entrenamiento para muchas de las mayores empresas de IA y laboratorios de modelos base del mundo. Tu liderazgo en calidad legal ayudará directamente a mejorar los principales modelos de IA del mundo, garantizando que los datos de entrenamiento legal sean precisos, estén bien razonados, explicados con claridad, sean adecuadamente cautelosos, estén bien documentados y se alineen con las expectativas de los clientes.

El proceso de selección incluye una entrevista de IA, una tarea específica del dominio y una entrevista con un reclutador.

Importante:
No hay un proyecto inmediato para este puesto; sin embargo, si reúnes los requisitos, estarás entre los primeros expertos a los que contactaremos cuando surjan oportunidades relevantes. Esto también te dará acceso a futuros proyectos disponibles a través de nuestra red de expertos.

Responsabilidades

• Monitoreo de calidad: Realizar controles puntuales de elementos legales, identificar problemas de calidad, proporcionar comentarios continuos a través de mensajes directos y escalar problemas recurrentes o críticos.
• Revisión legal: Evaluar explicaciones legales generadas por IA, respuestas de investigación jurídica, análisis de contratos, interpretaciones de políticas, resúmenes de casos, orientaciones de cumplimiento y flujos de trabajo de detección de problemas en busca de precisión, claridad y cautela adecuada.
• Comunicación con formadores y QA: Actualizar a los formadores y analistas de QA en Discord sobre nuevas directrices de elementos, cambios en el proyecto, actualizaciones de flujos de trabajo, expectativas de calidad y estándares específicos de revisión legal.
• Manejo de preguntas: Responder a las preguntas de los formadores/QA con claridad y prontitud, especialmente en torno al razonamiento jurídico, la jurisdicción, las citas, la calidad de las fuentes, las exenciones de responsabilidad, el lenguaje contractual, la interpretación del cumplimiento y la aplicación de rúbricas.
• Gestión de la activación de formadores/QA: Enviar mensajes directos a los colaboradores que estén inactivos o no trabajen, fomentar la activación, realizar un seguimiento y señalar problemas de disponibilidad cuando sea necesario.
• Documentación: Crear y mantener la documentación de proyectos legales, incluyendo guías de estilo, herramientas de seguimiento, preguntas frecuentes, notas de calidad, ejemplos, honeypots, tareas de calibración y materiales de incorporación.
• Incorporación y formación: Programar y dirigir llamadas de incorporación y formación con formadores y QA para explicar las expectativas del proyecto, flujos de trabajo, rúbricas, estándares de calidad y requisitos de revisión específicos del ámbito legal.
• Alineación de calidad: Asegurar que todos los formadores y analistas de QA apliquen las directrices de revisión legal de manera consistente y comprendan las actualizaciones a medida que los proyectos evolucionan.
• Revisión de riesgos y seguridad: Señalar resultados legales inseguros, engañosos, excesivamente confiados o inapropiados a nivel jurisdiccional, especialmente cuando el contenido pueda interpretarse como asesoramiento legal personalizado.
• Mejora de procesos: Identificar deficiencias de calidad recurrentes, proponer mejoras en los flujos de trabajo y ayudar a construir procesos de QA escalables para proyectos de entrenamiento de IA legal.

Requisitos

• Título de Grado, JD, LLB, LLM o titulación equivalente en Derecho, Estudios Jurídicos, Estudios de Paralegal, Cumplimiento, Políticas Públicas o un campo estrechamente relacionado.
• Sólido dominio del idioma inglés para seguir las directrices del proyecto, comunicarse con los equipos y proporcionar comentarios claros de revisión legal en inglés.
• Más de 3 años de experiencia profesional en práctica jurídica, investigación jurídica, revisión de contratos, cumplimiento, análisis regulatorio, trabajo de paralegal, operaciones legales, redacción jurídica, educación jurídica o flujos de trabajo relacionados.
• Sólida comprensión de conceptos jurídicos fundamentales como el razonamiento jurídico, la detección de problemas, la interpretación de contratos, la investigación jurídica, la interpretación estatutaria, el análisis de casos, el cumplimiento, la evaluación de riesgos y los estándares de redacción jurídica.
• Capacidad para evaluar contenido legal frente a rúbricas detalladas e identificar problemas como conclusiones sin fundamento, citas alucinadas, desajuste jurisdiccional, asesoramiento legal excesivamente confiado, advertencias faltantes, estándares legales incorrectos, razonamiento incompleto o explicaciones poco claras.
• Se prefiere la familiaridad con flujos de trabajo legales comunes o herramientas como revisión de contratos, memorandos legales, resúmenes de casos, orientación regulatoria, verificación de citas, bases de datos jurídicas, revisión de documentos, listas de verificación de cumplimiento o análisis de políticas.
• Se valora muy positivamente la experiencia liderando o apoyando equipos remotos de formadores, anotadores, revisores, abogados, paralegales, redactores legales, investigadores o analistas de QA.
• Comodidad trabajando en entornos remotos de ritmo rápido utilizando herramientas como Discord, Google Sheets, Google Docs, rastreadores, paneles y sistemas de gestión de proyectos.
• Altamente orientado a los detalles y organizado, con capacidad para mantener guías de estilo, preguntas frecuentes, herramientas de seguimiento, materiales de incorporación, honeypots, tareas de calibración y otra documentación de calidad.
• La experiencia con entrenamiento de IA, anotación de datos, modelos de lenguaje grandes, evaluación de avisos/respuestas, control de calidad de contenido legal o evaluación de LLM basada en rúbricas es una gran ventaja.