Líder de Control de Calidad de Red Teaming (QAL)

En este rol de contratista remoto por horas, trabajarás como Líder de Control de Calidad de Red-Teaming (QAL) para supervisar la calidad, la consistencia y el rendimiento de los formadores en proyectos de red-teaming de IA y evaluación de seguridad. Revisarás evaluaciones de seguridad generadas por IA, peticiones (prompts) adversariales, análisis de riesgos y el trabajo de los formadores y analistas de calidad; evaluarás la calidad de los resultados según las directrices del proyecto; proporcionarás comentarios escritos precisos; y te asegurarás de que todos los colaboradores sigan los estándares de calidad esperados.

Evaluarás el trabajo en cuanto a identificación de riesgos, razonamiento adversarial, conocimiento de políticas, alineación con la taxonomía de seguridad, calidad de los prompts, realismo de los escenarios, cobertura de vulnerabilidades, claridad, formato, seguimiento de instrucciones y cumplimiento de rúbricas específicas del proyecto. Detectarás problemas recurrentes de calidad, comunicarás actualizaciones a formadores y analistas de calidad, apoyarás la incorporación (onboarding), mantendrás la documentación y ayudarás a activar a los colaboradores que no estén trabajando de manera consistente. Este rol requiere un sólido criterio en seguridad de IA y red-teaming, excelentes habilidades de comunicación en inglés, gran atención al detalle, comunicación estructurada y la capacidad de gestionar flujos de trabajo de calidad en equipos remotos de expertos.

Este puesto es en SME Careers, una empresa de servicios de datos de IA de rápido crecimiento y filial de SuperAnnotate, que proporciona datos de entrenamiento para muchas de las mayores empresas de IA y laboratorios de modelos fundamentales del mundo. Tu liderazgo en la calidad del red-teaming ayudará directamente a mejorar los principales modelos de IA del mundo, asegurando que los datos de entrenamiento de seguridad sean realistas, matizados, alineados con las políticas, bien documentados y útiles para identificar vulnerabilidades en los modelos.

El proceso de selección incluye una entrevista con IA, una tarea específica del dominio y una entrevista con un reclutamiento.

Importante:
No hay ningún proyecto inmediato para este rol; sin embargo, si califícas, estarás entre los primeros expertos a los que contactaremos cuando surjan oportunidades relevantes. Esto también te dará acceso a futuros proyectos disponibles a través de nuestra red de expertos.

Responsabilidades

• Monitoreo de calidad: Revisa aleatoriamente elementos de red-teaming, identifica problemas de calidad, proporciona retroalimentación continua a través de mensajes directos y escala problemas recurrentes o críticos.
• Revisión de seguridad y red-teaming: Evalúa prompts adversariales, respuestas de modelos, clasificaciones de riesgo, análisis de seguridad, explicaciones de políticas e informes de vulnerabilidad en busca de precisión, realismo y utilidad.
• Comunicación con formadores y analistas de calidad: Actualiza a los formadores y analistas en Discord sobre nuevas directrices de elementos, cambios en el proyecto, actualizaciones del flujo de trabajo, expectativas de calidad y estándares de revisión específicos de red-teaming.
• Manejo de preguntas: Responde a las preguntas de formadores y analistas de calidad de forma clara y rápida, especialmente en torno a categorías de riesgo, estrategia adversarial, límites de políticas, casos límite, gravedad e interpretación de rúbricas.
• Gestión de activación de formadores/analistas: Envía mensajes directos a los colaboradores inactivos o que no trabajan, fomenta la activación, realiza un seguimiento y señala problemas de disponibilidad cuando sea necesario.
• Documentación: Crea y mantén la documentación de los proyectos de red-teaming, incluyendo guías de estilo, herramientas de seguimiento, preguntas frecuentes (FAQs), notas de calidad, ejemplos, honeypots, tareas de calibración y materiales de incorporación.
• Incorporación y formación: Programa y dirige llamadas de incorporación y formación con formadores y analistas para explicar las expectativas del proyecto, los flujos de trabajo, las rúbricas, los estándares de calidad y los requisitos de revisión específicos de red-teaming.
• Alineación de calidad: Asegúrate de que todos los formadores y analistas apliquen las directrices de red-teaming y revisión de seguridad de manera consistente y comprendan las actualizaciones a medida que los proyectos evolucionan.
• Revisión de riesgos: Señala elementos de red-teaming inseguros, de baja calidad, poco realistas, inconsistentes con las políticas o insuficientemente documentados.
• Mejora de procesos: Identifica brechas de calidad recurrentes, propone mejoras en el flujo de trabajo y ayuda a construir procesos escalables de control de calidad para proyectos de red-teaming de IA.

Requisitos

• Licenciatura, maestría o experiencia profesional en informática, ciberseguridad, seguridad de IA, confianza y seguridad (Trust & Safety), políticas públicas, psicología, lingüística, derecho, estudios de seguridad, análisis de riesgos o un campo relacionado.
• Sólido dominio del idioma inglés para seguir las pautas del proyecto, comunicarse con los equipos y proporcionar comentarios escritos claros.
• Más de 3 años de experiencia en seguridad de IA, red-teaming, ciberseguridad, confianza y seguridad, políticas de contenido, análisis de riesgos, pruebas adversariales, evaluación de modelos, moderación de contenido o flujos de trabajo relacionados.
• Sólida comprensión de las categorías de riesgo de IA, prompts adversariales, patrones de jailbreak, taxonomías de contenido dañino, escenarios de uso indebido, interpretación de políticas, comportamiento de modelos y principios de evaluación de seguridad.
• Capacidad para evaluar contenido de red-teaming frente a rúbricas detalladas e identificar problemas como diseño adversarial débil, escenarios poco realistas, mala categorización de riesgos, mala interpretación de políticas, resultados inseguros o pruebas de vulnerabilidad superficiales.
• Se prefiere familiaridad con áreas como inyección de prompts, ingeniería social, abuso de ciberseguridad, fraude, seguridad contra autolesiones, contenido extremista, desinformación, riesgo de privacidad, comportamiento ilícito, sesgo y comportamiento de negativa del modelo.
• Se prefiere firmemente la experiencia liderando o apoyando a equipos remotos de expertos en red-teaming, revisores, analistas de políticas, anotadores, investigadores o analistas de calidad.
• Comodidad trabajando en entornos remotos de ritmo rápido utilizando herramientas como Discord, Google Sheets, Google Docs, sistemas de seguimiento, paneles y sistemas de gestión de proyectos.
• Altamente detallista y organizado, con la capacidad de mantener guías de estilo, preguntas frecuentes, herramientas de seguimiento, materiales de incorporación, tareas de calibración y documentación.
• La experiencia con entrenamiento de IA, evaluación de LLM, evaluaciones de seguridad, control de calidad de moderación de contenido, control de calidad de políticas o revisión basada en rúbricas es una gran ventaja.