Líder del equipo de científicos de datos

En este rol de contratista remoto por horas, trabajarás como Líder de Control de Calidad de Ciencia de Datos (QAL) para supervisar la calidad, la consistencia y el rendimiento de los capacitadores en proyectos de entrenamiento de IA en ciencia de datos. Revisarás contenido de ciencia de datos generado por IA y el trabajo de capacitadores/QA, evaluarás la calidad de los resultados frente a las directrices del proyecto, proporcionarás comentarios escritos precisos y asegurarás que los colaboradores sigan los estándares de calidad esperados.

Evaluarás el trabajo en cuanto a precisión estadística, razonamiento de datos, calidad de selección de modelos, corrección de código, reproducibilidad, interpretación de métricas, conciencia del contexto empresarial, claridad, formato, cumplimiento de instrucciones y adhesión a las rúbricas específicas del proyecto. Detectarás problemas recurrentes de calidad, comunicarás actualizaciones a capacitadores y QA, apoyarás la incorporación, mantendrás la documentación y ayudarás a activar a los colaboradores que no estén trabajando de manera consistente.

Este puesto es en SME Careers, una empresa de servicios de datos de IA de rápido crecimiento y filial de SuperAnnotate, que suministra datos de entrenamiento para muchas de las mayores empresas de IA y laboratorios de modelos base del mundo. Tu liderazgo en la calidad de la ciencia de datos ayudará a garantizar que los datos de entrenamiento sean analíticamente sólidos, reproducibles, claramente explicados y estén alineados con las expectativas del cliente.

El proceso de selección consta de una entrevista de IA, una tarea específica del dominio y una entrevista con un reclutador.

Importante:
No hay un proyecto inmediato para este rol; sin embargo, si estás cualificado, estarás entre los primeros expertos a los que contactaremos cuando surjan oportunidades relevantes. Esto también te proporcionará acceso a futuros proyectos disponibles a través de nuestra red de expertos.

Responsabilidades

• Monitoreo de calidad: Comprueba elementos de ciencia de datos de forma aleatoria, identifica problemas de calidad, proporciona comentarios a través de mensajes directos y escala problemas recurrentes o críticos.
• Revisión técnica: Evalúa explicaciones de ciencia de datos generadas por IA, fragmentos de Python/R/SQL, flujos de trabajo de modelado, interpretaciones estadísticas, paneles, diseños de experimentos y razonamiento paso a paso.
• Comunicación con capacitadores y QA: Actualiza a los capacitadores/QA en Discord sobre cambios en las directrices, actualizaciones de flujos de trabajo y expectativas de calidad específicas de la ciencia de datos.
• Manejo de preguntas: Responde preguntas sobre suposiciones estadísticas, métricas, selección de modelos, pérdida de datos, validación, elecciones de código, reproducibilidad e interpretación de rúbricas.
• Gestión de activación de capacitadores/QA: Envía mensajes directos a colaboradores inactivos, fomenta la activación, realiza un seguimiento de las comunicaciones y señala problemas de disponibilidad.
• Documentación: Crea y mantiene guías de estilo de ciencia de datos, rastreadores, preguntas frecuentes, ejemplos, trampas (honeypots), tareas de calibración y materiales de incorporación.
• Incorporación y formación: Programa y dirige llamadas de incorporación y formación con los colaboradores para explicar las expectativas del proyecto, los flujos de trabajo, las rúbricas y los estándares de revisión de ciencia de datos.
• Revisión de riesgos: Señala resultados de ciencia de datos engañosos, excesivamente seguros, estadísticamente inválidos o no reproducibles.
• Mejora de procesos: Identifica brechas de calidad recurrentes y ayuda a construir procesos de QA escalables.

Requisitos

• Título de grado, máster o doctorado en Ciencia de Datos, Estadística, Informática, Aprendizaje Automático (Machine Learning), Matemáticas, Economía, Ingeniería o un campo cuantitativo estrechamente relacionado.
• Sólida comprensión del inglés para seguir directrices, comunicarse con los equipos y proporcionar comentarios técnicos claros.
• Más de 3 años de experiencia profesional en ciencia de datos, análisis, aprendizaje automático, modelado estadístico, experimentación, ingeniería de datos, revisión técnica o educación en ciencia de datos.
• Sólida comprensión de estadística, probabilidad, limpieza de datos, análisis exploratorio de datos, ingeniería de características, aprendizaje supervisado/no supervisado, evaluación de modelos, experimentación, regresión, clasificación, agrupamiento y métodos de validación.
• Capacidad para evaluar contenido de ciencia de datos frente a rúbricas detalladas e identificar problemas como pérdida de datos, suposiciones erróneas, métricas incorrectas, metodología débil, código no reproducible, bibliotecas/API alucinadas o conclusiones engañosas.
• Se prefiere la familiaridad con herramientas como Python, pandas, NumPy, scikit-learn, SQL, Jupyter, matplotlib, R, Spark, Git, MLflow, cuadernos (notebooks), paneles y plataformas en la nube o de datos.
• Se prefiere firmemente la experiencia liderando o apoyando equipos remotos de capacitadores, anotadores, analistas, científicos de datos, ingenieros, educadores o QA.
• Comodidad utilizando Discord, Google Sheets, Google Docs, rastreadores, paneles, GitHub y sistemas de gestión de proyectos.
• Altamente organizado y capaz de mantener guías de estilo, rastreadores, preguntas frecuentes, materiales de incorporación, trampas, tareas de calibración y documentación de calidad.
• La experiencia con entrenamiento de IA, anotación de datos, evaluación de LLM, control de calidad en ciencia de datos o revisión técnica basada en rúbricas es una gran ventaja.