Líder de Equipo Python (Enfoque en ML)

En este puesto de contratista remoto por horas, trabajarás como Líder de Control de Calidad (QAL) de Python (enfocado en ML) para supervisar la calidad, la consistencia y el desempeño de los entrenadores en proyectos de entrenamiento de IA de aprendizaje automático en Python. Revisarás código Python generado por IA, flujos de trabajo de ML, explicaciones de modelos y el trabajo de entrenadores/QA; evaluarás la calidad de los resultados frente a las directrices del proyecto; proporcionarás retroalimentación escrita precisa; y asegurarás que los colaboradores sigan los estándares de calidad esperados.

Evaluarás el trabajo en cuanto a corrección de código, metodología de aprendizaje automático, validez estadística, reproducibilidad, calidad de evaluación de modelos, riesgos de fuga de datos, uso de paquetes, precisión en la depuración, legibilidad, mantenibilidad, formato, cumplimiento de instrucciones y adhesión a rúbricas específicas del proyecto. Este rol requiere sólidas habilidades en Python y ML, destrezas de comunicación en inglés, excelente atención al detalle y la capacidad de gestionar flujos de trabajo de calidad en equipos técnicos remotos.

Este rol es en SME Careers, una empresa de servicios de datos de IA de rápido crecimiento y filial de SuperAnnotate, que proporciona datos de entrenamiento para muchas de las empresas de IA y laboratorios de modelos base más grandes del mundo. Tu liderazgo en calidad de Python y ML ayudará a garantizar que los datos de entrenamiento sean precisos, ejecutables, estadísticamente sólidos, reproducibles, explicados con claridad y alineados con las expectativas del cliente.

El proceso de selección consta de una entrevista de IA, una tarea específica del dominio y una entrevista con un reclutador.

Importante:
No hay un proyecto inmediato para este rol; sin embargo, si estás cualificado, estarás entre los primeros expertos a los que contactaremos cuando surjan oportunidades relevantes. Esto también te brindará acceso a futuros proyectos disponibles a través de nuestra red de expertos.

Responsabilidades

• Monitoreo de calidad: Realizar verificaciones puntuales de elementos de Python y ML, identificar problemas de calidad, proporcionar retroalimentación a través de mensajes directos y escalar problemas recurrentes o críticos.
• Revisión de código y ML: Evaluar código Python generado por IA, pipelines de ML, pasos de preprocesamiento de datos, flujos de trabajo de entrenamiento de modelos, lógica de evaluación, respuestas de depuración y explicaciones en cuanto a corrección y reproducibilidad.
• Comunicación con entrenadores y QA: Actualizar a los colaboradores en Discord sobre cambios en las directrices, actualizaciones de flujos de trabajo y estándares de revisión específicos de Python/ML.
• Gestión de preguntas: Responder preguntas sobre sintaxis de Python, uso de paquetes, fuga de datos, validación de modelos, métricas, supuestos estadísticos, reproducibilidad, notebooks e interpretación de rúbricas.
• Gestión de activación de entrenadores/QA: Enviar mensajes directos a colaboradores inactivos, fomentar la activación, realizar seguimiento y señalar problemas de disponibilidad.
• Documentación: Crear y mantener guías de estilo de Python y ML, herramientas de seguimiento, preguntas frecuentes (FAQs), ejemplos, honeypots, tareas de calibración y materiales de incorporación.
• Incorporación y entrenamiento: Dirigir llamadas de incorporación y entrenamiento para colaboradores de Python y ML.
• Revisión de riesgos: Señalar recomendaciones de Python y ML engañosas, demasiado confiadas, estadísticamente no válidas, no reproducibles, inseguras o no listas para producción.
• Mejora de procesos: Identificar brechas de calidad recurrentes y construir procesos de QA escalables.

Requisitos

• Título de grado, maestría o doctorado en Ciencias de la Computación, Aprendizaje Automático, Ciencia de Datos, Estadística, Matemáticas, Ingeniería o un campo cuantitativo estrechamente relacionado.
• Sólido dominio del inglés para seguir directrices, comunicarse con los equipos y proporcionar retroalimentación técnica clara.
• Más de 3 años de experiencia profesional en desarrollo en Python, aprendizaje automático, ciencia de datos, ingeniería de ML, evaluación de modelos, ingeniería de investigación, revisión técnica o educación en ML.
• Sólida comprensión de los fundamentos de Python, como estructuras de datos, funciones, clases, iteradores, comprensiones, manejo de excepciones, entornos virtuales, gestión de paquetes, pruebas y depuración.
• Sólida comprensión de temas de ML como aprendizaje supervisado/no supervisado, ingeniería de características, divisiones de entrenamiento/prueba, validación cruzada, selección de modelos, fuga de datos, regresión, clasificación, agrupamiento, métricas, sesgo/varianza, regularización y reproducibilidad.
• Capacidad para evaluar contenido de ML frente a rúbricas detalladas e identificar problemas como metodología defectuosa, métricas incorrectas, fuga de datos, código no reproducible, supuestos no válidos, APIs alucinadas, conclusiones engañosas o explicaciones incompletas.
• Se prefiere familiaridad con NumPy, pandas, scikit-learn, PyTorch, TensorFlow/Keras, XGBoost/LightGBM, Jupyter, matplotlib, seaborn, MLflow, Hugging Face, SQL, GitHub, Docker y CI/CD.
• Se prefiere firmemente la experiencia liderando o apoyando equipos remotos de entrenadores, anotadores, revisores, ingenieros, científicos de datos, investigadores de ML, mentores de código o QAs.
• Comodidad trabajando en entornos remotos de ritmo rápido utilizando Discord, Google Sheets, Google Docs, herramientas de seguimiento, paneles, GitHub y sistemas de gestión de proyectos.
• Altamente organizado y capaz de mantener guías de estilo, herramientas de seguimiento, preguntas frecuentes, materiales de incorporación, honeypots, tareas de calibración y documentación de calidad.
• La experiencia previa en entrenamiento de IA, anotación de datos, evaluación de LLMs, QA de código, QA de ML o revisión técnica basada en rúbricas es una gran ventaja.