MLE Bench, Analista de datos

Acerca de Turing

Con sede en San Francisco, California, Turing es el acelerador de investigación líder en el mundo para laboratorios de IA de vanguardia y un socio de confianza para empresas globales que implementan sistemas de IA avanzados. Turing apoya a los clientes de dos maneras: primero, acelerando la investigación de vanguardia con datos de alta calidad, canales de entrenamiento avanzados e investigadores de expertos en IA especializados en programación, razonamiento, STEM, multilingüismo, multimodalidad y agentes; y segundo, aplicando esa experiencia para ayudar a las empresas a transformar la IA de una prueba de concepto en inteligencia propietaria con sistemas que funcionen de manera confiable, ofrezcan un impacto medible e impulsen resultados duraderos en la cuenta de resultados.

Resumen del rol

Buscamos Data Analysts (MLE Bench) con experiencia para contribuir a proyectos de evaluación basados en benchmarks centrados en sistemas de aprendizaje automático del mundo real. Este rol implica trabajo analítico práctico con conjuntos de datos similares a los de producción, métricas y resultados de ML para ayudar a evaluar, diagnosticar y mejorar el rendimiento de sistemas de IA avanzados.

El candidato ideal se siente cómodo trabajando en la intersección del análisis de datos y el aprendizaje automático, cuenta con un fuerte rigor analítico y la capacidad de trabajar con conjuntos de datos reales y flujos de trabajo de evaluación de ML.

¿Cómo es el día a día?

• Analizar conjuntos de datos estructurados y no estructurados generados a partir de canales de entrenamiento, inferencia y evaluación de ML.
• Definir, calcular y validar métricas utilizadas para evaluar el rendimiento y el comportamiento del modelo.
• Investigar distribuciones de datos, resultados de modelos, modos de fallo y casos límite relevantes para las tareas de los benchmarks.
• Escribir y ejecutar código en Python y SQL para analizar datos, crear informes y respaldar flujos de trabajo de evaluación.
• Validar la calidad, la consistencia y la corrección de los datos en conjuntos de datos y experimentos.
• Crear artefactos analíticos claros y bien documentados, así como flujos de trabajo de análisis reproducibles.
• Colaborar con ingenieros e investigadores de ML para diseñar escenarios de evaluación desafiantes y del mundo real para MLE Bench.

Requisitos

• Mínimo de más de 3 años de experiencia como Data Analyst o ingeniero enfocado en analítica.
• Sólida competencia en Python para análisis de datos.
• Sólida experiencia con SQL y conjuntos de datos relacionales.
• Experiencia analizando resultados de ML y métricas de evaluación.
• Fuerte comprensión de la estadística y el razonamiento analítico.
• Capacidad para trabajar con conjuntos de datos grandes y complejos y extraer información confiable.
• Experiencia escribiendo código analítico limpio, legible y bien documentado.
• Excelentes habilidades de comunicación en inglés, tanto hablado como escrito.

Ventajas de trabajar como freelance con Turing

• Trabaja en un entorno totalmente remoto.
• Oportunidad de trabajar en proyectos de IA de vanguardia con empresas líderes de LLM.

Detalles de la oferta

• Compromisos requeridos: Al menos 4 horas por día y un mínimo de 20 horas por semana con una coincidencia de 4 horas con PST.
• Tipo de contratación: Asignación como contratista (sin seguro médico ni baja pagada)
• Duración del contrato: 3 meses (ajustable según el compromiso)
• Ubicación: India, Pakistán, Nigeria, Kenia, Egipto, Ghana, Bangladés, Turquía, Brasil, México

Proceso de evaluación

• Entrevista técnica con desafío de programación en vivo (60 minutos)