Entrenador Senior de IA

Título del puesto: Senior AI Trainer

Tipo de puesto: Contratista, Remoto

Ubicación: América del Norte y Alemania.

micro1 está contratando a Senior AI Trainers para colaborar en un proyecto impulsado por clientes que mejora la calidad de los sistemas de AI mediante entrenamiento y evaluación de modelos de nivel experto. En este rol, aplicarás tu experiencia generalista y práctica con productos de AI para ayudar a entrenar sistemas de AI de próxima generación. Tu trabajo moldeará cómo los modelos aprenden, razonan y se desempeñan a través de entradas del mundo real de alta calidad.

Responsabilidades clave:

• Evaluar el rendimiento de las herramientas de chat y búsqueda de AI bajo condiciones estandarizadas y repetibles.
• Aplicar pautas de calificación detalladas para evaluar, clasificar y anotar con precisión las respuestas de los modelos, proporcionando comentarios estructurados que mejoren el rendimiento del modelo.
• Escribir, refinar y probar la resistencia de prompts que exploran las capacidades de los modelos, asegurando la cobertura de diversos escenarios, casos límite e intenciones de los usuarios.
• Verificar la consistencia y precisión en todas las evaluaciones, corrigiendo discrepancias entre las calificaciones y la rúbrica o pautas subyacentes.
• Utilizar herramientas y plataformas de entrenamiento de AI para registrar hallazgos y enviar conjuntos de datos de evaluación en alineación con los estándares e hitos del proyecto.
• Colaborar con entrenadores y colaboradores del proyecto para resolver ambigüedades, refinar pautas y garantizar la consistencia de la evaluación en todo el equipo.
• Participar en revisiones de calidad continuas, incorporando comentarios para mantener estándares rigurosos de entrenamiento y anotación.

Habilidades y cualificaciones requeridas:

• Atención excepcional al detalle y precisión en la revisión y evaluación de contenido generado por AI.
• Fuertes habilidades de comunicación escrita y verbal para una colaboración efectiva, informes y actualizaciones oportunas sobre el progreso y los desafíos.
• Habilidades demostradas de gestión del tiempo y autoorganización para la participación independiente y remota en el proyecto.
• Mentalidad analítica y de resolución de problemas, con un enfoque proactivo para resolver los desafíos de evaluación.

Cualificaciones preferidas:

• Experiencia comprobada en entrenamiento de modelos de AI, RLHF, etiquetado de datos o proyectos de evaluación similares centrados en datos.
• Familiaridad con productos y herramientas de AI, incluyendo la ingeniería de prompts y la comprensión de los comportamientos y limitaciones de los modelos.
• Experiencia escribiendo rúbricas de evaluación, calificando resultados de modelos o revisando respuestas de AI en busca de precisión, utilidad y seguridad.
• Antecedentes en entrenamiento de AI, preparación de datos de machine learning o proyectos centrados en LLM (altamente preferido).