Analista de Calidad de IA - Inglés

Acerca de Turing:
Con sede en San Francisco, California, Turing es el principal acelerador de investigación del mundo para laboratorios de IA de vanguardia y un socio de confianza para empresas globales que implementan sistemas de IA avanzados. Turing apoya a los clientes de dos maneras: primero, acelerando la investigación de vanguardia con datos de alta calidad, canales de entrenamiento avanzados y los mejores investigadores de IA especializados en programación, razonamiento, STEM, multilingüismo, multimodalidad y agentes; y segundo, aplicando esa experiencia para ayudar a las empresas a transformar la IA de una prueba de concepto en inteligencia propietaria con sistemas que funcionen de manera fiable, generen un impacto medible e impulsen resultados duraderos en la cuenta de resultados.

Descripción del puesto:

Como Analista de Calidad de IA, evaluarás una nueva función de personalización para Gemini. Evaluarás qué tan bien utiliza el modelo la información de tus conversaciones pasadas en Gemini, Gmail, Google Search y la actividad de YouTube para hacer que las respuestas sean más relevantes y útiles. Este rol requiere una combinación única de creatividad y rigor analítico. Diseñarás activamente prompts desde la perspectiva de tus propias experiencias personales. Luego, usarás tus habilidades analíticas para evaluar la calidad de las respuestas personalizadas del modelo, evaluando dimensiones como la fundamentación, la integración y la utilidad.

Calificaciones clave

• Dominio del inglés: Capacidad para leer y escribir en inglés con un alto nivel de comprensión, ya que el inglés es el idioma principal de este proyecto.
• Uso de cuenta personal: Voluntad de usar tu cuenta personal principal de Google (no una cuenta de prueba) y habilitar fuentes de datos personales para una evaluación genuina.
• Flexibilidad horaria: Se requiere disponibilidad de tiempo completo en tu zona horaria local. Estamos contratando a un equipo de operaciones global que trabaja las 24 horas.
• Pensamiento analítico excepcional: Demostrar capacidad para evaluar respuestas de IA matizadas y ambiguas, evaluando específicamente la calidad de la personalización.
• Ingeniería de prompts creativa: Experiencia en el diseño de prompts iniciales creativos de varios turnos basados en el contexto personal para probar a fondo las capacidades del modelo.
• Sólida capacidad de evaluación: Comprensión de los conceptos de personalización, incluida la capacidad de identificar una personalización incorrecta, malas inferencias y conexiones forzadas.
• Meticulosa atención al detalle: La capacidad de revisar respuestas de modelos lado a lado (SxS) y detectar diferencias sutiles en la naturalidad y el exceso de narración.
• Excelente comunicación escrita: Capacidad superior para escribir argumentos claros, concisos y estructurados para las clasificaciones de los modelos, haciendo referencia explícita a números de turno específicos.
• Retroalimentación: Capacidad para proporcionar comentarios constructivos y anotaciones detalladas.
• Comunicación: Excelentes habilidades de comunicación y colaboración.
• Independencia: Automotivación y capacidad para trabajar de forma independiente en un entorno remoto.
• Configuración técnica: Ordenador de escritorio o portátil configurado con una buena conexión a internet.

Descripción:

• En este rol, formarás parte de un equipo dinámico enfocado en evaluar la calidad de las interacciones de IA personalizadas. Tu trabajo diario incluirá:
• Diseñar y ejecutar prompts conversacionales de varios turnos (por lo general de 1 a 5 turnos) que requieran que la IA utilice tu información y experiencias personales.
• Evaluar las respuestas del modelo basándote en tu intención del prompt inicial, comprobando si la personalización se aplicó adecuadamente.
• Analizar las respuestas en busca de problemas de fundamentación, asegurando que las afirmaciones sobre ti estén respaldadas por evidencia y no por inferencias defectuosas o alucinaciones.
• Evaluar la calidad de la integración para garantizar que los datos personales se incorporen de forma natural en la respuesta sin "excesos de narración" robóticos.
• Evaluar rigurosamente y clasificar mediante una tabla comparativa dos respuestas de modelos lado a lado (SxS) para determinar cuál es, en general, más útil, fácil de usar y agradable.
• Escribir argumentos claros y defendibles para tus comparaciones, haciendo referencia explícita a dónde ocurrieron los problemas o los aspectos positivos en la conversación.
• Extraer y verificar la "información de depuración" del modelo para confirmar que los resúmenes de chat y las fuentes de datos se utilizaron adecuadamente.
• Mantener una estricta higiene de datos eliminando las conversaciones de evaluación para evitar que contaminen tu historial de chat futuro.

Educación y experiencia

• Título universitario (BS/BA) o experiencia equivalente en un campo relevante (por ejemplo, políticas, derecho, ética, lingüística, periodismo, informática o un campo analítico relacionado).
• Se prefiere firmemente la experiencia en anotación de datos, evaluación de calidad de IA, moderación de contenido o un rol relacionado.

Detalles de la oferta:

• Compromisos requeridos: al menos 4 horas al día y hasta 40 horas por semana con 4 horas de solapamiento con la hora del Pacífico (PST).
• Tipo de compromiso: Contratista
• Duración del compromiso: 3 meses

Proceso de evaluación -

• A los candidatos preseleccionados se les enviará un formulario de interés para el puesto.
• Tras la revisión del perfil, se compartirá una evaluación, la cual debe completarse en un plazo de 24 horas.
• Según los resultados de la evaluación, se contactará a los candidatos preseleccionados para hablar sobre los requisitos previos a la incorporación.