Analista de Calidad de IA - Inglés

Acerca de Turing:
Con sede en San Francisco, California, Turing es el principal acelerador de investigación del mundo para laboratorios de IA de vanguardia y un socio de confianza para empresas globales que implementan sistemas avanzados de IA. Turing apoya a los clientes de dos maneras: primero, acelerando la investigación de vanguardia con datos de alta calidad, canales de entrenamiento avanzados y los mejores investigadores de IA especializados en programación, razonamiento, STEM, multilingüismo, multimodalidad y agentes; y segundo, aplicando esa experiencia para ayudar a las empresas a transformar la IA de una prueba de concepto en inteligencia propietaria con sistemas que funcionan de manera fiable, ofrecen un impacto medible y generan resultados duraderos en la cuenta de resultados.

Descripción del rol:

Como analista de calidad de IA, evaluarás una nueva función de personalización para Gemini. Evaluarás qué tan bien utiliza el modelo la información de tus conversaciones pasadas en Gemini, Gmail, Google Search y la actividad en YouTube para hacer que las respuestas sean más relevantes y útiles. Este rol requiere una combinación única de creatividad y rigor analítico. Diseñarás activamente prompts desde la perspectiva de tus propias experiencias personales. Luego usarás tus habilidades analíticas para evaluar la calidad de las respuestas personalizadas del modelo, evaluando dimensiones como fundamento, integración y utilidad.

Calificaciones clave

• Dominio del inglés: Capacidad para leer y escribir en inglés con un alto grado de comprensión, ya que el inglés es el idioma principal de este proyecto.
• Uso de cuenta personal: Voluntad de usar tu cuenta personal principal de Google (no una cuenta de prueba) y habilitar fuentes de datos personales para una evaluación genuina.
• Flexibilidad horaria: Se requiere disponibilidad de tiempo completo en tu zona horaria local. Estamos formando un equipo de operaciones global disponible las 24 horas.
• Pensamiento analítico excepcional: Demostrar capacidad para evaluar respuestas de IA matizadas y ambiguas, evaluando específicamente la calidad de la personalización.
• Ingeniería de prompts creativa: Experiencia en el diseño de prompts iniciales creativos de múltiples turnos basados en contexto personal para probar a fondo las capacidades del modelo.
• Sólida capacidad de evaluación: Comprensión de los conceptos de personalización, incluida la capacidad de identificar personalización incorrecta, inferencias deficientes y conexiones forzadas.
• Atención meticulosa al detalle: Capacidad para revisar respuestas de modelos lado a lado (SxS) y detectar diferencias sutiles en la naturalidad y la redundancia narrativa.
• Excelente comunicación escrita: Capacidad superior para escribir argumentos claros, concisos y estructurados para las clasificaciones de los modelos, haciendo referencia explícita a números de turno específicos.
• Retroalimentación: Capacidad para proporcionar comentarios constructivos y anotaciones detalladas.
• Comunicación: Excelentes habilidades de comunicación y colaboración.
• Independencia: Automotivación y capacidad para trabajar de forma independiente en un entorno remoto.
• Configuración técnica: Ordenador de escritorio o portátil con una buena conexión a internet.

Descripción:

• En este rol, formarás parte de un equipo dinámico centrado en evaluar la calidad de las interacciones de IA personalizadas. Tu trabajo diario incluirá:
• Diseñar y ejecutar prompts conversacionales de múltiples turnos (normalmente de 1 a 5 turnos) que requieran que la IA utilice tu información y experiencias personales.
• Evaluar las respuestas del modelo basándote en tu intención del prompt inicial, comprobando si la personalización se aplicó adecuadamente.
• Analizar las respuestas en busca de problemas de fundamento, asegurando que las afirmaciones sobre ti estén respaldadas por evidencia y no por inferencias erróneas o alucinaciones.
• Evaluar la calidad de la integración para garantizar que los datos personales se entrelacen de forma natural en la respuesta sin explicaciones robóticas excesivas.
• Evaluar rigurosamente y ordenar mediante clasificación de pila dos respuestas de modelos lado a lado (SxS) para determinar cuál es en general más útil, fácil de usar y agradable.
• Escribir argumentos claros y defendibles para tus comparaciones, haciendo referencia explícita a dónde ocurrieron los problemas o aspectos positivos en la conversación.
• Extraer y verificar la "información de depuración" del modelo para confirmar que los resúmenes del chat y las fuentes de datos se utilizaron correctamente.
• Mantener una estricta higiene de datos eliminando las conversaciones de evaluación para evitar que contaminen tu historial de chat futuro.

Educación y experiencia

• Título de grado (BS/BA) o experiencia equivalente en un campo relevante (por ejemplo, políticas, derecho, ética, lingüística, periodismo, informática o un campo analítico relacionado).
• Se prefiere firmemente la experiencia en anotación de datos, evaluación de calidad de IA, moderación de contenido o un rol relacionado.

Detalles de la oferta:

• Compromisos requeridos: al menos 4 horas al día y hasta 40 horas por semana con 4 horas de solapamiento con la hora del Pacífico (PST).
• Tipo de colaboración: Contratista
• Duración de la colaboración: 3 meses

Proceso de evaluación -

• A los candidatos preseleccionados se les enviará un formulario de interés para el puesto.
• Después de la revisión del perfil, se compartirá una evaluación, la cual debe completarse dentro de las 24 horas.
• Basado en los resultados de la evaluación, se contactará a los candidatos preseleccionados para hablar sobre los requisitos previos a la incorporación.