Analista de Calidad de IA (Personalización) - Español

Acerca de Turing:
Con sede en San Francisco, California, Turing es el acelerador de investigación líder en el mundo para laboratorios de IA de vanguardia y un socio de confianza para empresas globales que implementan sistemas de IA avanzados. Turing apoya a los clientes de dos maneras: primero, acelerando la investigación de vanguardia con datos de alta calidad, conductos de entrenamiento avanzados y los mejores investigadores de IA especializados en programación, razonamiento, STEM, multilingüismo, multimodalidad y agentes; y segundo, aplicando esa experiencia para ayudar a las empresas a transformar la inteligencia artificial de una prueba de concepto en inteligencia propietaria con sistemas que funcionan de manera confiable, ofrecen un impacto medible y generan resultados duraderos en la cuenta de resultados.

Descripción del puesto:

Como Analista de Calidad de IA, evaluarás una nueva función de personalización para Gemini. Evaluarás qué tan bien utiliza el modelo la información de tus conversaciones pasadas en Gemini, Gmail, Google Search y la actividad de YouTube para hacer que las respuestas sean más relevantes y útiles. Este rol requiere una combinación única de creatividad y rigor analítico. Diseñarás activamente indicaciones desde la perspectiva de tus propias experiencias personales. Luego, utilizarás tus habilidades analíticas para evaluar la calidad de las respuestas personalizadas del modelo, evaluando dimensiones como la fundamentación (Grounding), la integración y la utilidad.

Calificaciones clave

• Dominio del español: capacidad para leer y escribir en español con un alto grado de comprensión, ya que el español es el idioma principal para este proyecto.
• Uso de cuenta personal: disposición para usar tu cuenta personal principal de Google (no una cuenta de prueba) y habilitar fuentes de datos personales para una evaluación genuina.
• Flexibilidad de horario: se requiere disponibilidad de tiempo completo en tu zona horaria local. Estamos formando un equipo de operaciones global disponible las 24 horas.
• Pensamiento analítico excepcional: demostrar la capacidad de evaluar respuestas de IA matizadas y ambiguas, evaluando específicamente la calidad de la personalización.
• Ingeniería de indicaciones creativa: experiencia en el diseño de indicaciones iniciales creativas y de varios turnos basadas en el contexto personal para probar a fondo las capacidades del modelo.
• Fuerte capacidad de evaluación: comprensión de los conceptos de personalización, incluida la capacidad de identificar una personalización incorrecta, inferencias deficientes y conexiones forzadas.
• Meticulosa atención al detalle: la capacidad de revisar respuestas de modelos lado a lado (SxS) y detectar diferencias sutiles en la naturalidad y la excesiva narración.
• Excelente comunicación escrita: capacidad superior para escribir fundamentos claros, concisos y estructurados para las clasificaciones de los modelos, haciendo referencia explícita a números de turno específicos.
• Retroalimentación: capacidad de proporcionar comentarios constructivos y anotaciones detalladas.
• Comunicación: excelentes habilidades de comunicación y colaboración.
• Independencia: automotivación y capacidad para trabajar de forma independiente en un entorno remoto.
• Configuración técnica: computadora de escritorio o portátil configurada con una buena conexión a internet.

Descripción:

• En este rol, formarás parte de un equipo dinámico enfocado en evaluar la calidad de las interacciones de IA personalizadas. Tu trabajo diario incluirá:
• Diseñar y ejecutar indicaciones conversacionales de varios turnos (por lo general, de 1 a 5 turnos) que requieran que la IA utilice tu información y experiencias personales.
• Evaluar las respuestas del modelo según tu intención en la indicación inicial, verificando si la personalización se aplicó adecuadamente.
• Analizar las respuestas en busca de problemas de fundamentación (Grounding), asegurando que las afirmaciones sobre ti estén respaldadas por evidencia y no por inferencias erróneas o alucinaciones.
• Evaluar la calidad de la integración para garantizar que los datos personales se incorporen de forma natural en la respuesta sin una "narración excesiva" robótica.
• Evaluar rigurosamente y clasificar dos respuestas de modelos lado a lado (SxS) para determinar cuál es, en general, más útil, fácil de usar y agradable.
• Escribir fundamentos claros y defendibles para tus comparaciones, haciendo referencia explícita a dónde ocurrieron los problemas o los aspectos positivos en la conversación.
• Extraer y verificar la "información de depuración" (Debug Info) del modelo para confirmar que los resúmenes de chat y las fuentes de datos se utilizaron adecuadamente.
• Mantener una estricta higiene de datos eliminando las conversaciones de evaluación para evitar que contaminen tu historial de chat futuro.

Educación y experiencia

• Título universitario (BS/BA) o experiencia equivalente en un campo relevante (por ejemplo, políticas, derecho, ética, lingüística, periodismo, ciencias de la computación o un campo analítico relacionado).
• Se prefiere firmemente la experiencia en anotación de datos, evaluación de calidad de IA, moderación de contenido o un rol relacionado.

Detalles de la oferta:

• Compromisos requeridos: al menos 4 horas por día y hasta 40 horas por semana con 4 horas de solapamiento con el horario PST.
• Tipo de contratación: contratista.
• Duración del contrato: 3 meses.
• Nuestra tarifa ofrecida para este proyecto es de $15 por hora.

Proceso de evaluación -

• A los candidatos preseleccionados se les enviará un formulario de interés en el puesto.
• Después de la revisión del perfil, se compartirá una evaluación, la cual debe completarse en un plazo de 24 horas.
• Según los resultados de la evaluación, se contactará a los candidatos preseleccionados para hablar sobre los requisitos previos a la incorporación.