AI Quality Analyst - Englisch

Über Turing:
Turing mit Sitz in San Francisco, Kalifornien, ist der weltweit führende Forschungsbeschleuniger für wegweisende KI-Labore und ein verlässlicher Partner für globale Unternehmen, die fortschrittliche KI-Systeme einsetzen. Turing unterstützt Kundinnen und Kunden auf zwei Wegen: Erstens durch die Beschleunigung wegweisender Forschung mit hochwertigen Daten, fortschrittlichen Trainings-Pipelines sowie Top-KI-Forschenden, die auf Programmierung, Reasoning, STEM, Mehrsprachigkeit, Multimodalität und Agenten spezialisiert sind; und zweitens durch die Anwendung dieser Expertise, um Unternehmen dabei zu helfen, KI von einem Machbarkeitsnachweis (Proof of Concept) in proprietäre Intelligenz zu transformieren, mit Systemen, die zuverlässig funktionieren, messbaren Nutzen liefern und nachhaltige Ergebnisse für die Gewinn- und Verlustrechnung erzielen.

Rollenübersicht:

Als AI Quality Analyst bewerten Sie eine neue Personalisierungsfunktion für Gemini. Sie bewerten, wie gut das Modell Informationen aus Ihren vergangenen Gemini-Konversationen, Gmail, der Google Suche und Ihren YouTube-Aktivitäten nutzt, um Antworten relevanter und hilfreicher zu gestalten. Diese Rolle erfordert eine einzigartige Mischung aus Kreativität und analytischer Strenge. Sie entwerfen aktiv Prompts aus der Perspektive Ihrer eigenen persönlichen Erfahrungen. Anschließend nutzen Sie Ihre analytischen Fähigkeiten, um die Qualität der personalisierten Antworten des Modells zu bewerten, wobei Sie Dimensionen wie Grounding (Fundierung), Integration und Hilfsbereitschaft berücksichtigen.

Hauptqualifikationen

• Englischkenntnisse: Fähigkeit, auf Englisch mit hohem Verständnisgrad zu lesen und zu schreiben, da Englisch die Hauptsprache für dieses Projekt ist.
• Nutzung des persönlichen Kontos: Bereitschaft, Ihr primäres persönliches Google-Konto (kein Testkonto) zu verwenden und persönliche Datenquellen für eine echte Bewertung zu aktivieren.
• Zeitliche Flexibilität: Vollzeitverfügbarkeit in Ihrer lokalen Zeitzone ist erforderlich. Wir besetzen ein globales 24-Stunden-Operationsteam.
• Außergewöhnliches analytisches Denken: Nachgewiesene Fähigkeit, nuancierte und mehrdeutige KI-Antworten zu bewerten und dabei insbesondere die Personalisierungsqualität zu beurteilen.
• Kreatives Prompt Engineering: Erfahrung im Entwerfen kreativer, mehrstufiger Einstiegsprompts auf Basis persönlicher Kontexte, um die Fähigkeiten des Modells gründlich zu testen.
• Starkes Bewertungsvermögen: Verständnis von Personalisierungskonzepten, einschließlich der Fähigkeit, falsche Personalisierungen, schlechte Schlussfolgerungen und erzwungene Verbindungen zu erkennen.
• Akribische Aufmerksamkeit für Details: Die Fähigkeit, Side-by-Side (SxS)-Modellantworten zu überprüfen und subtile Unterschiede bezüglich Natürlichkeit und Übererklärung festzustellen.
• Exzellente schriftliche Kommunikation: Überragende Fähigkeit, klare, prägnante und strukturierte Begründungen für Modellrankings zu verfassen und dabei explizit auf bestimmte Runden-Nummern zu verweisen.
• Feedback: Fähigkeit, konstruktives Feedback und detaillierte Annotationen zu geben.
• Kommunikation: Ausgezeichnete Kommunikations- und Kollaborationsfähigkeiten.
• Unabhängigkeit: Selbstmotiviert und fähig, in einer Remote-Umgebung eigenständig zu arbeiten.
• Technische Einrichtung: Desktop-Computer/Laptop mit einer guten Internetverbindung.

Beschreibung:

• In dieser Rolle sind Sie Teil eines dynamischen Teams, das sich auf die Bewertung der Qualität personalisierter KI-Interaktionen konzentriert. Ihre tägliche Arbeit umfasst:
• Entwerfen und Ausführen von mehrstufigen Konversations-Prompts (typischerweise 1-5 Runden), die erfordern, dass die KI Ihre persönlichen Informationen und Erfahrungen nutzt.
• Bewerten von Modellantworten basierend auf Ihrer Absicht aus dem Start-Prompt und Überprüfen, ob die Personalisierung angemessen angewendet wurde.
• Analysieren von Antworten auf Grounding-Probleme und Sicherstellen, dass Behauptungen über Sie durch Beweise und nicht durch fehlerhafte Schlussfolgerungen oder Halluzinationen gestützt werden.
• Bewerten der Integrationsqualität, um sicherzustellen, dass persönliche Daten auf natürliche Weise in die Antwort eingeflochten werden, ohne roboterhafte „Übererklärungen“.
• Strikte Bewertung und Side-by-Side-Rangordnung (SxS) von zwei Modellantworten, um zu bestimmen, welche insgesamt hilfsbereiter, einfacher zu bedienen und angenehmer ist.
• Verfassen klarer, vertretbarer Begründungen für Ihre Vergleiche und explizites Verweisen darauf, wo Probleme oder positive Aspekte in der Konversation aufgetreten sind.
• Extrahieren und Verifizieren von „Debug Info“ aus dem Modell, um zu bestätigen, dass Chat-Zusammenfassungen und Datenquellen ordnungsgemäß genutzt wurden.
• Aufrechterhalten einer strengen Datenhygiene durch das Löschen von Auswertungsgesprächen, um zu verhindern, dass diese Ihren zukünftigen Chat-Verlauf belasten.

Ausbildung & Erfahrung

• BS/BA-Abschluss oder gleichwertige Erfahrung in einem relevanten Bereich (z. B. Politik, Recht, Ethik, Linguistik, Journalismus, Informatik oder einem verwandten analytischen Bereich).
• Erfahrung in der Datenannotation, KI-Qualitätsbewertung, Inhaltsmoderation oder einer verwandten Rolle wird dringend bevorzugt.

Angebotsdetails:

• Erforderliche Verpflichtungen: mindestens 4 Stunden pro Tag und bis zu 40 Stunden pro Woche mit 4 Stunden Überschneidung mit PST.
• Art des Engagements: Freiberuflich (Contractor)
• Dauer des Engagements: 3 Monate

Auswahlverfahren -

• In die engere Wahl gezogene Kandidatinnen und Kandidaten erhalten ein Job-Interessensformular.
• Nach der Profilprüfung wird eine Bewertung verschickt, die innerhalb von 24 Stunden abgeschlossen sein muss.
• Basierend auf den Ergebnissen der Bewertung werden Kandidatinnen und Kandidaten in der engeren Auswahl kontaktiert, um die Anforderungen vor dem Onboarding zu besprechen.