Esperto di ragionamento nei giochi da tavolo (Addestramento e valutazione AI)

Informazioni su Turing

Turing è una delle aziende di IA a più rapida crescita al mondo, che accelera l'avanzamento e l'implementazione di potenti sistemi di IA. Turing aiuta i principali laboratori di IA a migliorare le capacità di ragionamento, problem-solving e presa di decisione dei modelli linguistici di grandi dimensioni (LLM) attraverso feedback umani di alta qualità, valutazione e dati di addestramento.

Panoramica del Ruolo

Cerchiamo Esperti di Ragionamento nei Giochi da Tavolo per contribuire all'addestramento e alla valutazione di modelli di IA di nuova generazione. In questo ruolo, sfrutterai la tua competenza nei giochi da tavolo, nelle meccaniche di gioco, nel ragionamento strategico, nella probabilità e nei sistemi di regole complesse per creare, revisionare e valutare set di dati di alta qualità che migliorano le prestazioni dell'IA.

Lavorerai su compiti stimolanti che coinvolgono logica di gioco, presa di decisione, pianificazione strategica, interpretazione delle regole e analisi degli scenari, aiutando i sistemi di IA di frontiera a sviluppare capacità di ragionamento più forti.

Com'è la Giornata Tipo?

• Crea e revisiona compiti di ragionamento basati sui giochi progettati per valutare i sistemi di IA.
• Analizza scenari di giochi da tavolo, alberi di decisione strategica e sistemi basati su regole.
• Valuta le risposte generate dall'IA in termini di correttezza, coerenza e qualità del ragionamento.
• Sviluppa prompt, rubriche e linee guida di valutazione per compiti incentrati su giochi da tavolo e strategia.
• Identifica errori logici, violazioni delle regole e ragionamenti difettosi negli output dell'IA.
• Contribuisci alla creazione di benchmark e ai processi di controllo qualità per i progetti di valutazione dell'IA.
• Collabora con i team di progetto per migliorare la qualità dei set di dati e le metodologie di valutazione.

Requisiti

Qualifiche Richieste

• Laurea in Informatica, Matematica, Scienze Cognitive, Game Design, Filosofia, Economia o un campo analitico correlato.
• Oltre 2 anni di esperienza professionale o semi-professionale nel game design di giochi da tavolo, playtesting, community di giochi da tavolo o ambienti correlati incentrati sulla strategia.
• Solida comprensione di logica, ragionamento probabilistico, meccaniche di gioco e sistemi di regole complesse.
• Background in teoria dei giochi, economia comportamentale, scienza delle decisioni o logica formale.
• Familiarità con giochi da tavolo moderni, giochi di carte collezionabili (TCG), giochi di ruolo da tavolo, giochi di strategia o sistemi di gioco competitivi.
• Forti capacità analitiche e di problem-solving.
• Eccellenti capacità di comunicazione scritta.

Qualifiche Preferite

• Esperienza precedente in annotazione di dati, addestramento di IA, prompt engineering, QA, game design, design di puzzle o analisi di sistemi basati su regole.
• Esperienza nella creazione di rubriche di valutazione, set di dati di benchmark o framework di controllo qualità.
• Esperienza con Python, SQL o strumenti di analisi dei dati.
• Esperienza lavorativa su RLHF, valutazione di modelli, generazione di dati sintetici o progetti di benchmarking di LLM.
• Familiarità con giochi di strategia o da tavolo recentemente rilasciati e capacità di apprendere rapidamente nuovi sistemi di regole.

Vantaggi del Lavoro Freelance con Turing

• Lavora in un ambiente completamente remoto.
• Opportunità di lavorare su progetti di IA all'avanguardia con le principali aziende di LLM.

Dettagli dell'Offerta

• Impegni Richiesti: Almeno 4 ore al giorno e un minimo di 20 ore alla settimana con una sovrapposizione di 4 ore con il fuso orario PST.
• Tipo di impegno: Incarico di collaborazione (senza ferie mediche o retribuite)
• Durata del contratto: 2 mesi; [la data di inizio prevista è la prossima settimana]

Processo di Valutazione

1. Valutazione da svolgere a casa