Applied Engineer, Ruolo Valutazioni

Mercor è alla ricerca di ingegneri del software per creare e perfezionare valutazioni. Trasformerai pull request completate in attività di ingegneria e utilizzerai il nostro framework di valutazione interno per testare molteplici agenti di codifica di frontiera, tra cui Claude Code, Codex e altri.

Lavoriamo a fianco di un team di ricerca interno e abbiamo prodotto benchmark leader del settore per confrontare le prestazioni di modelli linguistici di grandi dimensioni di frontiera.

In questo ruolo, tu:

• Identificherai repository con un lavoro sufficientemente sostanziale da supportare valutazioni stimolanti e selezionerai PR completate idonee.

• Indagherai su ciascun problema, sulla sua soluzione di riferimento e sull'architettura, sui test e sulle convenzioni del repository.

• Scriverai prompt di attività e creerai valutazioni utilizzando test automatizzati, comandi di shell e prompt di valutazione LLM.

• Validerai le valutazioni rispetto a soluzioni di riferimento e implementazioni deliberatamente difettose. Troverai controlli mancanti, valutazioni errate e criteri che vincolano inutilmente il modo in cui un problema può essere risolto.

• Eseguirai valutazioni ripetutamente su più modelli e harness. Indagherai se i fallimenti derivano dalla soluzione dell'agente, dall'ambiente o dalla valutazione e stabilirai che le attività espongano debolezze significative nelle prestazioni dell'agente.

• Perfezionerai le valutazioni attraverso test e revisioni ripetuti. Documenterai i risultati e le decisioni di valutazione e gestirai i feedback.

Avrai bisogno di:

• Solide basi di programmazione ed esperienza pratica lavorando in codebase sostanziali e complesse. I linguaggi per cui creiamo valutazioni includono TypeScript/JavaScript, Python, Java, Kotlin, Go, Ruby, PHP, C++ e Rust

• La capacità di comprendere codice non familiare, indagare su comportamenti sottili e valutare se diverse implementazioni risolvono lo stesso problema correttamente.

• Esperienza nella scrittura di test significativi, inclusi casi limite e copertura di regressione.

• Attenzione ai dettagli e pazienza per indagini e perfezionamenti ripetuti.

• Esperienza pratica nell'utilizzo di strumenti di codifica AI, con il giudizio necessario per verificarne l'output e individuare gli errori.

• Sicurezza nell'utilizzo di Git, test runner e strumenti di CI.

• Comunicazione scritta e verbale chiara e fluida, con la capacità di gestire un'attività in modo indipendente sollevando al contempo domande quando i requisiti sono ambigui.

L'esperienza rilevante può provenire da repository open-source, privati o aziendali. La familiarità con un linguaggio o ecosistema particolare è utile; la capacità di apprendere il repository e formulare giudizi ingegneristici validi conta più della sua popolarità o della tua cronologia di contributi pubblici.

Forniamo onboarding al framework di valutazione e feedback di revisione continuo. Dopo l'onboarding, ti sarà richiesto di gestire la selezione delle attività, lo sviluppo delle valutazioni e l'iterazione senza una direzione passo-passo.