Member of Technical Staff, Model Training (Post-Training-Forschung)

Stellenbezeichnung: Member of Technical Staff, Model Training (post-training research)

Art der Stelle: Vollzeit

Standort: Remote

Die Rolle

In dieser Rolle untersuchen Sie, wie Lernalgorithmen, Trainingsdaten und Evaluierungsmethoden zusammenwirken, um stärkeres logisches Schlussfolgern, Generalisierung und Agentenfähigkeiten hervorzubringen. Sie erforschen neue Ansätze für Reinforcement Learning, Distillation und dateneffizientes Training und übersetzen Forschungserkenntnisse in skalierbare Methoden, die die Intelligenz von Modellen verbessern.

Dies ist eine äußerst experimentelle Rolle an der Schnittstelle von grundlegender Machine-Learning-Forschung und groß angelegter Modellentwicklung. Sie haben die Möglichkeit, Forschungshypothesen zu formulieren, ehrgeizige Experimente zu entwerfen und Trainingsmethoden zu entwickeln, die die Fähigkeiten unserer Modelle direkt beeinflussen.

Ihre Aufgaben

• Erforschen, implementieren und skalieren Sie fortgeschrittene Post-Training-Methoden, einschließlich überwachter Feinabstimmung (SFT), Reinforcement Learning (RL) und On-Policy-Distillation (OPD), über große Sprach- und multimodale Modelle hinweg.
• Untersuchen Sie Lernziele, Optimierungsdynamik, Explorationsstrategien und Mechanismen der Credit-Zuweisung, um die Trainingsstabilität, Sample-Effizienz und den Fähigkeitserwerb zu verbessern.
• Entwickeln und verfeinern Sie Trainingsrezepte, indem Sie Datenmischungen, Sampling-Strategien, Curricula und Evaluierungsmethoden gemeinsam optimieren.
• Entwerfen Sie Methoden zum Lernen aus Expertendemonstrationen, menschlichen Präferenzen, Korrekturen und modellgenerierten Trajektorien und identifizieren Sie, wo menschliches Feedback die größten Verbesserungen bringt.
• Erforschen Sie die Ko-Evolution von Generatoren, Belohnungsmodellen und Bewertern und entwickeln Sie Ansätze, die sowohl die Modellleistung als auch die Qualität der Trainingssignale verbessern, die sie verarbeiten.
• Entwerfen Sie rigorose Experimente, Ablationsstudien und Evaluierungsrahmen, um Generalisierung, logisches Schlussfolgern und Leistung bei realistischen nachgelagerten Aufgaben zu messen.
• Verantworten Sie Forschungsinitiativen von Anfang bis Ende, von der Identifizierung vielversprechender Richtungen und der Implementierung neuer Algorithmen bis zur Durchführung groß angelegter Experimente und der Validierung der Ergebnisse.

Was wir suchen

• Fundierte Kenntnisse in Machine Learning, Deep Learning, Optimierung und modernen Trainingstechniken für Modelle.
• Praktische Erfahrung im Training, in der Feinabstimmung oder im Post-Training großer Sprach- oder multimodaler Modelle.
• Tiefgehende fachliche Expertise in einem oder mehreren Bereichen wie Reinforcement Learning, Modelldistillation, Belohnungsmodellierung, Datenauswahl oder Lerndynamik.
• Sehr gute Kenntnisse in Python und PyTorch, mit der Fähigkeit, komplexe Trainingspipelines zu implementieren, zu debuggen und zu optimieren.
• Erfahrung im Entwerfen kontrollierter Experimente, im Interpretieren des Modellverhaltens und im Übersetzen empirischer Befunde in umsetzbare Forschungsrichtungen.
• Fähigkeit, mehrdeutige Forschungsprobleme eigenständig anzugehen, Hypothesen zu formulieren und auf Basis experimenteller Erkenntnisse schnell zu iterieren.
• Ausgeprägtes analytisches Denken und eine forschungsorientierte Denkweise mit Schwerpunkt auf Reproduzierbarkeit, wissenschaftlicher Strenge und messbaren Verbesserungen.

Von Vorteil

• Erfahrung mit RLHF, RLAIF, Präferenzoptimierung oder Reinforcement Learning für logisches Schlussfolgern und agentische Aufgaben.
• Vertrautheit mit verteiltem Training, groß angelegter Experimentierarbeit und GPU-basierter Modelloptimierung.
• Erfahrung in der Entwicklung von Belohnungsmodellen, Verifizierern, Bewertern oder automatisierten Evaluierungssystemen.
• Forschungsbeiträge zu Post-Training, Reinforcement Learning oder verwandten Bereichen durch Veröffentlichungen, Open-Source-Projekte oder Produktivsysteme.
• Erfahrung in der Untersuchung von synthetischer Datengenerierung, Curriculum Learning oder iterativen Selbstverbesserungstechniken.

Hinweis zu Vergütung & Leistungen

Die landesweite Gehaltsspanne für diese Vollzeitstelle liegt bei einem Grundgehalt von $200,000, $320,000. Alle Mitarbeitenden sind für Eigenkapitalvergütung berechtigt, und Mitarbeitende können außerdem leistungsabhängige Boni erhalten, abhängig von der Rolle und vorbehaltlich der Unternehmensrichtlinien. micro1 bietet ein umfassendes Leistungspaket, unter anderem die Erstattung von bis zu 100% der Krankenversicherungsbeiträge, bezahlten Urlaub, einen 401(K)-Plan mit Arbeitgeberzuschuss sowie weitere Leistungen, die auf eine leistungsstarke, remote-orientierte Belegschaft zugeschnitten sind.

micro1 ist ein Arbeitgeber mit Chancengleichheit. Alle qualifizierten Bewerbenden werden ohne Rücksicht auf Rasse, Hautfarbe, Religion, Geschlecht (einschließlich Schwangerschaft, sexuelle Orientierung oder Geschlechtsidentität), nationale Herkunft, Alter, Behinderung, genetische Informationen, Veteranenstatus oder ein anderes nach geltendem lokalem Recht, Vorschriften und Verordnungen geschütztes Merkmal berücksichtigt. Wenn Sie während des Bewerbungsverfahrens Unterstützung und/oder eine angemessene Vorkehrung benötigen, wenden Sie sich an support@micro1.ai.

Unser Einstellungsverfahren nutzt Werkzeuge der künstlichen Intelligenz (AI), um die Vorauswahl und Bewertung von Bewerbenden zu unterstützen. Unsere AI-Werkzeuge sind darauf ausgelegt, die menschliche Entscheidungsfindung zu ergänzen, nicht zu ersetzen.