LLM Research Scientist (Pre-training & Computer Vision & Adversarial Robustness)

Wir suchen erfahrene Forscher im Bereich des maschinellen Lernens mit praktischer Erfahrung im End-to-End-Training und der Verbesserung von Deep-Learning-Modellen über Bild- und Sprachbereiche hinweg. Sie arbeiten an klar definierten, empirischen und offenen ML-Forschungsproblemen.

Aufgaben

• Trainieren Sie Bildklassifikatoren und generative Bildmodelle von Grund auf und optimieren Sie Open-Weight-Sprachmodelle.
• Holen Sie das Beste aus begrenzten Daten-, Rechen- und Modellgrößenbudgets heraus.
• Machen Sie Modelle robust gegenüber adversarialen Eingaben und adversarialen Unterhaltungen.
• Komprimieren Sie Modelle, um strenge Größen- und Latenzbeschränkungen ohne Einbußen bei der Genauigkeit zu erfüllen.
• Diagnostizieren und beheben Sie Trainingsprobleme.

Anforderungen

Wir suchen Kandidaten mit starker Expertise in einem oder mehreren der folgenden Bereiche:

Adversariale Robustheit

Erfahrung mit:

• Adversarialem Training von Bildklassifikatoren (z. B. PGD-basiertes Training, TRADES).
• Evaluierung der robusten Genauigkeit unter Standard-Bedrohungsmodellen (z. B. L∞-Angriffe, AutoAttack) und Vermeidung von Fallstricken bei der Gradientenmaskierung.
• Steuerung des Zielkonflikts zwischen Robustheit und Genauigkeit sowie robustem Overfitting.

Effizientes Computer Vision

Erfahrung mit:

• End-to-End-Training von Bildklassifikatoren, insbesondere für fein granulare Erkennung (viele visuell ähnliche Klassen, wenige Beispiele pro Klasse).
• Modellkomprimierung: Quantisierung, Pruning und Knowledge Distillation von großen Lehrermodellen (Teacher) zu kleinen Schülermodellen (Student).
• Bereitstellung von Modellen unter strengen Größen- oder Latenzbudgets (On-Device-, Edge- oder Embedded-Umgebungen).

Generative Bildmodellierung

Erfahrung mit:

• Training generativer Bildmodelle von Grund auf: Diffusionsmodelle, GANs, VAEs oder Flow-basierte Modelle.
• Iterieren anhand von Stichproben-Qualitätsmetriken wie FID.
• Trainings-Effizienz-Tricks, die gute Generatoren schnell und mit geringen Parameterzahlen erzeugen.

LLM Post-Training & Verhaltensrobustheit

Praktische Erfahrung mit einem oder mehreren der folgenden Punkte:

• Supervised Fine-Tuning und Präferenzoptimierung (DPO, RLHF, RLAIF) von Open-Weight-Sprachmodellen, einschließlich des Aufbaus eigener Datensätze durch synthetische Generierung, verrauschte oder schwache Überwachung (Weak Supervision) und Rejection Sampling.
• Formung des Konversationsverhaltens über mehrere Runden: Widerstandsfähigkeit gegen Beeinflussung und Gefälligkeitsverhalten (Sycophancy), kalibrierte Konfidenz und das Wissen, wann Korrekturen zu akzeptieren sind.
• Fine-Tuning im Alignment-Stil, das ein bestimmtes Verhalten ändert und gleichzeitig die allgemeinen Fähigkeiten bewahrt.

Mehrsprachiges Pre-training

Erfahrung mit:

• Training mehrsprachiger oder ressourcenarmer Sprachmodelle von Grund auf.
• Tokenizer-Design über verschiedene Skripte und typologisch unterschiedliche Sprachen hinweg.
• Ausgleich stark ungleicher Daten pro Sprache (Sampling-Temperaturen, sprachübergreifender Transfer) unter datenbeschränkten Bedingungen.

Zusätzliche Interessensgebiete

Erfahrung in einem der folgenden Bereiche ist ein Plus:

• Skalierungsgesetze und Forschung zur Trainingseffizienz.
• Curriculum Learning und Datenreihenfolge.
• Modellevaluierung: Benchmark-Erstellung, Kontaminationskontrolle, statistisch fundierte Vergleiche.
• Unsicherheitsschätzung und Modellkalibrierung.
• Datenerweiterung (Data Augmentation) und synthetische Daten für Robustheit.

Allgemeine Qualifikationen

• Mindestens 3 Jahre Forschungserfahrung im Bereich des maschinellen Lernens (Doktorandenforschung wird auf diese Anforderung angerechnet).
• Fundierte Erfahrung mit PyTorch, JAX, TensorFlow oder ähnlichen ML-Frameworks.
• Abschluss an einer Top-100-Universität, Erfahrung bei einem FAANG- oder vergleichbaren KI-Unternehmen oder eine äquivalente Forschungsbilanz durch Publikationen oder wirkungsvolle Open-Source-Beiträge.

Warum Sie zu uns kommen sollten

• Arbeiten Sie an modernster Forschung zum maschinellen Lernens.
• Arbeiten Sie mit führenden KI-Forschern an anspruchsvollen, wirkungsvollen Projekten zusammen.
• Flexible, projektbasierte Arbeit mit wettbewerbsfähiger Vergütung.