Schulungsübersicht

Einführung in Reinforcement Learning von Menschlichen Rückmeldungen (RLHF)

  • Was ist RLHF und warum es wichtig ist
  • Vergleich mit supervisionsbasierten Feinjustierungsmethoden
  • Anwendungen von RLHF in modernen AI-Systemen

Reward-Modellierung mit menschlicher Rückmeldung

  • Sammeln und Strukturieren von menschlichen Rückmeldungen
  • Erstellen und Trainieren von Reward-Modellen
  • Bewertung der Effektivität von Reward-Modellen

Training mit Proximal Policy Optimization (PPO)

  • Überblick über PPO-Algorithmen für RLHF
  • Implementierung von PPO mit Reward-Modellen
  • Iteratives und sicheres Feinjustieren von Modellen

Praktische Fine-Tuning von Sprachmodellen

  • Vorbereitung von Datensätzen für RLHF-Abläufe
  • Händisches Feinjustieren eines kleinen LLM mit RLHF
  • Aufgaben und Mitwirkungsstrategien

Skalierung von RLHF zu Produktions-Systemen

  • Betrachtungen zur Infrastruktur und Rechenkapazität
  • Qualitätskontrolle und kontinuierliche Rückmeldeschleifen
  • Beste Praktiken für Deployment und Wartung

Ethische Überlegungen und Bias-Mitigation

  • Bewältigung ethischer Risiken in menschlichen Rückmeldungen
  • Strategien zur Erkennung und Korrektur von Biases
  • Sicherstellung der Ausrichtung und sicheren Outputs

Fallstudien und Realweltbeispiele

  • Fallstudie: Feinjustieren von ChatGPT mit RLHF
  • Andere erfolgreiche RLHF-Implementierungen
  • Gelernte Lektionen und Brancheneinsichten

Zusammenfassung und Nächste Schritte

Voraussetzungen

  • Eine Grundkenntnis der Supervised und Reinforcement Learning
  • Erfahrung im Modell-Feintuning und in neuronalen Netzarchitekturen
  • Bekanntschaft mit Python Programmierung und Deep-Learning-Frameworks (z.B. TensorFlow, PyTorch)

Zielgruppe

  • Machine Learning- Ingenieure
  • AI-Forscher
 14 Stunden

Teilnehmerzahl


Price per participant (excl. VAT)

Kommende Kurse

Verwandte Kategorien