Schulungsübersicht

Einführung in die Optimierung großer Modelle

  • Überblick über große Modellarchitekturen
  • Herausforderungen bei der Feinabstimmung großer Modelle
  • Bedeutung einer kosteneffizienten Optimierung

Verteilte Trainingstechniken

  • Einführung in die Parallelität von Daten und Modellen
  • Frameworks für verteiltes Training: PyTorch und TensorFlow
  • Skalierung über mehrere GPUs und Knoten

Modellquantisierung und Pruning

  • Verstehen von Quantisierungstechniken
  • Anwendung von Pruning zur Reduzierung der Modellgröße
  • Abwägung zwischen Genauigkeit und Effizienz

Hardware-Optimierung

  • Auswahl der richtigen Hardware für Feinabstimmungsaufgaben
  • Optimierung der GPU und TPU-Nutzung
  • Verwendung spezialisierter Beschleuniger für große Modelle

Effiziente Data Management

  • Strategien für die Verwaltung großer Datensätze
  • Vorverarbeitung und Stapelverarbeitung für mehr Leistung
  • Techniken zur Datenerweiterung

Einsatz von optimierten Modellen

  • Techniken für den Einsatz fein abgestimmter Modelle
  • Überwachung und Aufrechterhaltung der Modellleistung
  • Beispiele aus der Praxis für den Einsatz optimierter Modelle

Fortgeschrittene Optimierungstechniken

  • Erforschung der Low-Rank-Adaption (LoRA)
  • Verwendung von Adaptern für die modulare Feinabstimmung
  • Zukünftige Trends in der Modelloptimierung

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Erfahrung mit Deep Learning Frameworks wie PyTorch oder TensorFlow
  • Vertrautheit mit großen Sprachmodellen und deren Anwendungen
  • Verständnis für Konzepte des verteilten Rechnens

Zielgruppe

  • Ingenieure für maschinelles Lernen
  • Cloud-KI-Spezialisten
 21 Stunden

Teilnehmerzahl


Price per participant (excl. VAT)

Kommende Kurse

Verwandte Kategorien