Schulungsübersicht

Teil 1 - Deep Learning und DNN-Konzepte


Einführung KI, Machine Learning & Deep Learning

  • Geschichte, Grundkonzepte und übliche Anwendungen der künstlichen Intelligenz, weit entfernt von den Phantasien, die dieser Bereich mit sich bringt

  • Kollektive Intelligenz: Aggregation von Wissen, das von vielen virtuellen Agenten geteilt wird

  • Genetische Algorithmen: zur Entwicklung einer Population virtueller Agenten durch Selektion

  • Übliche Lernmaschine: Definition.

  • Aufgabentypen: überwachtes Lernen, unüberwachtes Lernen, Verstärkungslernen

  • Arten von Aktionen: Klassifizierung, Regression, Clustering, Dichteschätzung, Dimensionalitätsreduktion

  • Beispiele für Machine Learning Algorithmen: Lineare Regression, Naive Bayes, Zufallsbaum

  • Maschinelles Lernen VS Deep Learning: Probleme, bei denen Machine Learning heute noch den Stand der Technik darstellt (Random Forests & XGBoosts)

Grundlegende Konzepte eines neuronalen Netzes (Anwendung: mehrschichtiges Perceptron)

  • Erinnerung an die mathematischen Grundlagen.

  • Definition eines Netzes von Neuronen: klassische Architektur, Aktivierung und

  • Gewichtung früherer Aktivierungen, Tiefe eines Netzes

  • Definition des Lernens eines Netzes von Neuronen: Kostenfunktionen, Backpropagation, Stochastischer Gradientenabstieg, maximale Wahrscheinlichkeit.

  • Modellierung eines neuronalen Netzes: Modellierung der Eingangs- und Ausgangsdaten je nach Art des Problems (Regression, Klassifizierung ...). Fluch der Dimensionalität.

  • Unterscheidung zwischen Daten mit mehreren Merkmalen und Signalen. Wahl einer Kostenfunktion in Abhängigkeit von den Daten.

  • Annäherung an eine Funktion durch ein Netz von Neuronen: Präsentation und Beispiele

  • Annäherung einer Verteilung durch ein Netzwerk von Neuronen: Präsentation und Beispiele

  • Datenerweiterung: wie man einen Datensatz ausgleicht

  • Verallgemeinerung der Ergebnisse eines Netzes von Neuronen.

  • Initialisierung und Regularisierung eines neuronalen Netzes: L1 / L2 Regularisierung, Batch-Normalisierung

  • Optimierungs- und Konvergenzalgorithmen

Standard ML / DL Werkzeuge

Eine einfache Präsentation mit Vorteilen, Nachteilen, Position im Ökosystem und Verwendung ist geplant.

  • Werkzeuge zur Datenverwaltung: Apache Spark, Apache Hadoop Tools

  • Machine Learning: Numpy, Scipy, Sci-kit

  • DL-Frameworks auf hoher Ebene: PyTorch, Keras, Lasagne

  • DL-Frameworks auf niedriger Ebene: Theano, Torch, Caffe, Tensorflow

Convolutional Neural Networks (CNN).

  • Vorstellung der CNNs: Grundprinzipien und Anwendungen

  • Grundlegende Funktionsweise eines CNNs: Faltungsschicht, Verwendung eines Kernels,

  • Padding & Stride, Erzeugung von Merkmalskarten, Pooling-Schichten. Erweiterungen 1D, 2D und 3D.

  • Vorstellung der verschiedenen CNN-Architekturen, die den Stand der Technik in der Klassifizierung gebracht haben

  • Bilder: LeNet, VGG-Netzwerke, Netzwerk im Netzwerk, Inception, Resnet. Vorstellung der Innovationen, die jede Architektur hervorgebracht hat, und ihrer globaleren Anwendungen (Convolution 1x1 oder Restverbindungen)

  • Verwendung eines Aufmerksamkeitsmodells.

  • Anwendung auf einen allgemeinen Klassifizierungsfall (Text oder Bild)

  • CNNs für die Generierung: Super-Resolution, Pixel-to-Pixel-Segmentierung. Vorstellung von

  • Hauptstrategien zur Erhöhung der Merkmalskarten für die Bilderzeugung.

Rekurrente Neural Networks (RNN).

  • Vorstellung von RNNs: grundlegende Prinzipien und Anwendungen.

  • Grundlegende Funktionsweise des RNN: versteckte Aktivierung, Rückpropagation durch die Zeit, ungefaltete Version.

  • Weiterentwicklungen zu den Gated Recurrent Units (GRUs) und LSTM (Long Short Term Memory).

  • Vorstellung der verschiedenen Zustände und der Entwicklungen, die diese Architekturen mit sich bringen

  • Konvergenz und Probleme mit verschwindenden Gradienten

  • Klassische Architekturen: Vorhersage einer zeitlichen Reihe, Klassifizierung ...

  • Architektur vom Typ RNN-Encoder-Decoder. Verwendung eines Aufmerksamkeitsmodells.

  • NLP-Anwendungen: Wort-/Zeichenkodierung, Übersetzung.

  • Videoanwendungen: Vorhersage des nächsten generierten Bildes einer Videosequenz.


Generative Modelle: Variational AutoEncoder (VAE) und Generative Adversarial Networks (GAN).

  • Vorstellung der generativen Modelle, Verbindung mit den CNNs

  • Auto-Encoder: Reduzierung der Dimensionalität und begrenzte Generierung

  • Variationaler Auto-Encoder: Generationsmodell und Annäherung an die Verteilung einer gegebenen Größe. Definition und Verwendung des latenten Raums. Trick der Reparametrisierung. Anwendungen und beobachtete Grenzen

  • Generative adversarische Netze: Grundlagen.

  • Duale Netzarchitektur (Generator und Diskriminator) mit alternativem Lernen, verfügbare Kostenfunktionen.

  • Konvergenz eines GANs und aufgetretene Schwierigkeiten.

  • Verbesserte Konvergenz: Wasserstein GAN, Angefangen. Erdbewegte Entfernung.

  • Anwendungen für die Erzeugung von Bildern oder Fotos, Texterzeugung, Superresolution.

Deep Reinforcement Learning.

  • Vorstellung von Reinforcement Learning: Steuerung eines Agenten in einer definierten Umgebung

  • Durch einen Zustand und mögliche Aktionen

  • Verwendung eines neuronalen Netzes zur Approximation der Zustandsfunktion

  • Deep Q Learning: Wiederholung von Erfahrungen und Anwendung auf die Steuerung eines Videospiels.

  • Optimierung der Lernpolitik. On-Politik && Off-Politik. Akteurskritische Architektur. A3C.

  • Anwendungen: Steuerung eines einzelnen Videospiels oder eines digitalen Systems.

Teil 2 - Theano für Deep Learning

Theano-Grundlagen

  • Einführung

  • Installation und Konfiguration

TheanoFunktionen

  • Eingaben, Ausgaben, Aktualisierungen, Givens

Training und Optimierung eines neuronalen Netzes mit Theano

  • Modellierung neuronaler Netze

  • Logistische Regression

  • Versteckte Schichten

  • Trainieren eines Netzes

  • Berechnung und Klassifizierung

  • Optimierung

  • Log-Verlust

Testen des Modells


Teil 3 - DNN mit Tensorflow

TensorFlow Grundlagen

  • Erstellen, Initialisieren, Speichern und Wiederherstellen TensorFlow von Variablen

  • Einspeisen, Lesen und Vorladen von TensorFlow Daten

  • Wie man die TensorFlow Infrastruktur zum Trainieren von Modellen im großen Maßstab verwendet

  • Visualisieren und Auswerten von Modellen mit TensorBoard

TensorFlow Mechanik

  • Vorbereiten der Daten

  • Herunterladen

  • Eingaben und Platzhalter

  • Erstellen der Graphen

    • Inferenz

    • Verlust

    • Ausbildung

  • Das Modell trainieren

    • Der Graph

    • Die Sitzung

    • Schleife trainieren

  • Auswerten des Modells

    • Erstellen des Auswertungsgraphen

    • Eval-Ausgabe

Das Perceptron

  • Aktivierungsfunktionen

  • Der Perceptron-Lernalgorithmus

  • Binäre Klassifizierung mit dem Perceptron

  • Dokumentenklassifikation mit dem Perceptron

  • Grenzen des Perceptrons

Vom Perceptron zu Support Vector Machines

  • Kernel und der Kernel-Trick

  • Klassifikation mit maximaler Marge und Support Vectors

Künstliche Neural Networks

  • Nichtlineare Entscheidungsgrenzen

  • Künstliche neuronale Netze mit Vorwärts- und Rückkopplung

  • Mehrschichtige Perceptrons

  • Minimierung der Kostenfunktion

  • Vorwärtsfortpflanzung

  • Rückwärtspropagierung

  • Verbesserung der Lernweise neuronaler Netze

Faltungsnetzwerke Neural Networks

  • Goals

  • Modell Architektur

  • Grundsätze

  • Code-Organisation

  • Starten und Trainieren des Modells

  • Evaluierung eines Modells

Grundlegende Einführungen in die folgenden Module (kurze Einführungen werden je nach Zeitverfügbarkeit gegeben):

Tensorflow - Fortgeschrittene Verwendung

  • Threading und Warteschlangen

  • Verteilt TensorFlow

  • Schreiben Documentation und Teilen Ihres Modells

  • Datenleser anpassen

  • Manipulation von TensorFlow Modelldateien


TensorFlow Servieren

  • Einführung

  • Grundlegendes Tutorial zum Serving

  • Tutorial über fortgeschrittenes Serving

  • Serving Inception Model Tutorial

Voraussetzungen

Hintergrund in Physik, Mathematik und Programmierung. Beteiligung an Bildverarbeitungsaktivitäten.

Die Teilnehmer sollten ein Vorverständnis von Konzepten des maschinellen Lernens haben und mit Python Programmierung und Bibliotheken gearbeitet haben.

 35 Stunden

Teilnehmerzahl


Price per participant (excl. VAT)

Erfahrungsberichte (5)

Kommende Kurse

Verwandte Kategorien