Schulungsübersicht
Der Kurs ist in drei verschiedene Tage aufgeteilt, wobei der dritte Tag optional ist.
Tag 1 - Machine Learning & Deep Learning: Theoretische Konzepte
1. Einführung KI, Machine Learning & Deep Learning.
- Geschichte, grundlegende Konzepte und übliche Anwendungen der künstlichen Intelligenz fernab der Fantasien, die in diesem Bereich verbreitet werden.
- Kollektive Intelligenz: Aggregation von Wissen, das von vielen virtuellen Agenten geteilt wird.
- Genetische Algorithmen: eine Population von virtuellen Agenten durch Selektion weiterentwickeln.
- 5] üblich: Definition.
- Aufgabentypen: supervised learning, unsupervised learning, reinforcement learning.
- Arten von Aktionen: Klassifizierung, Regression, Clustering, Dichteschätzung, Dimensionsreduktion.
- Beispiele für Algorithmen Machine Learning: Lineare Regression, Naive Bayes, Random Tree.
- Machine Learning VS Deep Learning: Probleme, bei denen Machine Learning heute noch Stand der Technik ist (Random Forests & XGBoosts).
2. Grundlegende Konzepte eines neuronalen Netzes (Anwendung: Multi-Layer-Perceptron).
- Auffrischung der mathematischen Grundlagen.
- Definition eines neuronalen Netzes: klassische Architektur, Funktionen zur Aktivierung und Gewichtung vorheriger Aktivierungen, Tiefe eines Netzes.
- Definition des Lernens eines neuronalen Netzes: Kostenfunktionen, Backpropagation, stochastischer Gradient descent, Maximum likelihood.
- Modellierung eines neuronalen Netzes: Modellierung der Eingabe- und Ausgabedaten je nach Art des Problems (Regression, Klassifikation...). Curse of dimensionality (Kurve der Dimensionalität). Unterscheidung zwischen Multi-Feature-Daten und Signal. Wahl einer Kostenfunktion je nach Daten.
- Approximation einer Funktion durch ein neuronales Netz: Präsentation und Beispiele.
- Approximation einer Verteilung durch ein neuronales Netz: Präsentation und Beispiele.
- Data Augmentation: Wie man ein Dataset ausgleicht.
- Verallgemeinerung der Ergebnisse eines neuronalen Netzes.
- Initialisierungen und Regularisierungen eines neuronalen Netzes: L1/L2 Regularisierung, Batch Normalization...
- Optimierungen und Konvergenzalgorithmen.
3. Übliche Werkzeuge ML / DL.
Eine einfache Präsentation mit Vor- und Nachteilen, Position im Ökosystem und Verwendung ist vorgesehen.
- Werkzeuge zur Datenverwaltung: Apache Spark, Apache Hadoop.
- Übliche Machine Learning Tools: Numpy, Scipy, Sci-kit.
- High-Level-DL-Frameworks: PyTorch, Keras, Lasagne
- Low-Level DL-Frameworks: Theano, Torch, Caffe, Tensorflow
Tag 2 - Faltungs- und rekursive Netzwerke
4. Convolutional Neural Networks (CNN).
- Überblick über CNNs: Grundprinzipien und Anwendungen.
- Grundlegende Funktionsweise eines CNN: Convolutional Layer, Verwendung eines Kernels, Padding & Stride, Generierung von Feature Maps, 'Pooling'-Layer. 1D-, 2D- und 3D-Erweiterungen.
- Vorstellung der verschiedenen CNN-Architekturen, die den Stand der Technik in der Bildklassifikation repräsentieren: LeNet, VGG Networks, Network in Network, Inception, Resnet. Vorstellung der von jeder Architektur eingebrachten Innovationen und ihrer globaleren Anwendungen (1x1-Faltung oder Restverbindungen).
- Verwendung eines Aufmerksamkeitsmodells.
- Anwendung auf einen üblichen Klassifikationsfall (Text oder Bild).
- CNNs für die Generierung: Superauflösung, Pixel-zu-Pixel-Segmentierung. Vorstellung der wichtigsten Strategien zur Vergrößerung von Feature Maps für die Generierung eines Bildes.
5. Recurrent Neural Networks (RNN).
- Überblick über RNNs: Grundprinzipien und Anwendungen.
- Grundlegende Funktionsweise von RNNs: hidden activation, back propagation through time, unfolded version.
- Entwicklungen zu GRUs (Gated Recurrent Units) und LSTMs (Long Short Term Memory). Darstellung der verschiedenen Zustände und der Entwicklungen, die diese Architekturen mit sich bringen.
- Konvergenzprobleme und vanising gradient.
- Arten von klassischen Architekturen: Vorhersage einer Zeitreihe, Klassifizierung...
- Architektur vom Typ RNN Encoder Decoder. Verwendung eines Modells der Aufmerksamkeit.
- NLP-Anwendungen: Word/Character Encoding, Übersetzung.
- Video-Anwendungen: Vorhersage des nächsten generierten Bildes einer Videosequenz.
Tag 3 - Generationale Modelle und Reinforcement Learning.
6. Generationsmodelle: Variational AutoEncoder (VAE) und Generative Adversarial Networks (GAN).
- Vorstellung der generationellen Modelle, Verbindung zu den an Tag 2 besprochenen CNNs.
- Auto-encoder: Reduzierung der Dimensionalität und begrenzte Generierung.
- Variational Auto-encoder: Generationsmodell und Approximation der Verteilung eines Datensatzes. Definition und Verwendung des latenten Raums. Reparameterization trick. Anwendungen und beobachtete Einschränkungen.
- Generative Adversarial Networks: Grundlegende Prinzipien. Zwei-Netzwerk-Architektur (Generator und Diskriminator) mit alternierendem Lernen, verfügbare Kostenfunktionen.
- Konvergenz eines GAN und aufgetretene Schwierigkeiten.
- Verbesserte Konvergenz: Wasserstein GAN, BeGAN. Earth Moving Distance.
- Anwendungen zur Erzeugung von Bildern oder Fotografien, Texterzeugung, Super-.
Auflösung.
7. Deep Reinforcement Learning.
- Vorstellung von Reinforcement Learning: Steuerung eines Agenten in einer Umgebung, die durch einen Zustand und mögliche Aktionen definiert ist.
- Verwendung eines neuronalen Netzes zur Annäherung an die Zustandsfunktion.
- Deep Q Learning: Replay-Erfahrung und Anwendung auf die Steuerung eines Videospiels.
- Optimierungen der Lernpolitik. On-policy && off-policy. Actor critic architecture. A3C.
- Anwendungen: Steuerung eines einfachen Videospiels oder eines digitalen Systems.
Voraussetzungen
Ingenieurniveau