Schulungsübersicht
Teil 1 - Deep Learning und DNN-Konzepte
Einführung KI, Machine Learning & Deep Learning
-
Geschichte, Grundkonzepte und übliche Anwendungen der künstlichen Intelligenz, weit entfernt von den Phantasien, die dieser Bereich mit sich bringt
-
Kollektive Intelligenz: Aggregation von Wissen, das von vielen virtuellen Agenten geteilt wird
-
Genetische Algorithmen: zur Entwicklung einer Population virtueller Agenten durch Selektion
-
Übliche Lernmaschine: Definition.
-
Aufgabentypen: überwachtes Lernen, unüberwachtes Lernen, Verstärkungslernen
-
Arten von Aktionen: Klassifizierung, Regression, Clustering, Dichteschätzung, Dimensionalitätsreduktion
-
Beispiele für Machine Learning Algorithmen: Lineare Regression, Naive Bayes, Zufallsbaum
-
Maschinelles Lernen VS Deep Learning: Probleme, bei denen Machine Learning heute noch den Stand der Technik darstellt (Random Forests & XGBoosts)
Grundlegende Konzepte eines neuronalen Netzes (Anwendung: mehrschichtiges Perceptron)
-
Erinnerung an die mathematischen Grundlagen.
-
Definition eines Netzes von Neuronen: klassische Architektur, Aktivierung und
-
Gewichtung früherer Aktivierungen, Tiefe eines Netzes
-
Definition des Lernens eines Netzes von Neuronen: Kostenfunktionen, Backpropagation, Stochastischer Gradientenabstieg, maximale Wahrscheinlichkeit.
-
Modellierung eines neuronalen Netzes: Modellierung der Eingangs- und Ausgangsdaten je nach Art des Problems (Regression, Klassifizierung ...). Fluch der Dimensionalität.
-
Unterscheidung zwischen Daten mit mehreren Merkmalen und Signalen. Wahl einer Kostenfunktion in Abhängigkeit von den Daten.
-
Annäherung an eine Funktion durch ein Netz von Neuronen: Präsentation und Beispiele
-
Annäherung einer Verteilung durch ein Netzwerk von Neuronen: Präsentation und Beispiele
-
Datenerweiterung: wie man einen Datensatz ausgleicht
-
Verallgemeinerung der Ergebnisse eines Netzes von Neuronen.
-
Initialisierung und Regularisierung eines neuronalen Netzes: L1 / L2 Regularisierung, Batch-Normalisierung
-
Optimierungs- und Konvergenzalgorithmen
Standard ML / DL Werkzeuge
Eine einfache Präsentation mit Vorteilen, Nachteilen, Position im Ökosystem und Verwendung ist geplant.
-
Werkzeuge zur Datenverwaltung: Apache Spark, Apache Hadoop Tools
-
Machine Learning: Numpy, Scipy, Sci-kit
-
DL-Frameworks auf hoher Ebene: PyTorch, Keras, Lasagne
-
DL-Frameworks auf niedriger Ebene: Theano, Torch, Caffe, Tensorflow
Convolutional Neural Networks (CNN).
-
Vorstellung der CNNs: Grundprinzipien und Anwendungen
-
Grundlegende Funktionsweise eines CNNs: Faltungsschicht, Verwendung eines Kernels,
-
Padding & Stride, Erzeugung von Merkmalskarten, Pooling-Schichten. Erweiterungen 1D, 2D und 3D.
-
Vorstellung der verschiedenen CNN-Architekturen, die den Stand der Technik in der Klassifizierung gebracht haben
-
Bilder: LeNet, VGG-Netzwerke, Netzwerk im Netzwerk, Inception, Resnet. Vorstellung der Innovationen, die jede Architektur hervorgebracht hat, und ihrer globaleren Anwendungen (Convolution 1x1 oder Restverbindungen)
-
Verwendung eines Aufmerksamkeitsmodells.
-
Anwendung auf einen allgemeinen Klassifizierungsfall (Text oder Bild)
-
CNNs für die Generierung: Super-Resolution, Pixel-to-Pixel-Segmentierung. Vorstellung von
-
Hauptstrategien zur Erhöhung der Merkmalskarten für die Bilderzeugung.
Rekurrente Neural Networks (RNN).
-
Vorstellung von RNNs: grundlegende Prinzipien und Anwendungen.
-
Grundlegende Funktionsweise des RNN: versteckte Aktivierung, Rückpropagation durch die Zeit, ungefaltete Version.
-
Weiterentwicklungen zu den Gated Recurrent Units (GRUs) und LSTM (Long Short Term Memory).
-
Vorstellung der verschiedenen Zustände und der Entwicklungen, die diese Architekturen mit sich bringen
-
Konvergenz und Probleme mit verschwindenden Gradienten
-
Klassische Architekturen: Vorhersage einer zeitlichen Reihe, Klassifizierung ...
-
Architektur vom Typ RNN-Encoder-Decoder. Verwendung eines Aufmerksamkeitsmodells.
-
NLP-Anwendungen: Wort-/Zeichenkodierung, Übersetzung.
-
Videoanwendungen: Vorhersage des nächsten generierten Bildes einer Videosequenz.
Generative Modelle: Variational AutoEncoder (VAE) und Generative Adversarial Networks (GAN).
-
Vorstellung der generativen Modelle, Verbindung mit den CNNs
-
Auto-Encoder: Reduzierung der Dimensionalität und begrenzte Generierung
-
Variationaler Auto-Encoder: Generationsmodell und Annäherung an die Verteilung einer gegebenen Größe. Definition und Verwendung des latenten Raums. Trick der Reparametrisierung. Anwendungen und beobachtete Grenzen
-
Generative adversarische Netze: Grundlagen.
-
Duale Netzarchitektur (Generator und Diskriminator) mit alternativem Lernen, verfügbare Kostenfunktionen.
-
Konvergenz eines GANs und aufgetretene Schwierigkeiten.
-
Verbesserte Konvergenz: Wasserstein GAN, Angefangen. Erdbewegte Entfernung.
-
Anwendungen für die Erzeugung von Bildern oder Fotos, Texterzeugung, Superresolution.
Deep Reinforcement Learning.
-
Vorstellung von Reinforcement Learning: Steuerung eines Agenten in einer definierten Umgebung
-
Durch einen Zustand und mögliche Aktionen
-
Verwendung eines neuronalen Netzes zur Approximation der Zustandsfunktion
-
Deep Q Learning: Wiederholung von Erfahrungen und Anwendung auf die Steuerung eines Videospiels.
-
Optimierung der Lernpolitik. On-Politik && Off-Politik. Akteurskritische Architektur. A3C.
-
Anwendungen: Steuerung eines einzelnen Videospiels oder eines digitalen Systems.
Teil 2 - Theano für Deep Learning
Theano-Grundlagen
-
Einführung
-
Installation und Konfiguration
TheanoFunktionen
-
Eingaben, Ausgaben, Aktualisierungen, Givens
Training und Optimierung eines neuronalen Netzes mit Theano
-
Modellierung neuronaler Netze
-
Logistische Regression
-
Versteckte Schichten
-
Trainieren eines Netzes
-
Berechnung und Klassifizierung
-
Optimierung
-
Log-Verlust
Testen des Modells
Teil 3 - DNN mit Tensorflow
TensorFlow Grundlagen
-
Erstellen, Initialisieren, Speichern und Wiederherstellen TensorFlow von Variablen
-
Einspeisen, Lesen und Vorladen von TensorFlow Daten
-
Wie man die TensorFlow Infrastruktur zum Trainieren von Modellen im großen Maßstab verwendet
-
Visualisieren und Auswerten von Modellen mit TensorBoard
TensorFlow Mechanik
-
Vorbereiten der Daten
-
Herunterladen
-
Eingaben und Platzhalter
-
Erstellen der Graphen
-
Inferenz
-
Verlust
-
Ausbildung
-
-
Das Modell trainieren
-
Der Graph
-
Die Sitzung
-
Schleife trainieren
-
-
Auswerten des Modells
-
Erstellen des Auswertungsgraphen
-
Eval-Ausgabe
-
Das Perceptron
-
Aktivierungsfunktionen
-
Der Perceptron-Lernalgorithmus
-
Binäre Klassifizierung mit dem Perceptron
-
Dokumentenklassifikation mit dem Perceptron
-
Grenzen des Perceptrons
Vom Perceptron zu Support Vector Machines
-
Kernel und der Kernel-Trick
-
Klassifikation mit maximaler Marge und Support Vectors
Künstliche Neural Networks
-
Nichtlineare Entscheidungsgrenzen
-
Künstliche neuronale Netze mit Vorwärts- und Rückkopplung
-
Mehrschichtige Perceptrons
-
Minimierung der Kostenfunktion
-
Vorwärtsfortpflanzung
-
Rückwärtspropagierung
-
Verbesserung der Lernweise neuronaler Netze
Faltungsnetzwerke Neural Networks
-
Goals
-
Modell Architektur
-
Grundsätze
-
Code-Organisation
-
Starten und Trainieren des Modells
-
Evaluierung eines Modells
Grundlegende Einführungen in die folgenden Module (kurze Einführungen werden je nach Zeitverfügbarkeit gegeben):
Tensorflow - Fortgeschrittene Verwendung
-
Threading und Warteschlangen
-
Verteilt TensorFlow
-
Schreiben Documentation und Teilen Ihres Modells
-
Datenleser anpassen
-
Manipulation von TensorFlow Modelldateien
TensorFlow Servieren
-
Einführung
-
Grundlegendes Tutorial zum Serving
-
Tutorial über fortgeschrittenes Serving
-
Serving Inception Model Tutorial
Voraussetzungen
Hintergrund in Physik, Mathematik und Programmierung. Beteiligung an Bildverarbeitungsaktivitäten.
Die Teilnehmer sollten ein Vorverständnis von Konzepten des maschinellen Lernens haben und mit Python Programmierung und Bibliotheken gearbeitet haben.
Erfahrungsberichte (5)
Hunter ist fabelhaft, sehr einnehmend, äußerst sachkundig und sympathisch. Sehr gut gemacht.
Rick Johnson - Laramie County Community College
Kurs - Artificial Intelligence (AI) Overview
Maschinelle Übersetzung
The trainer explained the content well and was engaging throughout. He stopped to ask questions and let us come to our own solutions in some practical sessions. He also tailored the course well for our needs.
Robert Baker
Kurs - Deep Learning with TensorFlow 2.0
Tomasz really know the information well and the course was well paced.
Raju Krishnamurthy - Google
Kurs - TensorFlow Extended (TFX)
Organization, adhering to the proposed agenda, the trainer's vast knowledge in this subject
Ali Kattan - TWPI
Kurs - Natural Language Processing with TensorFlow
Very updated approach or CPI (tensor flow, era, learn) to do machine learning.