Building Data Pipelines with Apache Kafka Schulung
Apache Kafka ist eine verteilte Streaming-Plattform. Es ist de facto ein Standard für den Bau von Datenpipelines und löst viele verschiedene Anwendungsfälle im Bereich der Datenverarbeitung: Es kann als Nachrichtenwarteschlange, verteiltes Protokoll, Stream-Prozessor usw. verwendet werden.
Wir beginnen mit einer Theorie hinter Daten-Pipelines im Allgemeinen und fahren dann mit grundlegenden Konzepten hinter Kafka fort. Wir werden auch wichtige Komponenten wie Kafka Streams und Kafka Connect entdecken.
Schulungsübersicht
- Datapipelines 101: Ingession, Speicherung, Verarbeitung
- Grundlagen von Kafka: Themen, Partitionen, Brokers, Replikation usw.
- Producer und Consumer APIs
- Kafka Streams als Verarbeitungsschicht
- Kafka Connect zur Integration mit externen Systemen
- Beste Praktiken und Optimierung von Kafka
Voraussetzungen
Grundkenntnisse in Java 8 oder Scala sind von Vorteil. Bitte installieren Sie Docker und Docker Compose, wenn Sie die Beispiele lokal ausführen möchten.
Offene Schulungskurse erfordern mindestens 5 Teilnehmer.
Building Data Pipelines with Apache Kafka Schulung - Booking
Building Data Pipelines with Apache Kafka Schulung - Enquiry
Building Data Pipelines with Apache Kafka - Beratungsanfrage
Beratungsanfrage
Erfahrungsberichte (5)
Engagement mit dem Trainer Eine Reihe von relevanten Übungen und Labs Praktische Prüfungen
Salim - SICPA SA
Kurs - Administration of Kafka Message Queue
Maschinelle Übersetzung
interaktiver Ansatz des Lehrers, der nicht einfach eine Geschichte erzählt, sondern auf die Fragen des Publikums eingeht.
Rens - Canon Medical Informatics Europe B.V.
Kurs - Administration of Kafka Topic
Maschinelle Übersetzung
Die Übungen und Dias verbinden sich gut mit Jorges Wissen und seiner Liebe zu Kafka.
Willem - BMW SA
Kurs - Apache Kafka for Developers
Maschinelle Übersetzung
sehr interaktiv...
Richard Langford
Kurs - SMACK Stack for Data Science
Maschinelle Übersetzung
Genügend praktische Umsetzung, der Trainer ist kompetent
Chris Tan
Kurs - A Practical Introduction to Stream Processing
Maschinelle Übersetzung
Kommende Kurse
Kombinierte Kurse
Apache Kafka Connect
7 StundenDiese von einem Ausbilder geleitete Live-Schulung (online oder vor Ort) richtet sich an Entwickler, die Apache Kafka in bestehende Datenbanken und Anwendungen zur Verarbeitung, Analyse usw. integrieren möchten.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- Kafka Connect verwenden, um große Mengen an Daten aus einer Datenbank in Kafka-Themen einzufügen.
- Datenlogs, die von Anwendungsservern generiert wurden, in Kafka-Themen einfügen.
- Make alle gesammelten Daten für die Streamverarbeitung verfügbar machen.
- Daten aus Kafka-Themen in sekundäre Systeme zur Speicherung und Analyse exportieren.
Building Kafka Solutions with Confluent
14 StundenDiese Live-Schulung (vor Ort oder per Fernzugriff) richtet sich an Techniker, die Confluent (eine Distribution von Kafka) verwenden möchten, um eine Echtzeit-Datenverarbeitungsplattform für ihre Anwendungen zu erstellen und zu verwalten.
Am Ende dieser Schulung können die Teilnehmer:
- Confluent Platform installieren und konfigurieren.
- Confluents Verwaltungstools und -dienste nutzen, um Kafka einfacher zu betreiben.
- Eingehende Stream-Daten speichern und verarbeiten.
- Kafka-Cluster optimieren und verwalten.
- Datensätze sichern.
Format des Kurses
- Interaktive Vorlesung und Diskussion.
- Viele Übungen und Praxis.
- Händische Implementierung in einer Live-Lab-Umgebung.
Anpassungsoptionen für den Kurs
- Dieser Kurs basiert auf der Open-Source-Version von Confluent: Confluent Open Source.
- Für eine angepasste Ausbildung zu diesem Kurs wenden Sie sich bitte an uns, um dies zu vereinbaren.
A Practical Introduction to Stream Processing
21 StundenIn dieser von einem Trainer geleiteten Live-Schulung (vor Ort oder per Fernzugriff) lernen die Teilnehmer, wie sie verschiedene Stream Processing Frameworks mit bestehenden Big-Data-Speichersystemen und zugehörigen Softwareanwendungen und Microservices einrichten und integrieren können.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- Installieren und Konfigurieren verschiedener Stream Processing Frameworks, wie Spark Streaming und Kafka Streaming.
- Das am besten geeignete Framework für die jeweilige Aufgabe verstehen und auswählen.
- Daten kontinuierlich, gleichzeitig und Datensatz für Datensatz verarbeiten.
- Lösungen mit bestehenden Datenbanken, Data Warehouses, Data Lakes usw. integrieren Stream Processing.
- Integrieren Sie die am besten geeignete Stream-Processing-Bibliothek in Unternehmensanwendungen und Microservices.
Distributed Messaging with Apache Kafka
14 StundenDieser Kurs richtet sich an Unternehmensarchitekten, Entwickler, Systemadministratoren und alle, die ein verteiltes Messagingsystem mit hohem Durchsatz verstehen und verwenden möchten. Wenn Sie spezifischere Anforderungen haben (z. B. nur Systemadministration), kann dieser Kurs besser auf Ihre Bedürfnisse zugeschnitten werden.
Kafka for Administrators
21 StundenDiese von einem Trainer geleitete Live-Schulung (online oder vor Ort) richtet sich an Systemadministratoren, die einen unternehmenstauglichen Kafka-Cluster einrichten, bereitstellen, verwalten und optimieren möchten.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- Einrichten und Verwalten eines Kafka-Clusters.
- Die Vor- und Nachteile der Bereitstellung von Kafka vor Ort und in der Cloud abwägen.
- Kafka in verschiedenen On-Premise- und Cloud-Umgebungen mit Hilfe von Tools bereitstellen und überwachen.
Apache Kafka for Developers
21 StundenDiese von einem Trainer geleitete Live-Schulung (online oder vor Ort) richtet sich an fortgeschrittene Entwickler, die Big-Data-Anwendungen mit Apache Kafka entwickeln möchten.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
-
Entwicklung von Kafka-Produzenten und -Konsumenten zum Senden und Lesen von Daten aus Kafka.
Integration von Kafka mit externen Systemen mit Kafka Connect.
Schreiben Sie Streaming-Anwendungen mit Kafka Streams & ksqlDB.
Integrieren Sie eine Kafka-Client-Anwendung mit Confluent Cloud für cloudbasierte Kafka-Bereitstellungen.
Sammeln Sie praktische Erfahrungen durch praktische Übungen und reale Anwendungsfälle.
Apache Kafka for Python Programmers
7 StundenDiese von einem Kursleiter geleitete Live-Schulung in Schweiz (online oder vor Ort) richtet sich an Dateningenieure, Datenwissenschaftler und Programmierer, die die Apache Kafka-Funktionen in Datenströmen mit Python nutzen möchten.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein, Apache Kafka zur Überwachung und Verwaltung von Bedingungen in kontinuierlichen Datenströmen mit Python-Programmierung zu verwenden.
Kafka Fundamentals for Java Developers
14 StundenDiese Live-Schulung unter Anleitung in Schweiz (online oder vor Ort) richtet sich an fortgeschrittene Java-Entwickler, die Apache Kafka in ihre Anwendungen integrieren möchten, um einen zuverlässigen, skalierbaren und durchsatzstarken Nachrichtenaustausch zu ermöglichen.
Am Ende dieses Kurses werden die Teilnehmer in der Lage sein
- Die Architektur und die Kernkomponenten von Kafka zu verstehen.
- Einrichten und Konfigurieren eines Kafka-Clusters.
- Nachrichten mit Java zu produzieren und zu konsumieren.
- Kafka Streams für die Echtzeit-Datenverarbeitung zu implementieren.
- Fehlertoleranz und Skalierbarkeit in Kafka-Anwendungen zu gewährleisten.
Administration of Kafka Message Queue
14 StundenDiese Live-Schulung in Schweiz (online oder vor Ort) richtet sich an fortgeschrittene Systemadministratoren, die die Message-Queuing-Funktionen von Kafka effektiv nutzen möchten.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- die Message Queuing-Funktionen und die Architektur von Kafka zu verstehen.
- Kafka-Themen für Message-Queuing-Szenarien zu konfigurieren.
- Nachrichten mit Kafka zu produzieren und zu konsumieren.
- Kafka als Nachrichtenwarteschlange zu überwachen und zu verwalten.
Security for Apache Kafka
7 StundenDiese von einem Trainer geleitete Live-Ausbildung in Schweiz (online oder vor Ort) richtet sich an Software-Testers, die Sicherheitsmaßnahmen für ein Apache Kafka-Anwendungsnetzwerk implementieren möchten.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- Apache Kafka auf einem cloudbasierten Server bereitzustellen.
- SSL-Verschlüsselung zu implementieren, um Angriffe zu verhindern.
- ACL-Authentifizierung hinzuzufügen, um den Zugriff von Benutzern zu verfolgen und zu kontrollieren.
- Sichere Clients mit SSL und SASL-Authentifizierung auf Kafka-Kluster zugreifen zu lassen.
Apache Kafka and Spring Boot
7 StundenDiese von einem Trainer geleitete Live-Schulung (online oder vor Ort) richtet sich an fortgeschrittene Entwickler, die die Grundlagen von Kafka erlernen und mit Spring Boot integrieren möchten.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- Verstehen Sie Kafka und seine Architektur.
- Lernen, wie man eine grundlegende Kafka-Umgebung installiert, konfiguriert und einrichtet.
- Integrieren Sie Kafka mit Spring Boot.
Stream Processing with Kafka Streams
7 StundenKafka Streams ist eine clientseitige Bibliothek zum Erstellen von Anwendungen und Mikrodiensten, deren Daten an ein und von einem Kafka-Messagingsystem übertragen werden. Traditionell hat sich Apache Kafka auf Apache Spark oder Apache Storm , um Daten zwischen Nachrichtenproduzenten und -konsumenten zu verarbeiten. Durch Aufrufen der Kafka Streams-API aus einer Anwendung heraus können Daten direkt in Kafka verarbeitet werden, ohne dass die Daten zur Verarbeitung an einen separaten Cluster gesendet werden müssen.
In diesem von Lehrern geführten Live-Training lernen die Teilnehmer, wie sie Kafka-Streams in eine Reihe von Java Beispielanwendungen integrieren, die Daten zur Stream-Verarbeitung an Apache Kafka und von diesem weitergeben.
Am Ende dieser Schulung können die Teilnehmer:
- Kafka Streams-Funktionen und Vorteile gegenüber anderen Stream-Verarbeitungsframeworks verstehen
- Daten direkt innerhalb eines Kafka-Klusters verarbeiten
- Eine Java oder Scala-Anwendung oder -Mikrodienst schreiben, der mit Kafka und Kafka Streams integriert ist
- Konkise Code schreiben, der Eingabethemen von Kafka in Ausgabetopics von Kafka transformiert
- Die Anwendung erstellen, verpacken und bereitstellen
Publikum
- Entwickler
Kursformat
- Teil Vorlesung, teil Diskussion, Übungen und intensive praktische Arbeit
Anmerkungen
- Für eine angepasste Schulung zu diesem Kurs wenden Sie sich bitte an uns, um dies zu vereinbaren.
Administration of Kafka Topic
14 StundenDiese von einem Trainer geleitete Live-Schulung in Schweiz (online oder vor Ort) richtet sich an Anfänger und fortgeschrittene Systemadministratoren, die lernen möchten, wie sie Kafka-Themen für effizientes Datenstreaming und -verarbeitung effektiv verwalten können.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- Die Grundlagen und die Architektur von Kafka-Themen zu verstehen.
- Kafka-Themen erstellen, konfigurieren und verwalten.
- Kafka-Topics auf Zustand, Leistung und Verfügbarkeit zu überwachen.
- Sicherheitsmaßnahmen für Kafka-Themen zu implementieren.
Confluent KSQL
7 StundenDiese von einem Kursleiter geleitete Live-Schulung in Schweiz (online oder vor Ort) richtet sich an Entwickler, die Apache Kafka Stream Processing implementieren möchten, ohne Code zu schreiben.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein,:
- Confluent KSQL zu installieren und zu konfigurieren.
- eine Stream-Processing-Pipeline nur mit SQL-Befehlen einzurichten (keine Java- oder Python-Codierung).
- Datenfilterung, Transformationen, Aggregationen, Joins, Windowing und Sessionization vollständig in SQL durchzuführen.
- Interaktive, kontinuierliche Abfragen für Streaming ETL und Echtzeit-Analysen entwerfen und einsetzen.
SMACK Stack for Data Science
14 StundenDiese von einem Trainer geleitete Live-Schulung (online oder vor Ort) richtet sich an Datenwissenschaftler, die den SMACK-Stack zum Aufbau von Datenverarbeitungsplattformen für Big-Data-Lösungen nutzen möchten.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- Implementierung einer Datenpipeline-Architektur zur Verarbeitung von Big Data.
- Entwickeln einer Cluster-Infrastruktur mit Apache Mesos und Docker.
- Daten mit Spark und Scala analysieren.
- Verwaltung unstrukturierter Daten mit Apache Cassandra.