Beschreibung

In modernen Unternehmen fallen täglich große Mengen an Daten in unterschiedlichsten Formaten an: von Kundendaten über Sensorprotokolle bis hin zu Text- und Videodateien. Damit diese Daten zuverlässig, reproduzierbar und effizient genutzt werden können, braucht es klar strukturierte Prozesse – sogenannte Datenpipelines und Workflows. Sie stellen sicher, dass Daten automatisiert gesammelt, verarbeitet, analysiert und visualisiert werden können, ohne dass jedes Mal manuell eingegriffen werden muss.

In diesem Workshop lernen die Teilnehmerinnen und Teilnehmer, wie Datenworkflows aufgebaut werden, welche Tools dafür zur Verfügung stehen und wie sich Automatisierung in der Praxis umsetzen lässt. Neben theoretischen Grundlagen zu ETL-Prozessen und Workflow-Management stehen praktische Übungen mit modernen Tools wie Dagster (Orchestrierung) und Streamlit (Dashboards) im Vordergrund. Anhand konkreter Beispiele – etwa der Extraktion von Informationen aus Dokumenten, Objekterkennung in Bildern oder der Analyse von Videodaten – wird gezeigt, wie Workflows in der Praxis implementiert werden können.

Inhalt

- Grundlagen: Datenvielfalt, Herausforderungen, Automatisierungsbedarf (Einlesen und Vorverarbeitung komplexer und heterogener Daten diverser Datenquellen)

- Einführung in Datenpipelines (ETL: Extract – Transform – Load) sowie Aufbau von wiederverwendbaren Datenworkflows

- Einführung in Workflow-Management: Abhängigkeiten, Steuerung, Monitoring

- Überblick über Tools: Dagster (Orchestrierung), Streamlit (Visualisierung)

- Einrichtung und Nutzung einer strukturierten Python-Umgebung

- Anwendungsbeispiele unter Einsatz von LLMs, Computer-Vision Modellen, etc.)

- Erstellung interaktiver Visualisierungen und Dashboards zur Ergebnispräsentation

Ziele

Nach dem Workshop sollten die Teilnehmerinnen und Teilnehmer in der Lage sein:

- eine strukturierte Python-Umgebung für Datenanalyseprojekte aufzusetzen,

- mit heterogenen Daten verschiedenster Quellen umzugehen,

- grundlegende ETL-Prozesse zu konzipieren und in der Praxis anzuwenden,

- moderne Tools für Automatisierung und Visualisierung zu nutzen,

- einfache Workflows selbstständig zu erstellen, zu überwachen und zu erweitern.