Beschreibung

In dieser Veranstaltung erhalten die Teilnehmerinnen und Teilnehmer einen verständlichen und praxisnahen Einblick in die Welt der Retrieval-Augmented Generation (RAG). Große Sprachmodelle wie ChatGPT verfügen über vielseitige Einsatzmöglichkeiten, kennen jedoch nicht automatisch unternehmensspezifischen Daten und Informationen eines Unternehmens. Retrieval-Augmented Generation schließt genau diese Lücke, indem ein KI-Modell während der Nutzung gezielt mit relevanten Unternehmensinformationen versorgt wird, ohne dass das Modell dafür aufwendig neu trainiert werden muss. Neben den Grundlagen und der Funktionsweise von RAG wird die dahinterliegende Pipeline aus Embeddings, Vektordatenbanken und Retrieval erläutert und aufgezeigt, wo klassische Chatbots an ihre Grenzen stoßen. Dabei wird auch darauf eingegangen, wie RAG-Lösungen so betrieben werden können, dass vertrauliche Informationen nicht ungewollt nach außen gelangen. 

Anhand konkreter Beispiele wird anschließend gezeigt, wie sich RAG-Lösungen bereits heute einfach und effizient einsetzen lassen – etwa mit AnythingLLM als lokal betreibbarer Lösung oder mit Chat with RTX direkt auf lokaler GPU-Hardware. Abschließend erhalten die Teilnehmerinnen und Teilnehmer einen Einblick in Graph-RAG, einen innovativen Ansatz, der Beziehungen zwischen Dokumenten und Entitäten berücksichtigt und dadurch auch komplexere Fragestellungen beantworten kann.

Inhalt

In der Veranstaltung werden unter anderem folgende Inhalte vermittelt:

• Grundlagen und Funktionsweise von Retrieval-Augmented Generation

• Aufbau einer RAG-Pipeline mit Embeddings, Vektordatenbanken und Retrieval

• Grenzen klassischer Chatbots und Large Language Models

• Praxisbeispiel AnythingLLM für lokal betreibbare RAG-Anwendungen

• Praxisbeispiel Chat with RTX für die Nutzung auf lokaler GPU-Hardware

• Einblick in Graph-RAG und die Nutzung von Beziehungen zwischen Dokumenten und Entitäten

• Übertragbarkeit auf konkrete betriebliche Anwendungsfälle

Ziele

Die Veranstaltung richtet sich an KMU sowie Interessierte aus Industrie und Technik, die ein fundiertes Verständnis moderner KI-Technologien gewinnen und konkrete Einsatzmöglichkeiten für das eigene Unternehmen kennenlernen möchten. Ziel ist es, den Teilnehmerinnen und Teilnehmern zu zeigen, wie sie unternehmensspezifisches Wissen mit modernen KI-Systemen nutzbar machen können, ohne dafür eigene Sprachmodelle aufwendig neu trainieren zu müssen. Durch die praxisnahe Vorstellung konkreter Werkzeuge erhalten die Teilnehmerinnen und Teilnehmer Einblicke in Lösungen, die sich direkt auf betriebliche Anwendungsfälle übertragen lassen. Sie lernen dadurch die Potenziale von RAG für die Nutzung eigener Datenbestände kennen, können geeignete Einsatzmöglichkeiten im eigenen Unternehmen besser einschätzen. 

Für die Veranstaltung sind keine Data-Science-Vorkenntnisse erforderlich.