Portal:Künstliche Intelligenz/RAG

RAG-Modelle selbst erstellen und nutzen

Retrieval Augmented Generation (RAG) ist eine Technik zur Verarbeitung natürlicher Sprache, die die Stärken von abfragebasierten und generativen Modellen der künstlichen Intelligenz kombiniert. Mit einem RAG "befragen" Sie über einen Chat definierte Ordnerinhalte oder Datenbanken, die Sie selbst gefüllt haben. Stellen Sie sich einen geschützten Ordner vor, in dem alle Ihre Vorlesungsskripte, zusätzliche Materialien, eine Liste der Ansprechpartner und ein Timetable Ihrer Veranstaltungen abgelegt und indexiert sind. Ein Chat beantwortet dann Fragen zu Ihrer Veranstaltung und greift dabei auf die Inhalte Ihres Ordners zurück. In Verbindung mit einem passenden Systemprompt entsteht so ein Chatbot für Ihre Veranstaltung. Die Güte der Antworten hängt allerdings nicht allein vom Umfang Ihrer Dateien ab, sondern - und hier liegt eine Schwierigkeit - auch von der Güte und Struktur der transformierten und vorbereiteten Daten für die KI.

Prinzip eine RAG

Die MLU verfügt derzeit noch nicht über ein solches System. Der IT-Dienstleister GWDG für die Hochschulen in Niedersachsen, der auch CHAT-AI der Academic Cloud betreibt, bietet allerdings kostenfrei das Werkzeug Arcana an, mit deren Hilfe alle Lehrenden der MLU solche RAG-Modelle erstellen können. Für eine Umsetzung benötigen Sie einen Account für die Academic Cloud, der über Ihren Uni-Login realisiert wird.

Bitte beachten Sie: Dieses RAG-Modell verdeutlicht das Prinzip eines RAG's und bietet nicht die Leistungsfähigkeit kommerzieller Systeme (wie z.B. Notebooklm.google.com). Da die GWDG diesen Dienst bundesweit anbietet, ist er je nach Tageszeit auch nicht der schnellste. Aber zum Ausprobieren reicht es. Hier ein Beispiel-RAG, das wir für den Bereich KI dieses Wikis erstellt haben.

Anleitung RAG-Modell mit Arcana erstellen

Einesehr ausführliche Anleitung(und der erste Weg bei Softwareänderungen) findet sich bei der GWDG. Hier die Kurzanleitung:

1. Sie benötigen einen Account für Chat-AI der Academic Cloud. Sofern Sie dort noch keinen haben nutzen Sie die "Föderierte Anmeldung", wählen dann die MLU und setzen Ihren 5-Steller mit Passwort.
2. Danach erstellen Sie sich mit dem gleichen Verfahren und Angaben einen Account bei Arcana, dem RAG-Manager der GWDG.
3. In Ihrem Dashboard von Arcana ("My Arcana") können Sie nun ein neues Projekt anlegen. Die Anleitung dort steht direkt darunter.
   
4. Nach Erstellung eines neuen Arcana werden Sie zum Upload der Dateien aufgefordert. Diese können verschiedene Formate umfassen. Mit dem Upload ist es allerdings nicht getan. Die Daten müssen intern transformiert und indexiert werden. Betätigen Sie daher die Schaltfläche "Index Generation". Größere PDF benötigen rund 30 Minuten, bis sie aufbereitet sind. Eine grüne Schaltfläche zeigt, dass die Indexierung erfolgreich war. Das PDF wird zunächst in ein JSON-Format umgewandelt, dann in ein MarkDown-Format, dann indexiert. Sie können auch Dokumente mit bereits vorhandenem MarkDown-Format hochladen, dann ist eine Konvertierung nicht notwendig. Dies wird relevant, wenn Sie Dokumente für eine bessere Indexierung nachträglich bearbeiten wollen (Sie können das konvertierte MarkDown-Format im RAG-Manager auch direkt downloaden und nachbearbeiten). Sollte es zu Fehlern bei der Indexierung kommen müssen Sie den Upload neu starten. In der Regel liegt ein Dateifehler vor. Manchmal hilft es, ein sehr langes Dokument zu teilen und getrennt hochzuladen und erneut zu indexieren. Die Güte der Indexierung (und damit der Qualität der Antworten des Bots) hängen sehr stark davon ab, wie die Ursprungsdokumente aufgebaut sind. Schlechte Erfahrungen haben wir mit direkter Übernahme von Wiki-Quelltexten oder HTML-Seiten gesammelt, da diese weitere Steuerelemente umfassen, die trotz Parsing und weiterer Maßnahmen nur schlecht indexiert werden (es gibt aber auch dafür eine pragmatische Lösung). Am besten funktionieren klar strukturierte PDF-Dokumente mit definierten Überschriften und zugehörigen Textabschnitten. Es lohnt auch, besonders relevante Informationen (z.B. Kontaktadressen, Veranstaltungskalender o.ä.) separat in einem Dokument zu erstellen und als einzelnes Dokument einzureichen. Wir haben das in unserem Beispiel weiter unten erläutert.
   

   RAG Arcana Indexierung
5. Nun können Sie mit der Schaltfläche Access Link ihren eigentliche Chat starten. Kopieren Sie auch Ihre Arcana-ID mit, die benötigen Sie unbedingt.
6. Den Chatbereich müssen Sie zunächst weiter vorbereiten. Vergleichen Sie Ihren Chat mit den Hinweisen im nachstehenden Bild.
   
7. Stellen Sie Anfragen und korrigieren/ ergänzen Sie eventuell den Systemprompt. Hier hinterlegen Sie z.B. Kontaktadressen, sofern Ihre Dateien im Ordner diese nicht enthalten. Hier legen Sie auch fest, was die KI ausgeben soll, wenn sie keine passenden Informationen findet. Feintuning ist sicherlich notwendig an verschiedenen Stellen, aber der Systemprompt ist einer der wirklich wichtigen Stellschrauben.
8. Beim Teilen des vorbereiteten Chats erfolgt eine Nachfrage, ob Sie auch die Arcana-Details einbeziehen möchten. Dies betrifft Ihre Arcana-ID, die für das Funktionieren zwingend notwendig ist. Bei Setzen des Häkchens wird diese ID mit gespeichert, andernfalls müssten Sie diese für Ihre Nutzer nachträglich bekanntgeben, damit diese die ID in das Feld manuell einsetzen.
9. Achtung: Ihr eigener Chat, den Sie mit viel Mühe vorbereiten, wird nicht dauerhaft gespeichert (wie alle Chats bei Chat-AI. Sie können in Ihrem Profil allerdings einen "Memory-Snapshot" erstellen). Ein per Link geteilter RAG-Chat wird aber in der Ausgangskonfiguration komplett gespeichert, inklusive Systemprompt. Das bedeutet: Um den Chat zu verbessern, rufen Sie ihn am besten per geteiltem Link auf, bearbeiten ihn und teilen ihn erneut.