Wir haben ein Beispiel-RAG entsprechend der Grundanleitung erstellt. Der Bot beantwortet Fragen aus diesem Wiki für den gesamten Portalbereich KI (allerdings auch nur dazu!), zusätzlich sind die Mitarbeitenden des LLZ mit ihren Kontaktdaten hinterlegt. Sie können den Systemprompt für die Zeit des Logins ändern, er ist aber bereits optimiert.
Einschränkung: Die RAG-Nutzung liefert mit dem voreingestellten LLM die besten Ergebnisse. Alternativ können Sie noch MetaLlama 3.1. 8KB einstellen, andere LLM aber nicht (Buchsymbol neben dem LLM). Zudem scheint es derzeit nach mehreren Anfragen zu Problemen mit dem Systemspeicher zu kommen, daher steht am Ende jeder Antwort die Kurzanweisung, wie man den Speicher wieder freigibt. Wenn sich die Antwort merklich verzögert, nutzen Sie diese Anleitung zum Löschen des Verlaufs.
Typische Fragen wären etwa: Was nützt KI Studierenden? Wo finde ich eine Anleitung zu MLU-KI? Was muss ich rechtlich beachten? Wer berät mich dazu? Wo finde ich den Selbstlernkurs für Lehrende usw. Die Antworten sind jeweils auf die Inhalte dieses Wiki-Portals zu KI beschränkt, eine Frage nach der Aufzeichnungstechnik im Hörsaal IX führt daher zu keiner sinnvollen Antwort, auch wenn sich diese Information hier im Wiki an anderer Stelle befindet.
Umsetzung des Beispiels
Bei der Erstellung des Beispiels ist uns bewusst geworden, wie wichtig die Umwandlung der Wiki-Seiten (oder PDF- oder Text-Dateien) in maschinenlesbare Inhalte und Strukturen ist. Ein direktes Kopieren der HTML-Seiten in das RAG führt ebenso zu schlechten Ergebnissen wie die Ausgabe der Seiten im JSON-Format durch das Media-Wiki selbst.
Hinzu kommt aus technischer Sicht, dass Textabschnitte für eine schnelle Bearbeitung in relativ kurze "chunks" unterteilt sein sollten. Und diese chunks sollten zudem möglichst viele Metadaten zu ihrem jeweiligen Inhalt umfassen, um der KI-Maschine präzise Antworten zu ermöglichen. Das klingt aufwändig und kompliziert (ist es auch) - aber zum Glück gibt es ja KI ;).
Wir sind so vorgegangen:
- Zunächst haben wir die Seiten unseres Portals im Browser kopiert und als einfache Textdatei abgespeichert. Für die Portalseite zur MLU-KI sieht das z.B. dann so aus: