Lokale KI im Unternehmen: So funktioniert ein DSGVO-konformes RAG-System

Was RAG bedeutet – in einem Absatz

RAG steht für Retrieval-Augmented Generation. Übersetzt: erst suchen, dann formulieren. Bevor das Sprachmodell eine Antwort schreibt, sucht das System in Ihrem Dokumentenbestand die passenden Textstellen heraus und legt sie dem Modell als Grundlage vor. Die Antwort entsteht also nicht aus dem, was das Modell irgendwann im Internet gelernt hat, sondern aus Ihren Verträgen, Handbüchern, Angeboten und Protokollen.

Der entscheidende Nebeneffekt: Weil das System weiß, aus welchen Absätzen die Antwort stammt, kann es sie nennen. Jede Aussage hat einen Link auf die Quelle. Das ist der Unterschied zwischen einem Werkzeug, dem man vertrauen kann, und einem Chatbot, der nur plausibel klingt.

Warum Ihre Dokumente dabei im Haus bleiben

Ein RAG-System besteht aus drei Teilen: einem Index, in dem Ihre Dokumente in durchsuchbare Abschnitte zerlegt liegen, einer Suche, die zu jeder Frage die passenden Abschnitte findet, und dem Sprachmodell, das daraus die Antwort formuliert. Alle drei Teile können auf einem Server in Ihrem Netzwerk laufen – oder auf einem gemieteten Server in einem deutschen Rechenzentrum, wenn Sie keine eigene Hardware betreiben wollen.

Nichts davon wird ins Modell hineintrainiert. Die Dokumente liegen im Index, das Modell bleibt, wie es ist. Löschen Sie ein Dokument, ist es aus dem Index verschwunden – eine Löschung, die Sie gegenüber der Datenschutzaufsicht auch nachweisen können.

Drei Anwendungsfälle, die sich bei Kunden bewährt haben

• Angebote erstellen: Das System liest vergleichbare Altangebote, das Leistungsverzeichnis und den Rahmenvertrag und liefert einen Entwurf mit Positionen und Preisen – inklusive der Angabe, welche Position auf welchem Dokument beruht.
• Vertrags- und Richtlinienfragen beantworten: „Welche Kündigungsfrist gilt beim Lieferanten X?“ oder „Was steht in unserer Reisekostenrichtlinie zu Mietwagen?“ – Antwort in Sekunden, mit Absatzangabe.
• Onboarding und Support entlasten: Neue Mitarbeitende fragen das System statt die Kollegin; die Antworten sind konsistent, weil sie aus denselben Dokumenten stammen.

Was ein DSGVO-konformer Betrieb konkret verlangt

• Ein Verzeichnis, welche Dokumentenarten in den Index dürfen – Personalakten zum Beispiel meist nicht.
• Zugriffsrechte, die die Berechtigungen aus dem Dateisystem übernehmen: Wer eine Datei nicht öffnen darf, bekommt auch keine Antwort daraus.
• Protokollierung der Anfragen und Quellen, damit sich Ergebnisse später nachvollziehen lassen.
• Eine menschliche Freigabe für alles, was nach außen geht – ein Angebot verlässt das Haus erst nach Prüfung.
• Bei gemietetem Server: ein Auftragsverarbeitungsvertrag und ein Standort in der EU.

Hardware und ein realistischer Zeitplan

Für Dokumentensuche und Textentwürfe reicht in kleinen Unternehmen meist ein Server mit einer leistungsfähigen Grafikkarte. Alternativ ein gemieteter GPU-Server in einem deutschen Rechenzentrum, wenn Sie keine Hardware im Haus haben wollen. Die Software selbst ist Open Source und braucht keine Lizenz – ich dimensioniere beides nach Datenmenge und Nutzerzahl.

Ein erster produktiver Anwendungsfall steht typischerweise nach drei bis fünf Wochen: eine Woche Dokumente sichten und Zugriffsregeln klären, zwei Wochen Aufbau und Test mit echten Fragen aus dem Alltag, danach Einweisung des Teams. Erst wenn dieser eine Fall funktioniert, kommt der nächste.