Lokale KI & RAG-⁠Systeme für Unternehmen, DSGVO-konform

Lokale KI für Unternehmen bedeutet, dass Sprachmodell, Suchindex und Dokumente an einem Ort laufen, den Sie kontrollieren: auf einem Server in Ihrem Netzwerk oder auf einem dedizierten Server in einem deutschen Rechenzentrum. Das lokale LLM ist ein Open-Source-Modell, das ich dort installiere. Ihre Fragen und Dokumente gehen an keinen US-Anbieter, und nichts davon wird zum Training eines Modells verwendet.

Das vereinfacht die Datenschutzfragen, die bei Cloud-KI meist am längsten dauern. Läuft alles im eigenen Haus, gibt es keinen externen KI-Anbieter als Auftragsverarbeiter und keine Übermittlung in ein Drittland. Beim gemieteten Server in der EU kommt ein Auftragsverarbeitungsvertrag mit dem Rechenzentrum hinzu. Eine Rechtsgrundlage für die Verarbeitung brauchen Sie in beiden Fällen, sie entfällt durch den lokalen Betrieb nicht.

DSGVO-konforme KI ist deshalb kein Produkt, das man kauft, sondern ein Betrieb, den man sauber aufsetzt: welche Daten hinein dürfen, wer was sehen darf, wie lange etwas gespeichert bleibt. Ich bereite diese Punkte technisch und schriftlich vor. Die rechtliche Bewertung treffen Sie in Abstimmung mit Ihrem Datenschutzbeauftragten, eine Rechtsberatung ersetzt meine Arbeit nicht.

Im Oktober 2025 hat die Datenschutzkonferenz, das Gremium der unabhängigen Datenschutzaufsichtsbehörden von Bund und Ländern, eine Orientierungshilfe zu generativen KI-Systemen mit RAG-Methode veröffentlicht. Ihr Befund: RAG kann Richtigkeit und Nachvollziehbarkeit von Antworten verbessern und erlaubt in vielen Fällen den Betrieb vor Ort, sodass personenbezogene Daten nicht an Online-Betreiber großer Sprachmodelle gehen. Neue Fragen entstehen trotzdem.

Wer KI DSGVO-konform einsetzen will, kann daraus vier praktische Punkte mitnehmen. Auch ein RAG-System braucht eine Rechtsgrundlage, denn Ihre Dokumente werden verarbeitet und im Index gespeichert. Zugriffe gehören in ein Rechte- und Rollenkonzept, getrennt nach Abteilungen oder Zwecken. Einträge im Index lassen sich gezielt löschen, Aufbewahrungsfristen gelten also auch dort. Und die Antworten sind nur so gut wie aktuelle, vollständige Dokumente.

Danach richte ich ein RAG-System für Unternehmen aus: Berechtigungen aus Ihren Ablagen, ein Verzeichnis der zugelassenen Dokumente, Löschung bis in den Index und eine Protokollierung, welche Quellen eine Antwort gestützt haben. Die Orientierungshilfe sagt auch, was RAG nicht löst, etwa Fragen zum Training des Sprachmodells selbst. Deshalb prüfe und dokumentiere ich die Eignung des Modells, wie es die Aufsicht empfiehlt.

Für den Betrieb gibt es zwei Wege. Ein eigener Server in Ihren Räumen passt, wenn Sie schon einen Serverraum oder ein Rack haben und die Daten das Gebäude gar nicht verlassen sollen. Ein dedizierter Server in einem deutschen Rechenzentrum passt, wenn Sie keine Hardware pflegen wollen oder mehrere Standorte zugreifen. Die Software ist in beiden Fällen dieselbe, ein späterer Umzug bleibt möglich.

Entscheidend ist die Grafikkarte. Suche und Index laufen auf normaler Server-Hardware, das Formulieren der Antworten durch das lokale LLM profitiert dagegen stark von einer Grafikkarte mit ausreichend Grafikspeicher. Wie groß Modell und Karte sein müssen, hängt von Nutzerzahl, Antwortlänge und Sprache ab. Kleinere Modelle reichen für viele Aufgaben, und das klären wir im Pilot, bevor Hardware gekauft wird.

Ich empfehle, mit genau einem Anwendungsfall zu beginnen und die Hardware danach auszurichten. Es gibt auch Fälle, in denen sich lokale KI nicht lohnt: wenn nur eine Handvoll Dokumente betroffen ist, eine Frage selten gestellt wird oder es eigentlich um Zahlen und Auswertungen geht, die eine Datenbank besser liefert. Das sage ich Ihnen offen, bevor Aufwand entsteht.

Am meisten bringt eine KI-Wissensdatenbank aus eigenen Dokumenten dort, wo Wissen in Ordnern steckt und immer wieder gesucht wird. Bei der BSU-Holding erstellt das System aus Verträgen, Leistungsverzeichnissen und Altangeboten Angebotsentwürfe, die erst nach Freigabe das Haus verlassen. Ebenso gut eignen sich Vertragsfragen, Onboarding-Wissen für neue Mitarbeitende, Antwortentwürfe auf wiederkehrende E-Mails und Zusammenfassungen von Protokollen.

Eine KI kann sich irren, auch mit RAG. Sie kann eine Stelle übersehen, zwei Dokumente falsch verbinden oder aus einem veralteten Stand antworten. RAG schließt das nicht aus, macht Fehler aber prüfbar: Jede Antwort nennt ihre Quellen, ein Klick zeigt den Absatz. Für alles, was nach außen geht, bleibt deshalb ein Mensch in der Freigabe, und veraltete Dokumente werden aus dem Index entfernt.

Ob das bei Ihnen trägt, zeigt nur ein Pilot auf echten Daten mit Fragen aus Ihrem Alltag. Ich arbeite remote oder vor Ort in Berlin & Brandenburg, KI für Unternehmen in Berlin heißt bei mir also auch: ein Ansprechpartner, der Ihr Netzwerk kennt. Statt KI-Beratung mit Folien gibt es einen funktionierenden Prototyp und eine ehrliche Messung, ob er Zeit spart.