Lokalna AI i systemy RAG – zgodnie z RODO

Lokalna AI dla firm oznacza, że model językowy, indeks wyszukiwania i dokumenty działają w miejscu, które kontrolujesz: na serwerze w Twojej sieci albo na dedykowanym serwerze w niemieckim centrum danych. Lokalny LLM to model open source, który tam instaluję. Twoje pytania i dokumenty nie trafiają do żadnego dostawcy z USA i nic z tego nie służy do trenowania modelu.

To upraszcza kwestie ochrony danych, które przy AI w chmurze zwykle trwają najdłużej. Jeśli wszystko działa w firmie, nie ma zewnętrznego dostawcy AI jako podmiotu przetwarzającego ani przekazywania danych do państwa trzeciego. Przy wynajętym serwerze w UE dochodzi umowa powierzenia przetwarzania z centrum danych. Podstawy prawnej przetwarzania potrzebujesz w obu przypadkach, lokalna praca jej nie zastępuje.

AI zgodna z RODO to więc nie produkt, który się kupuje, lecz starannie skonfigurowana eksploatacja: jakie dane mogą trafić do systemu, kto co może widzieć, jak długo coś jest przechowywane. Przygotowuję te punkty technicznie i na piśmie. Ocenę prawną robisz w porozumieniu ze swoim inspektorem ochrony danych, a moja praca nie zastępuje porady prawnej.

W październiku 2025 roku Datenschutzkonferenz, gremium niezależnych niemieckich organów ochrony danych szczebla federalnego i krajów związkowych, opublikowała wytyczne dotyczące generatywnych systemów AI z metodą RAG. Wniosek: RAG może poprawić poprawność i identyfikowalność odpowiedzi, a w wielu przypadkach pozwala na pracę na miejscu, więc dane osobowe nie trafiają do operatorów dużych modeli językowych online. Mimo to pojawiają się nowe pytania.

Jeśli chcesz używać AI zgodnie z RODO, wynikają z tego cztery praktyczne punkty. System RAG również potrzebuje podstawy prawnej, bo Twoje dokumenty są przetwarzane i zapisywane w indeksie. Dostęp należy oprzeć na koncepcji uprawnień i ról, z podziałem na działy lub cele. Wpisy w indeksie można usuwać pojedynczo, więc okresy przechowywania obowiązują także tam. A odpowiedzi są tylko tak dobre jak aktualne, kompletne dokumenty.

Tak właśnie konfiguruję system RAG dla firm: uprawnienia przejęte z Twoich zasobów plików, rejestr dopuszczonych dokumentów, usuwanie aż do poziomu indeksu i logowanie, które źródła poparły odpowiedź. Wytyczne jasno mówią też, czego RAG nie rozwiązuje, na przykład pytań o trening samego modelu językowego. Dlatego sprawdzam i dokumentuję przydatność modelu, tak jak zaleca organ nadzorczy.

Są dwie drogi. Własny serwer w Twoich pomieszczeniach pasuje, jeśli masz już serwerownię lub szafę rack, a dane w ogóle nie powinny opuszczać budynku. Dedykowany serwer w niemieckim centrum danych pasuje, jeśli nie chcesz utrzymywać sprzętu albo dostęp potrzebny jest z kilku lokalizacji. Oprogramowanie jest w obu przypadkach takie samo, więc późniejsza przeprowadzka pozostaje możliwa.

Kluczowa jest karta graficzna. Wyszukiwanie i indeks działają na zwykłym sprzęcie serwerowym, natomiast lokalny LLM, który formułuje odpowiedzi, mocno zyskuje na karcie graficznej z wystarczającą ilością pamięci. Jak duży musi być model i karta, zależy od liczby użytkowników, długości odpowiedzi i języka. Mniejsze modele wystarczają do wielu zadań, a sprawdzamy to w pilotażu, zanim kupisz sprzęt.

Polecam zacząć od dokładnie jednego zastosowania i do niego dobrać sprzęt. Są też przypadki, w których lokalna AI się nie opłaca: gdy chodzi o garstkę dokumentów, pytanie pada rzadko albo tak naprawdę chodzi o liczby i zestawienia, które lepiej dostarczy baza danych. Mówię Ci to otwarcie, zanim pojawią się jakiekolwiek koszty pracy.

Najwięcej daje baza wiedzy AI z własnych dokumentów tam, gdzie wiedza leży w folderach i wciąż ktoś jej szuka. W BSU-Holding system tworzy z umów, specyfikacji usług i dawnych ofert projekty ofert, które opuszczają firmę dopiero po zatwierdzeniu. Równie dobrze sprawdzają się pytania o umowy, wiedza wdrożeniowa dla nowych pracowników, projekty odpowiedzi na powtarzalne e-maile i streszczenia protokołów.

AI może się mylić, także z RAG. Może przeoczyć fragment, błędnie połączyć dwa dokumenty albo odpowiedzieć na podstawie nieaktualnej wersji. RAG tego nie wyklucza, ale sprawia, że błędy da się sprawdzić: każda odpowiedź podaje źródła, a jedno kliknięcie pokazuje akapit. Dlatego przy wszystkim, co wychodzi na zewnątrz, akceptację daje człowiek, a nieaktualne dokumenty są usuwane z indeksu.

Czy to się u Ciebie sprawdzi, pokaże dopiero pilotaż na prawdziwych danych z pytaniami z codziennej pracy. Pracuję zdalnie lub na miejscu w Berlinie i Brandenburgii, więc AI dla firm w Berlinie oznacza u mnie też jedną osobę kontaktową, która zna Twoją sieć. Zamiast doradztwa AI ze slajdami dostajesz działający prototyp i uczciwy pomiar, czy oszczędza czas.