Lokalna AI w firmie: jak działa system RAG zgodny z RODO

Co znaczy RAG – w jednym akapicie

RAG to skrót od Retrieval-Augmented Generation. Po ludzku: najpierw szukaj, potem pisz. Zanim model językowy napisze odpowiedź, system wyszukuje w Twoim zbiorze dokumentów pasujące fragmenty i podaje je modelowi jako podstawę. Odpowiedź nie powstaje więc z tego, czego model nauczył się kiedyś w internecie, lecz z Twoich umów, instrukcji, ofert i protokołów.

Kluczowy efekt uboczny: ponieważ system wie, z których akapitów pochodzi odpowiedź, może je wskazać. Każde stwierdzenie ma link do źródła. To różnica między narzędziem, któremu można zaufać, a chatbotem, który tylko brzmi wiarygodnie.

Dlaczego Twoje dokumenty zostają w firmie

System RAG składa się z trzech części: indeksu, w którym Twoje dokumenty leżą podzielone na przeszukiwalne fragmenty, wyszukiwarki, która do każdego pytania znajduje pasujące fragmenty, oraz modelu językowego, który formułuje z nich odpowiedź. Wszystkie trzy części mogą działać na serwerze w Twojej sieci – albo na wynajętym serwerze w niemieckim centrum danych, jeśli nie chcesz utrzymywać własnego sprzętu.

Nic z tego nie jest wtrenowywane w model. Dokumenty leżą w indeksie, model pozostaje taki, jaki jest. Usuwasz dokument – znika z indeksu. To usunięcie, które możesz też udowodnić organowi ochrony danych.

Trzy zastosowania, które sprawdziły się u klientów

• Tworzenie ofert: system czyta porównywalne dawne oferty, specyfikację usług i umowę ramową i dostarcza projekt z pozycjami i cenami – wraz z informacją, która pozycja opiera się na którym dokumencie.
• Odpowiedzi na pytania o umowy i regulaminy: „Jaki okres wypowiedzenia obowiązuje u dostawcy X?” albo „Co nasz regulamin podróży mówi o wynajmie aut?” – odpowiedź w sekundy, ze wskazaniem akapitu.
• Odciążenie wdrożenia i wsparcia: nowi pracownicy pytają system zamiast koleżanki; odpowiedzi są spójne, bo pochodzą z tych samych dokumentów.

Czego konkretnie wymaga działanie zgodne z RODO

• Rejestr, jakie rodzaje dokumentów mogą trafić do indeksu – akta pracownicze zwykle nie.
• Uprawnienia dostępu przejęte z systemu plików: kto nie może otworzyć pliku, nie dostanie też odpowiedzi z niego.
• Logowanie zapytań i źródeł, aby wyniki dało się później prześledzić.
• Akceptacja człowieka dla wszystkiego, co wychodzi na zewnątrz – oferta opuszcza firmę dopiero po sprawdzeniu.
• Przy wynajętym serwerze: umowa powierzenia przetwarzania i lokalizacja w UE.

Sprzęt i realistyczny harmonogram

Do wyszukiwania dokumentów i projektów tekstów w małej firmie zwykle wystarczy serwer z wydajną kartą graficzną. Alternatywą jest wynajęty serwer GPU w niemieckim centrum danych, jeśli nie chcesz mieć sprzętu na miejscu. Samo oprogramowanie jest open source i nie wymaga licencji – oba warianty dobieram do ilości danych i liczby użytkowników.

Pierwsze produkcyjne zastosowanie działa zwykle po trzech do pięciu tygodniach: tydzień na przegląd dokumentów i ustalenie zasad dostępu, dwa tygodnie na budowę i testy z prawdziwymi pytaniami z codziennej pracy, potem szkolenie zespołu. Dopiero gdy ten jeden przypadek działa, przychodzi kolejny.