AI Agent
Projektujemy AI w granicach uprawnień, danych koniecznych dla zadania i kontrolowanych procesów aplikacji.
Agent AI nie powinien być skrótem do bazy danych ani uprawnień administracyjnych. Działa w granicach określonych przez aplikację i konkretny proces. Zanim dane trafią do zadania AI, zaufane elementy aplikacji sprawdzają użytkownika, jego dostęp i cel zadania.
| Pytanie | Odpowiedzialność aplikacji | |---|---| | Kim jest użytkownik? | uwierzytelnianie | | Co może odczytać lub zrobić? | autoryzacja i role | | Które dane widzi? | zakres organizacji, klienta, dokumentu lub tenantów | | Którą akcję może wykonać? | walidacja działania i uprawnienie do zatwierdzenia |
Prawo do odczytu rekordu nie daje automatycznie prawa do jego zmiany, zwrotu płatności ani zmiany dostępu innej osoby. Zatwierdzenie przez pracownika może być wymagane przez proces, ale nie zastępuje kontroli technicznych.
W hipotetycznym zgłoszeniu supportowym AI może otrzymać treść zgłoszenia, produkt i aktualny status, aby przygotować podsumowanie. Nie potrzebuje hasła, tokenu sesji, faktur niezwiązanych ze sprawą ani danych innych klientów. Minimalizacja danych ogranicza zakres wejścia, lecz nie zastępuje egzekwowania uprawnień przed wyborem danych.
Użytkownik → [aplikacja: tożsamość, dostęp, zakres danych]
│
▼
wybrane dane dla zadania
│
▼
dostawca AI
│
▼
nieufny wynik → walidacja aplikacji → dozwolona akcjaW przykładzie asystenta wiedzy aplikacja najpierw ogranicza wyszukiwanie do dokumentów dostępnych dla bieżącej osoby. W przypadku faktury AI może zasugerować wyodrębnione wartości, ale aplikacja sprawdza format i reguły, a osoba uprawniona weryfikuje je przed istniejącą akceptacją. To przykłady ilustracyjne, nie wdrożenia klientów GiSoft.
Prompt injection to próba umieszczenia w wiadomości klienta lub dokumencie polecenia, które ma skłonić AI do pominięcia zasad zadania. Taka treść jest danymi nieufnymi, a nie instrukcją aplikacji. Ochrona obejmuje ograniczenie kontekstu, wyraźne rozdzielenie instrukcji od treści, walidację wyników i ograniczenie dostępnych narzędzi. Żaden pojedynczy mechanizm nie usuwa całego ryzyka.
Kategorie, podsumowania, wartości z faktury i proponowane działania muszą zostać sprawdzone, zanim wpłyną na rekord biznesowy. Ustrukturyzowany JSON lub wysoki wynik pewności nie są gwarancją poprawności. Sekrety integracji nie powinny trafiać do promptów, kontekstu ani odpowiedzi, a oddzielna warstwa integracji sama nie zapewnia poufności.
Przydatny zapis operacyjny może obejmować identyfikator sprawy, użytkownika, użyte źródła, wersję procesu, wynik walidacji i zatwierdzoną akcję. Nie oznacza to przechowywania pełnych promptów lub dokumentów bez potrzeby. Przy opóźnionym wyniku ponownie sprawdzamy istotne uprawnienia przed wyświetleniem wyniku albo działaniem.
Timeout dostawcy, niepełny wynik, cofnięty dostęp, niedostępny dokument lub anulowanie zadania powinny prowadzić do widocznego stanu i zachowania określonego dla danego procesu. Ręczny fallback jest użyteczny tylko wtedy, gdy został zaprojektowany i sprawdzony. AI może wspierać pracę, lecz autorytatywne dane, decyzje i działania pozostają pod kontrolą aplikacji oraz uprawnionych osób.