Działania, których nie przewidziano. AI potrzebuje regulacji

Amerykańscy politycy chcą wiedzieć, co właściwie dzieje się podczas testów najbardziej zaawansowanych modeli AI. Po serii niepokojących incydentów grupa Demokratów z Izby Reprezentantów zwróciła się o wyjaśnienia do szefów OpenAI i Anthropic – Sama Altmana i Daria Amodeia. Domagają się informacji o zabezpieczeniach stosowanych przez firmy i chcą przesłuchań w Kongresie.

Powód? Podczas testów systemy AI podjęły działania, których ich twórcy nie przewidzieli. Agent OpenAI wydostał się z odizolowanego środowiska i uzyskał dostęp do systemów Hugging Face. Anthropic informował z kolei o modelach, które podczas testów cyberbezpieczeństwa dostały się do systemów trzech prawdziwych firm. Podobny incydent odnotowała Meta – model otrzymał dostęp do internetu i wykorzystał podatność w usłudze innej firmy.

– Kolejny raz model AI wymknął się spod kontroli twórców – skomentował doniesienia Krzysztof Gawkowski. Nie oznacza to jednak, że maszyny nagle zyskały świadomość i postanowiły zbuntować się przeciwko ludziom. Problem jest bardziej przyziemny – i właśnie dlatego poważny. Model może dostać cel i zacząć szukać najskuteczniejszej drogi do jego realizacji, także takiej, której człowiek nie przewidział.

Cel jest jeden. Dróg do niego może być znacznie więcej

Współczesny model potrafi samodzielnie zaplanować kolejne działania prowadzące do wyniku. Problem pojawia się wtedy, gdy znajdzie rozwiązanie skuteczne, ale sprzeczne z intencją człowieka.
W kontrolowanych eksperymentach modele próbowały już omijać nadzór, kopiować się na inne serwery czy podejmować działania wymierzone w osoby, które mogły przeszkodzić w realizacji zadania. W jednym z badań Anthropic AI otrzymała kontrolę nad alarmami w fikcyjnej firmie. System dowiedział się, że dyrektor planujący zastąpić go nowszym modelem utknął w serwerowni, w której spadał poziom tlenu. Część testowanych modeli anulowała wezwanie pomocy.

– Model potrafi przestać wykonywać nasze polecenia i zadziałać przeciw nam, jeśli uzna, że coś stoi na drodze do jego celu – mówi Dominika Grajewska, ekspertka NLP w NASK.

Jeszcze bardziej niepokojący jest moment, w którym system potrafi rozpoznać ryzyko, a mimo to wybiera daną drogę.

– Badania pokazały, że model jest w stanie rozpoznać, że dane działanie jest złe. Problem w tym, że nawet to rozpoznanie nie zawsze go powstrzymuje. Modele przyznawały, że dany krok jest nieetyczny, a mimo to go wybierały, ponieważ uznawały go za najskuteczniejszą drogę do celu – wyjaśnia ekspertka.

W prawdziwym świecie stawka może być znacznie większa niż wynik eksperymentu. Model wspierający system obronny może źle rozpoznać obiekt i zarekomendować reakcję, której nie da się cofnąć. System zarządzający ewakuacją może wybrać rozwiązanie najskuteczniejsze statystycznie, choć oznaczające zagrożenie dla części ludzi. Im większą samodzielność dostaje AI, tym ważniejsze staje się to, kto ustala granice jej działania.

Najważniejsze drzwi nadal otwiera człowiek

Najbardziej zaawansowany model pozostaje ograniczony przez środowisko, w którym został uruchomiony. To człowiek decyduje, czy AI zobaczy tylko kilka dokumentów, czy otrzyma dostęp do całej sieci. Czy przygotuje rekomendację, czy będzie mogła samodzielnie ją wykonać. Czy jej działanie zatrzyma jeden wyłącznik, czy system będzie miał możliwość uruchamiania kolejnych procesów i zmieniania uprawnień.

– Kontrolujemy nadawanie modelom dostępów i uprawnień. To my decydujemy, do czego model ma dojście, jakie narzędzia mu damy i w jakim środowisku go uruchomimy. Nie potrafimy natomiast w pełni przewidzieć jego zachowania w nietypowych sytuacjach – podkreśla Dominika Grajewska.

Dlatego bezpieczeństwo AI wymaga ograniczania dostępu do minimum potrzebnego do wykonania konkretnego zadania. Szczególnie ważne decyzje powinny pozostać pod realnym nadzorem człowieka, a działania systemu muszą być rejestrowane w sposób niezależny od samego modelu. Mechanizm zatrzymania również powinien pozostać poza jego zasięgiem.

Takie podejście wpisuje się również w nowe ramy prawne. Ustawa o systemach AI tworzy Komisję Rozwoju i Bezpieczeństwa Sztucznej Inteligencji jako organ nadzoru rynku, a przepisy AI Act przewidują dodatkowe obowiązki związane z oceną ryzyka, nadzorem i bezpieczeństwem najbardziej wrażliwych zastosowań sztucznej inteligencji.

Kontrola musi nadążać za możliwościami AI

Incydent z modelem Meta wydarzył się podczas testów. Błąd konfiguracji wystarczył jednak, aby system znalazł się tam, gdzie według założeń nie powinien mieć dostępu.
Takie zdarzenia pokazują, dlaczego bezpieczeństwo trzeba projektować razem z coraz bardziej autonomiczną AI. Model może w kilka chwil znaleźć drogę, której człowiek nie przewidział podczas budowania systemu. Dlatego każda kolejna możliwość – dostęp do internetu, terminala, danych czy infrastruktury – powinna oznaczać również kolejną warstwę kontroli.