Jak wychować AI? Poznaj PLLuM-Align

Do tej pory polscy twórcy modeli językowych dysponowali obszernymi zasobami tekstowymi, ale brakowało im zbioru danych umożliwiającego alignment. To „wychowanie” LLM-ów tak, aby udzielały odpowiedzi nie tylko zgodnych z faktami, ale też bezpiecznych, pozbawionych uprzedzeń oraz adekwatnych do polskiego kontekstu kulturowego. Ten brak stanowił istotną barierę dla odpowiedzialnego rozwoju modeli polskojęzycznych.

– Alignment, który nazywamy „wychowaniem”, to proces uczenia modelu, jakich odpowiedzi powinien udzielać, a jakich unikać – wyjaśnia mgr Karolina Seweryn.

Zespół koordynowany przez badaczki z NASK – dr Annę Kołos, mgr Karolinę Seweryn i dr Agnieszkę Karlińską – wypełnił tę lukę, udostępniając PLLuM-Align.

– Przygotowanie zbioru było procesem wieloetapowym – tłumaczy dr Anna Kołos. – Zaczynaliśmy od stworzenia kilku kategorii promptów odpowiadających realnym wyzwaniom, z jakimi zmagają się modele językowe. Każdy prompt trafiał następnie do oceniających, którzy analizowali odpowiedzi generowane przez modele. Pracowaliśmy wyłącznie na danych ocenianych przez ludzi, a każdą informację weryfikowaliśmy ręcznie. Taka wieloetapowa procedura pozwoliła nam uzyskać zbiór jednocześnie zróżnicowany i bardzo wysokiej jakości.

PLLuM-Align to część większego zbioru, który wykorzystywany jest do dostrajania modeli z rodziny PLLuM. Zawiera 4 307 ręcznie ocenionych przykładów pytań i odpowiedzi, od prostych zapytań użytkowników, przez pytania wymagające faktograficznej precyzji, aż po tzw. prompty adwersaryjne, czyli celowo trudne, prowokacyjne i często niebezpieczne sytuacje, w których model może zostać skłoniony do wygenerowania treści szkodliwych. Dane te mogą być wykorzystane do alignmentu polsko- lub wielojęzycznych modeli językowych.

– Preferencje są jednym z najważniejszych narzędzi w procesie dostrajania modeli językowych. Dzięki nim modele uczą się nie tylko jasnego formułowania odpowiedzi, ale też rozróżniania między odpowiedziami pomocnymi a tymi, które mogą wprowadzać w błąd, wspierać szkodliwe narracje lub naruszać normy społeczne. Dzięki preferencjom chcemy nauczyć modele PLLuM tworzenia treści, które są jednocześnie poprawne merytorycznie i językowo, pomocne oraz możliwie wyważone i bezpieczne – wyjaśnia dr Agnieszka Karlińska, kierowniczka projektu HIVE AI, w ramach którego rozwijane są obecnie modele PLLuM.

ABC PLLuM-Align

Zbiór preferencji składa się z promptów (zapytań do modeli) i par odpowiedzi ocenianych wysoko i nisko m.in. pod kątem poprawności, pomocności, spójności czy szeroko rozumianego bezpieczeństwa.

– Nasze eksperymenty pokazują, że modele wychowane z wykorzystaniem PLLuM-Align nie tylko tworzą trafniejsze i bardziej pomocne odpowiedzi, ale także znacznie lepiej radzą sobie w sytuacjach prowokacyjnych. To ważny krok w kierunku bezpieczniejszych modeli językowych dostosowanych do polskiego kontekstu – mówi mgr Karolina Seweryn.

W przygotowanie promptów i ocenę odpowiedzi zaangażowanych było ponad 50 osób, w tym członkowie zespołu NASK oraz inni partnerzy konsorcjum PLLuM, dzięki czemu udało się uwzględnić różnorodne perspektywy i doświadczenia. Twórcy zbioru świadomie zrezygnowali z metod automatycznego generowania preferencji, żeby zagwarantować najwyższą jakość merytoryczną i bezpieczeństwo.

To podejście wyraźnie odróżnia PLLuM-Align od wielu anglojęzycznych zbiorów, które często korzystają z danych syntetycznych, a więc tworzonych przez inne modele językowe. Dzięki temu PLLuM-Align idealnie nadaje się do treningu modeli wykorzystywanych w krytycznych zastosowaniach – np. w administracji publicznej, edukacji, sektorze prawnym czy ochronie zdrowia.

Otwarty i dostępny dla każdego

Zbiór PLLuM-Align został udostępniony na otwartej licencji na platformie Hugging Face i może być wykorzystywany zarówno do badań naukowych, jak i rozwoju aplikacji komercyjnych. Udostępniając go publicznie, zespół PLLuM i HIVE AI chce wspierać rozwój bezpiecznego, odpowiedzialnego i transparentnego ekosystemu modeli językowych w Polsce. Szczegółowy opis procedury tworzenia zbioru oraz możliwe sposoby jego wykorzystania zostały przedstawione w ogólnodostępnej publikacji.

Prace nad zbiorem preferencji prowadzone były w ramach projektu PLLuM, realizowanego przez konsorcjum naukowe, w skład którego – poza NASK – wchodziły Politechnika Wrocławska (lider), Instytut Podstaw Informatyki PAN, Instytut Slawistyki PAN, Ośrodek Przetwarzania Informacji Państwowy Instytut Badawczy oraz Uniwersytet Łódzki. Prace nad rozwojem modeli PLLuM i dalszym udoskonalaniem zbioru są kontynuowane w ramach konsorcjum HIVE AI, którego liderem pozostaje NASK.