Od modeli do wdrożeń – PLLuM na ścieżce realnych zastosowań

– Mamy zasoby, plan i pomysły – mówił podczas rozpoczęcia spotkania podsumowującego projekt PLLuM Radosław Nielek, dyrektor NASK. – Nie jesteśmy w połowie drogi, nawet w jednej czwartej – jesteśmy na jej początku, a przed nami ogrom pracy. Będziemy dążyć w stronę horyzontu, który wyznaczają dynamicznie rozwijające się modele sztucznej inteligencji.

PLLuM to odpowiedź na konkretne zapotrzebowania.

– Administracja publiczna w Polsce potrzebuje automatyzacji i usprawnienia pracy. Projekty takie jak PLLuM to szansa na rozwój kompetencji nie tylko naukowców, ale i pracowników samorządowych. Polska nie może się zatrzymywać; musi stawiać na rozwiązania, które budują nowoczesne państwo – mówiła Aleksandra Tomaszewska, zastępczyni dyrektora Departamentu Badań i Innowacji w Ministerstwie Cyfryzacji.

Podsumowanie projektu HIVE AI

Wyniki prac konsorcjum zaprezentowali dr Agnieszka Karlińska, kierowniczka Zakładu Dużych Modeli Językowych w NASK i kierowniczka HIVE AI, oraz dr hab. Piotr Pęzik, prof. Uniwersytetu Łódzkiego, kierownik operacyjny.

W trakcie trwania projektu:

• opublikowano 8 nowych modeli PLLuM, w tym 5 na licencjach w pełni otwartych;
• udostępniono dwa autorskie zbiory danych do dostrajania i wychowania LLM-ów (ang. alignment) – PLLuMIC oraz PLLuM-Align – wraz ze szczegółowym opisem metodologii ich tworzenia;
• przekazano do testów dwa prototypy inteligentnego asystenta obywatelskiego.

To jednak tylko część rezultatów. Kolejnych 11 modeli jest gotowych do publikacji. Będą to nowe odsłony sprawdzonych modeli PLLuM o rozmiarach 8, 12 i 70 miliardów parametrów, a także nowość w rodzinie – model o rozmiarze 4 miliardów parametrów.

– Mniejszy model stworzyliśmy z myślą o instytucjach z ograniczoną infrastrukturą obliczeniową. To efektywne narzędzie do konkretnych zadań, takich jak choćby klasyfikacja dokumentów – wyjaśniała dr Agnieszka Karlińska.

Premiera nowych modeli planowana jest na koniec stycznia. Udostępnione zostaną na szerokich licencjach, które pozwolą na zastosowania komercyjne. Kierownicy projektu zapowiedzieli również publikację kolejnych podzbiorów danych do dostrajania modeli oraz autorskiej aplikacji do anotacji instrukcji i preferencji. Już dziś odświeżone wersje PLLuM 12B-nc oraz PLLuM 8x7B-nc, a więc modeli opracowanych dla celów badawczych, są dostępne w aplikacji PLLuM Chat.

Nowe dane, nowe kompetencje

Nowe modele PLLuM trenowane były na rozszerzonych i zaktualizowanych zbiorach danych, dlatego lepiej radzą sobie z zadaniami.

– Pozyskaliśmy nowe korpusy do pretreningu, sięgając po nieoczywiste źródła, takie jak dokumenty wyodrębnione z załączników publikowanych na portalach rządowych i w Biuletynach Informacji Publicznej. Zakupiliśmy również wysokiej jakości dane prasowe od wydawców oraz zaktualizowaliśmy dotychczasowe źródła. Istotnym elementem prac była rygorystyczna weryfikacja licencji oraz zastrzeżeń związanych z eksploracją tekstów i danych (TDM), prowadzona w zgodzie z wymogami unijnego AI Act i polskiego prawa autorskiego. Równolegle pracowaliśmy nad nowymi danymi do posttreningu. Postawiliśmy na instrukcje i preferencje tworzone ręcznie według ścisłych wytycznych. Naszym celem było nauczenie modeli realizacji nowych zadań – przede wszystkim generatywnych – przy zachowaniu wysokiej poprawności językowej – wyjaśniała podczas spotkania dr Agnieszka Karlińska.

Nowe kompetencje modeli PLLuM obejmują przede wszystkim:

• tworzenie tekstów prawniczych i urzędowych,
• realizację zadań biurowo-administracyjnych,
• upraszczanie języka.

Punktem wyjścia były potrzeby polskiej administracji, ale zespół rozwijający PLLuM patrzył szerzej. Modele trenowano także pod kątem tworzenia treści, rozumowania i pracy w scenariuszach opartych na mechanizmach RAG. Zakres tych zadań ustalono na podstawie analizy użycia aplikacji PLLuM Chat – od końca lutego 2025 roku użytkownicy zadali tam modelom ponad 1,6 mln pytań.

Modele od podstaw i współpraca z Mistral AI

Jednym z najbardziej ambitnych przedsięwzięć zrealizowanych w ramach projektu HIVE AI był trening modelu o rozmiarze 24 miliardów parametrów od wag losowych.

– Polskojęzyczne LLM-y powstawały dotychczas poprzez adaptację wielojęzycznych modeli fundamentalnych. To podejście skuteczne, ale ograniczające transparentność – tłumaczyła dr Karlińska. – Chcieliśmy sprawdzić, czy w polskich warunkach da się zbudować model od zera, wyłącznie na własnych danych. Wierzymy, że pomoże to lepiej zrozumieć, jak działają duże modele językowe.

W pełni transparentny model PLLuM, trenowany na około 850 miliardach tokenów w języku polskim i angielskim, zostanie udostępniony jeszcze w tym miesiącu.

Nieco później ukaże się model opracowany we współpracy z francuską firmą Mistral AI, zajmującą się tworzeniem otwartych, wielojęzycznych modeli językowych. Mimo formalnego zakończenia projektu HIVE AI trwają intensywne prace nad modelem o roboczej nazwie Polstral. Jest to adaptacja językowa modelu bazowego Mistral-Small-24B, przeprowadzona na stosunkowo dużej puli wysokiej jakości danych angielskich i polskich (ok. 700 miliardów tokenów), z których znaczną część dostarczył właśnie Mistral AI.

– Co ważne, dzięki współpracy z zespołem inżynierów firmy Mistral AI dane te zostały dobrane w taki sposób, aby uniknąć tzw. problemu katastrofalnego zapominania wiedzy i umiejętności modeli w procesie dostrajania – mówił prof. Piotr Pęzik, kierownik operacyjny HIVE AI. – Spodziewamy się, że Polstral będzie równie dobry w zadaniach ogólnych jak modele instrukcyjne z serii Mistral-Small, a jednocześnie ponadprzeciętny w generowaniu szerokiego spektrum gatunków tekstów w języku polskim, w tym tekstów z domeny urzędowej. Osobiście jestem zwolennikiem celowanej adaptacji językowej – uważam, że modele niewielkich i średnich rozmiarów mogą być dobre w zadaniach generatywnych, w odróżnieniu od pasywnego rozumienia i przetwarzania treści, w maksymalnie kilku wybranych językach – dodaje.

W prace nad nowym modelem zaangażowani są eksperci z NASK, Uniwersytetu Łódzkiego, ACK Cyfronet oraz Politechniki Wrocławskiej.

Plany na przyszłość

W tym roku projekt PLLuM skoncentruje się na dwóch filarach: wdrożeniowym oraz badawczym. Priorytetem jest budowa aktywnego ekosystemu współpracy i społeczności, która pozwoli na realne wykorzystanie modeli w administracji publicznej (m.in. w aplikacji mObywatel) oraz samorządach.

– W planach badawczych kluczowe miejsce zajmuje stworzenie pierwszego polskiego komercyjnego modelu wizyjno-językowego oraz dalsza, rygorystyczna ewaluacja jakości danych – mówił Wojciech Kusa, kierownik Zakładu Inżynierii Lingwistycznej i Analizy Tekstu NASK. – Sukces tych rozwiązań zależy od ścisłej współpracy między nauką a sektorem publicznym, dlatego twórcy otwierają się na wspólne budowanie zbiorów danych i wymianę doświadczeń poprzez nową platformę współpracy.

Kolejnym elementem nadchodzących działań jest intensyfikacja wdrożeń w administracji publicznej, ze szczególnym uwzględnieniem aplikacji mObywatel. Planowany rozwój tego największego wdrożenia obejmuje nie tylko dodawanie nowych funkcjonalności czatbota, ale przede wszystkim podniesienie rygoru naukowego poprzez zaawansowane testy i ewaluację poprawności. Równolegle, bazując na sukcesach w Gdyni i Poznaniu, projekt otwiera się na współpracę z kolejnymi jednostkami samorządowymi.

Wdrożenia modeli PLLuM

W projekcie HIVE AI nauka od razu spotyka się z praktyką – badania od początku miały swój konkretny cel wdrożeniowy. Modele PLLuM zostały pilotażowo udostępnione w:

• Ministerstwie Cyfryzacji w formie wewnętrznego asystenta;
• w dwóch urzędach miejskich – Gdyni oraz Poznania;
• aplikacji mObywatel jako wirtualny asystent, który rozwijany jest przez Centralny Ośrodek Informatyki.

W Gdyni dostrojona do potrzeb urzędu wersja modelu PLLuM zasiliła miejską wyszukiwarkę. Mieszkańcy mogą zadawać pytania w języku naturalnym, a system wskazuje odpowiednie dokumenty z Biuletynu Informacji Publicznej.

W Poznaniu modele PLLuM pomagają urzędnikom szybciej wyszukiwać informacje i sprawniej odpowiadać na pytania mieszkańców. Pilotażowe wdrożenie zrealizowano z użyciem aplikacji ShpaRAG, która wspiera szybkie prototypowanie i testowanie rozwiązań typu RAG. W trakcie pilotażu około 90% odpowiedzi asystenta okazało się w pełni poprawnych.

W aplikacji mObywatel modele PLLuM wspierają ponad 10 milionów użytkowników, pomagając znaleźć właściwe wnioski i formularze. Podpowiadają też jak załatwić formalności czy informują o możliwościach aplikacji.