Nowe modele językowe są już dostępne. Rodzina PLLuM się powiększa

Zostały zaprojektowane z myślą o polskich realiach – od języka urzędowego po specjalistyczną terminologię – i przygotowane tak, aby łatwo je było dostroić do wybranego sektora czy zastosowania. To rozwiązania, które mogą stać się solidnym zapleczem dla narzędzi wspierających codzienną pracę w urzędach, firmach i instytucjach. 

– Biznes zwykle nie potrzebuje modeli do wszystkiego, tylko dobrze dopasowanych do kilku konkretnych zastosowań – podkreśla dr inż. Marek Kozłowski, kierownik AI Labu w OPI PIB (Ośrodek Przetwarzania Informacji – Państwowy Instytut Badawczy), zaangażowany w budowę modeli PLLuM. – W wielu przypadkach warto zacząć od mniejszych, tańszych modeli i dostrajać je do potrzeb organizacji. Często już kilka tysięcy przykładów treningowych wystarcza, by osiągnąć bardzo dobre rezultaty. Dopiero gdy to okaże się niewystarczające, warto sięgać po większe rozwiązania. 

Różne rozmiary i architektury nowo udostępnionych modeli pozwalają wybrać taki, który najlepiej pasuje do danego zakresu zastosowań i dostępnych mocy obliczeniowych. 

Nowa odsłona obejmuje trzy modele bazowe, różniące się rozmiarem i możliwościami: 

• LLama-PLLuM-8B-base-250801 – lekki, dobrze sprawdzający się jako generator w systemach RAG (czyli rozwiązaniach, które łączą model AI z bazą wiedzy, aby udzielać trafniejszych i bardziej wiarygodnych odpowiedzi); wymaga stosunkowo niewielkich zasobów obliczeniowych; 

• PLLuM-12B-base-250801 – model nadal kompaktowy, ale oferujący wyższą precyzję przy zachowaniu rozsądnych wymagań sprzętowych; 

• LLama-PLLuM-70B-base-250801 – największy z modeli, przeznaczony do zadań wymagających najwyższej jakości odpowiedzi; wymaga jednak odpowiednio większych zasobów obliczeniowych. 

Czym nowe wersje PLLuM różnią się od swoich poprzedników? 

Nowe modele zostały poddane adaptacji językowej przy użyciu starannie dobranego zestawu danych, który zawierał około 18 miliardów tokenów – głównie po polsku. Co prawda, ten zbiór jest mniejszy niż w przypadku modeli PLLuM-12B-nc-250715, ale na potrzeby treningu zastosowano bardzo rygorystyczne procedury weryfikacji tekstów pod kątem praw autorskich. To gwarantuje pełną legalność i możliwość komercyjnego wykorzystania modeli.  

Mniejszy rozmiar zbioru może oznaczać nieco ograniczone zdolności i bazy danych, jednak dzięki otwartej licencji użytkownicy mogą samodzielnie dostroić modele do swoich potrzeb. 

– Modele udostępniane na otwartych licencjach zostały wytrenowane na zbiorze danych, który przeszedł rygorystyczną weryfikację prawną i jakościową. Punktem wyjścia była szczegółowa analiza przepisów krajowych i unijnych, w tym znowelizowanej ustawy o prawie autorskim, aby zapewnić pełną legalność i możliwość komercyjnego wykorzystania modeli. W efekcie powstał mniejszy, ale bardzo starannie dobrany zbiór danych, obejmujący zasoby konsorcjantów, wyselekcjonowane dane internetowe – pochodzące z domeny publicznej, objęte licencjami Creative Commons lub bez zastrzeżeń TDM – oraz treści pozyskane od wydawców na podstawie umów licencyjnych. To podejście pozwala tworzyć modele gotowe do zastosowań w sektorze publicznym i w biznesie, bez ryzyka naruszeń praw autorskich – tłumaczy dr Agnieszka Karlińska, kierowniczka Zakładu Dużych Modeli Językowych w NASK PIB i kierowniczka HIVE AI, projektu, w ramach którego rozwijane są modele PLLuM 

Pierwsze wyniki pokazują, że nawet przy ograniczonym rozmiarze zbioru uczącego można osiągnąć znaczący postęp. 

– Nasze dotychczasowe doświadczenia pokazują, że nawet przy stosunkowo niewielkiej ilości danych do pretreningu możliwa jest udana adaptacja domenowa – zauważa dr hab. Piotr Pęzik, prof. UŁ, kierownik operacyjny HIVE AI. – Przykładem jest Llama-PLLuM-70B, o której mówiliśmy na początku tego roku przy okazji jego udanych wdrożeń biznesowych. Wstępne wyniki dostosowywania nowych modeli do języka polskiego pokazują duży postęp w porównaniu do wersji oryginalnych – np. w przypadku Llamy-3.1-70B, po trzech epokach treningu (czyli pełnych przejściach modelu przez cały zestaw danych treningowych) na ograniczonej, ale wysokiej jakości puli danych, wynik w niezależnym teście kompetencji językowych i kulturowych (PLCC) wzrósł z ok. 16 proc. do 29 proc. 

Oprócz trzech nowych modeli udostępniono też nowe wersje modelu LLama-PLLuM-70B, które zostały dostrojone na istotnie większym zestawie instrukcji (tj. par złożonych z zapytań do modelu oraz wzorcowych odpowiedzi) i wychowane na rozszerzonym zbiorze preferencji (zapytań do modelu oraz odpowiedzi ocenianych jako lepsze i odpowiedzi ocenianych jako gorsze).  

– Duży nacisk położyliśmy na poprawę sterowalności modelu oraz jego umiejętności wyszukiwania – wyjaśnia prof. Pęzik. – Dzięki temu modele LLama-PLLuM-70B w wersji instruct i chat, a więc po dostrojeniu i wychowaniu, bardzo dobrze radzą sobie w roli generatorów odpowiedzi w systemach RAG-owych. 

Co dalej? 

Trwają intensywne prace nad powiększeniem zbioru tekstów, który zespół HIVE AI będzie mógł wykorzystywać do tworzenia modeli na najszerszych licencjach. Efekty tych starań będą widoczne w kolejnych odsłonach modeli PLLuM. 

_________________________________________________________________________________________ 

Modele PLLuM-250801 powstały w ramach prac konsorcjum HIVE AI w składzie: NASK – Państwowy Instytut Badawczy (lider konsorcjum), Akademia Górniczo-Hutnicza im. Stanisława Staszica w Krakowie, Centralny Ośrodek Informatyki, Instytut Podstaw Informatyki Polskiej Akademii Nauk, Instytut Slawistyki Polskiej Akademii Nauk, Ośrodek Przetwarzania Informacji – Państwowy Instytut Badawczy, Politechnika Wrocławska, Uniwersytet Łódzki. Proces treningu został przeprowadzony z wykorzystaniem zaawansowanej infrastruktury obliczeniowej, w tym superkomputerów Bem2 udostępnionego przez Wrocławskie Centrum Superkomputerowo-Sieciowe oraz Helios udostępnionego przez Akademickie Centrum Komputerowe CYFRONET AGH.