Konkurs - stypendium w projekcie badawczym

O projekcie

Gwałtowny rozwój modeli sztucznej inteligencji, a w szczególności modeli bazowych (ang. foundation models), zrewolucjonizował takie dziedziny, jak widzenie komputerowe czy przetwarzanie języka naturalnego. Jednak powszechnie stosowane strategie adaptacji, takie jak dostrajanie (ang. fine-tuning), wiążą się z istotnymi zagrożeniami. W szczególności dostrajanie, może również prowadzić do katastrofalnego zapominania, w tym utraty zgodności z założonymi wartościami (ang. misalignment) lub pojawiania się niebezpiecznych zachowań.

Ponadto obecne praktyki ewaluacyjne pozostają niewystarczająco wiarygodne. Raportowane wzrosty skuteczności często mogą wynikać z zapamiętania danych wykorzystanych podczas pretreningu, a nie z rzeczywistej zdolności do generalizacji. Jest to szczególnie istotny problem w zastosowaniach związanych z bezpieczeństwem. Bez rygorystycznej ewaluacji deklaracje dotyczące odporności i wiarygodności modeli pozostają niepewne, narażając społeczeństwo na trudne do wykrycia zagrożenia.

CEL BADAWCZY - opracowanie metod wiarygodnej ewaluacji oraz bezpiecznej adaptacji modeli językowych, takich jak Mistral czy LLaMA. Projekt koncentruje się na poniższych kluczowych pytaniach badawczych:

1. Ewaluacja - jak projektować benchmarki, które wiarygodnie mierzą rzeczywistą zdolność generalizacji, wolną od zanieczyszczenia danymi wykorzystanymi podczas pretreningu? Oraz jak wykrywać potencjalnie ukryte podatności w modelach?
2. Adaptacja - jak dostrajać modele do zadań docelowych, zachowując jednocześnie ich zgodność z założonymi zasadami, odporność oraz bezpieczeństwo?

Metodyka będzie łączyć automatyczne wykrywanie i eliminowanie nakładania się danych treningowych i ewaluacyjnych, diagnostykę wewnętrznych aktywacji i zachowania modeli w celu identyfikacji ukrytych podatności. Ponadto rozwijane będą strategie dostrajania ograniczające katastrofalne zapominanie i pozwalające zachować zgodność z założonymi zasadami, odporność i bezpieczeństwo modelu podczas adaptacji do nowych zadań. Prace będą prowadzone na współczesnych modelach językowych, w tym multimodalnych.

Zakres prac stypendysty/stypendystki w projekcie badawczym:

• Implementacja algorytmów dostrajania oraz ewaluacji model AI;
• Badanie bezpieczeństwa modeli AI;
• Przygotowywanie prototypów i przeprowadzanie testów proponowanych rozwiązań; raportowanie wyników;
• Rozpowszechnianie wyników badań naukowych poprzez prezentowanie proponowanych koncepcji na wiodących konferencjach naukowych AI;