Rozwiązanie naszych naukowców do weryfikacji odporności metod klasyfikacji tekstu na pierwszym miejscu w międzynarodowym konkursie „CLEF-2024 CheckThat! Lab”
Zadaniem uczestników konkursu było stworzenie przykładów antagonistycznych (czy też zainfekowanych, z ang. „adversarial examples”) – czyli zmodyfikowanie tekstów w taki sposób, aby algorytmy klasyfikacyjne zmieniły swoją decyzję na przeciwną, ale bez zmiany znaczenia tekstu. Wyzwanie polegało na tym, że teksty musiały być zmodyfikowane w taki sposób, żeby nie tylko zmienić decyzję każdego z trzech różnych klasyfikatorów (opartych na modelach BERT, BiLSTM i RoBERTa) na każdym z ponad 2000 przykładów tekstowych, ale również zadbać o minimalną liczbę zmian symboli (słów) w tekstach oraz maksymalne zachowanie ich znaczenia semantycznego. Poza tym, zadanie obejmowało teksty z 5 różnych obszarów problematycznych: ocena stronniczości wiadomości, wykrywanie propagandy, sprawdzanie faktów, wykrywanie plotek oraz dezinformacji związanej z COVID-19.
Spośród wszystkich zespołów, które zgłosiły swoje wyniki, metoda naszych naukowców uzyskała najwyższy wynik wg. specjalnej metryki BODEGA, która uwzględnia miary związane z poziomem skuteczności zmian w tekstach, semantycznego podobieństwa oraz odległości edycyjnej Levenshteina. Największa liczba punktów pozwoliła zająć pierwsze miejsce w rankingu, wyprzedając metody opracowanymi m.in. przez Uniwersytet w Zurychu oraz Uniwersytet w Katarze.
Problem generowania przykładów antagonistycznych i testowanie z ich wykorzystaniem odporności algorytmów klasyfikacyjnych jest istotnym wyzwaniem badawczym, ponieważ pozwala na ocenę, jak dobrze istniejące algorytmy radzą sobie w sytuacjach, gdy teksty są celowo modyfikowane w taki sposób, by zmylić model. Dzięki temu można identyfikować słabe punkty algorytmów klasyfikacyjnych i poprawiać ich niezawodność, co jest kluczowe w kontekście oceny wiarygodności informacji, gdzie precyzyjna klasyfikacja jest niezbędna do wykrywanie fałszywych informacji i przeciwdziałania dezinformacji.
Wydarzenie „CLEF CheckThat! Lab” jest organizowane od 2018 roku, a jego celem jest rozwój automatycznych metod i technologii wspierających dziennikarzy w procesie weryfikacji informacji. Międzynarodowa konferencja CLEF odbywała się m.in. w Bolonii, Bukareszcie, Lugano, Avignon i Salonikach, a wyniki tegorocznej edycji zostaną zaprezentowane we wrześniu na konferencji w Grenoble we Francji. „CLEF CheckThat! Lab” oraz „FEVER” to najważniejsze światowe wydarzenia poświęcone wyłącznie zagadnienia automatycznej weryfikacji fake news. Warto zaznaczyć, że w roku 2023 zespół projektu OpenFact zajął pierwsze miejsce w konkursie „CLEF-2023 CheckThat! Lab” – najlepsza metoda pozwalająca wykrywać zdania w języku angielskim, które wymagają sprawdzenia ze względu na możliwość wprowadzania w błąd.
Wygrywający zespół realizuje obecnie projekt badawczy OpenFact, w ramach którego zajmuje się opracowaniem narzędzi do automatycznego wykrywania fake news w języku polskim. W lipcu 2024 roku wyniki projektu OpenFact drugi rok z rzędu zostały ocenione przez NCBiR jako najlepsze w Polsce. Zwycięstwo w prestiżowym konkursie CheckThat! potwierdza, że dokonania zespołu UEP są istotne w skali światowej oraz że metody opracowane przez zespół OpenFact osiągają równie wysoką skuteczność w innych językach.
Projekt OpenFact jest finansowany przez Narodowe Centrum Badań i Rozwoju w ramach programu INFOSTRATEG I „Zaawansowane technologie informacyjne, telekomunikacyjne i mechatroniczne”.