Liderem konsorcjum została Politechnika Wrocławska. Oprócz niej znaleźli się w nim: Państwowy Instytut Badawczy NASK, Ośrodek Przetwarzania Informacji – Państwowy Instytut Badawczy (OPI PIB), Instytut Podstaw Informatyki PAN, Uniwersytet Łódzki oraz Instytut Slawistyki PAN. Model językowy, który zamierzają stworzyć, będzie nazywał się PLLuM (Polish Large Language Universal Model).
ChatGPT oszukuje
Skąd pomysł, by w momencie, gdy na rynku jest oprócz tych najpopularniejszych, czyli ChatGPT czy Google Bard, wiele innych, również otwartych, modeli językowych, startować z kolejnym?
Zdaniem pomysłodawców brakuje modeli wytrenowanych na reprezentatywnych zbiorach języka polskiego. Mała ilość rodzimych tekstów w procesie trenowania, lub jedynie dostrojenie do języka polskiego sprawiają, że najpopularniejsze modele nie nadają się do wielu komercyjnych zastosowań.
/>
– Podejrzewamy, że podczas trenowania ChatGPT nie widział za dużo języka polskiego. W związku z tym jest duża szansa, że przygotowując odpowiedzi, nadpisuje pewną wiedzę danymi z innych języków. W trakcie testów zwróciliśmy uwagę, że dotyczy to zwłaszcza polskiej kultury i historii, popełnia też trochę błędów gramatycznych i stylistycznych – tłumaczy dr inż. Jan Kocoń z Katedry Sztucznej Inteligencji Politechniki Wrocławskiej. – W naszym interesie jest, by nad tym panować i mieć kontrolę nad informacjami, które są związane z naszym krajem – dodaje.
Pomóc firmom, ale też obywatelom
Ambicją twórców PLLuM jest wsparcie przedsiębiorców poprzez stworzenie dostępu do modelu z rozszerzonym językiem polskim na bezpłatnej, otwartoźródłowej licencji, który będzie odpowiadał wymogom rynku.
– Wypracowany przez czołowe jednostki badawcze przy współpracy z administracją publiczną, całkowicie dostępny, otwarty model będzie innowacją na skalę światową – podkreśla Wojciech Pawlak, dyrektor Państwowego Instytutu Badawczego NASK.
– Potrzebne są nam modele trenowane na tekstach polskojęzycznych, niezbędne są m.in. do analizy polskiego internetu – dodaje dr inż. Jarosław Protasiewicz, dyrektor Ośrodka Przetwarzania Informacji.
/>
Twórcy PLLuM zwracają uwagę, że ma on służyć nie tylko naukowcom i przedsiębiorcom, ale też zwykłym ludziom. Dzięki inteligentnemu asystentowi ma się zwiększyć dostępności usług publicznych, zarówno cyfrowych, jak i podczas tradycyjnej wizyty w urzędzie czy punkcie obsługi. Możliwość zadania mu pytań, tak jak każdemu urzędnikowi, ma również pomóc osobom wykluczonym cyfrowo.
Wrocław zbroi się w sprzęt
We Wrocławskim Centrum Sieciowo-Superkomputerowym kończy się właśnie kompletowanie całej infrastruktury, która będzie wykorzystywana do tworzenia polskiego modelu językowego.
– Kupujemy sprzęt warty prawie 130 mln zł. To m.in. 300 kart graficznych H100, stosowanych do trenowania głębokich sieci neuronowych, ponad 30 petabajtów miejsca na dyskach twardych i petabajt pamięci RAM – wyjaśnia Jan Kocoń.
/>
I dodaje, że naukowcy mają zebrane prawie 300 gigabajtów czystego tekstu pochodzącego z różnych źródeł, a liczba ta cały czas rośnie. W projekt zaangażowanych jest już ponad 60 osób.