To może być pierwszy tej skali polski odpowiednik Chat GPT. Sukces Politechniki Gdańskiej i AI Lab z Ośrodka Przetwarzania Informacji – Państwowego Instytutu Badawczego w obszarze AI. Naukowcy opracowali polskojęzyczne generatywne neuronowe modele językowe na bazie terabajta danych tekstowych wyłącznie w języku polskim. Qra to pierwszy tej skali i najlepszy w modelowaniu języka polskiego odpowiednik otwartych narzędzi Mety czy Mistral AI. Qra lepiej rozumie treści i pytania zadawane w języku polskim i lepiej sama tworzy spójne teksty.
PG i OPI opracowały polskojęzyczne generatywne modele językowe o nazwie Qra, które zostały utworzone na podstawie korpusu danych zawierającego teksty wyłącznie w języku polskim. To pierwszy model generatywny wstępnie wytrenowany na tak dużym zasobie polskich tekstów, do którego uczenia użyto wielkich mocy obliczeniowych. Dla porównania modele Llama, Mistral czy GPT są w większości trenowane na danych anglojęzycznych, a jedynie ułamek procenta korpusu treningowego stanowią dane w języku polskim.
UŻYTO SUPERKOMPUTERA „KRAKEN”
Środowisko obliczeniowe dedykowane pod budowę modeli sztucznej inteligencji powstało na Politechnice Gdańskiej w Centrum Kompetencji STOS, jednym z najnowocześniejszych centrów IT w tej części Europy, gdzie znajduje się superkomputer Kraken. W procesie wykorzystano klaster 21 kart graficznych NVidia A100 80GB. Przygotowanie środowiska, utworzenie narzędzi i modeli oraz ich trenowanie (w oparciu m.in. o treści z takich obszarów jak prawo, technologia, nauki społeczne, biomedycyna, religia czy sport) i testowanie zajęło zespołom około pół roku. Dzięki rozbudowanej infrastrukturze CK STOS właściwy proces trenowania w przypadku najbardziej złożonego z modeli został skrócony z lat do około miesiąca.
QRA W TRZECH WYDANIACH
W wyniku współpracy PG i OPI powstały trzy modele, które różnią się złożonością, tj. Qra 1B, Qra 7B, Qra 13B. Modele Qra będą stanowić podstawę rozwiązań informatycznych do obsługi spraw i procesów, które wymagają lepszego zrozumienia języka polskiego. Na tym etapie Qra jest fundamentalnym modelem językowym, który potrafi generować poprawne gramatycznie i stylistycznie odpowiedzi w języku polskim. Tworzone treści są bardzo wysokiej jakości.
mat. pras./Wojciech Luściński/puch
