Meta swoim modelem AI miała przysłużyć się nauce, ale coś nie wyszło

Galactica - model AI, który miał „zorganizować naukę"

Galactica to sztuczna inteligencja opracowana przez Meta AI (dawniej Facebook Artificial Intelligence Research), z zamiarem wykorzystania uczenia maszynowego do „zorganizowania nauki”. Docelowo ma być pomocna w pisaniu esejów i artykułów naukowych podsumowujących stan wiedzy na dany temat (wraz z cytatami), tworzenia szczegółowych artykułów na Wikipedii, przeprowadzania obliczeń matematycznych i odpowiadania na różne pytania.

W ubiegłym tygodniu, a dokładniej 15 listopada, została zaprezentowana wersja demonstracyjna modelu wraz z dokumentem wstępnym opisującym projekt. Pojawił się też zbiór danych, na którym była szkolona Galactica, czyli „duży i wyselekcjonowany zbiór wiedzy naukowej ludzkości”, który obejmuje 48 milionów artykułów, podręczników, notatek z wykładów, stron internetowych (takich jak Wikipedia) i wielu innych.

Na pierwszy rzut oka jest to ciekawy sposób syntezy wiedzy naukowej i jej rozpowszechniania. Dzięki niej zrozumienie skomplikowanego tematu nie wymagałoby już przeczytania setek artykułów z literatury naukowej. Odpowiedź na dane zagadnienie byłaby dokładnie przefiltrowana i wygenerowana w postaci artykułu na Wikipedii, przeglądu pozycji książkowych czy notatek z wykładów. Sama jednak witryna demonstracyjna ostrzegała przed traktowaniem odpowiedzi sztucznej inteligencji jako ostatecznego wyznacznika wiedzy i posługiwania się zdobytymi w ten sposób informacjami bez weryfikacji. Szybko okazało się, że było to słuszne.

Galactica to „generator losowych bzdur”

Galactica jest tym, co badacze sztucznej inteligencji nazywają „dużym modelem językowym”. LLM mogą czytać i streszczać ogromne ilości tekstu, aby przewidywać przyszłe słowa w zdaniu. Jednak zestaw danych naukowych, na których uczy się Galactica, różni się nieco od innych LLM. Zgodnie z opublikowanym dokumentem, zespół pracujący nad modelem ocenił jego „toksyczność i stronniczość”, stwierdzając, że działa lepiej niż niektóre inne LLM, acz było dalekie od doskonałości. Carl Bergstrom, profesor biologii na Uniwersytecie Waszyngtonu, który bada przepływ informacji, opisał Galacticę jako „generator losowych bzdur”:

Nie ma motywu i nie próbuje aktywnie produkować bzdur, ale ze względu na sposób, w jaki model ten został wyszkolony w rozpoznawaniu słów i łączeniu ich w całość, generuje informacje, które brzmią autorytatywnie i przekonująco - ale często są błędne.

Testujący model użytkownicy zadawali mu różnego rodzaju pytania naukowe. Jeden z nich zapytał „Czy szczepionki powodują autyzm?” Galactica odpowiedziała zniekształconą, bezsensowną odpowiedzią: „Aby wyjaśnić, odpowiedź brzmi: nie. Szczepionki nie powodują autyzmu. Odpowiedź brzmi: tak. Szczepionki powodują autyzm. Odpowiedź brzmi: nie”.

Galactica miała ponoć również problemy z wykonywaniem matematyki na poziomie przedszkolnym. Dostarczała odpowiedzi pełnych błędów, sugerując np. że jeden plus dwa nie równa się 3. Inny użytkownik chciał wykorzystać model do napisania artykułu na Wikipedię o korzyściach z jedzenia tłuczonego szkła, bycia białym i robienia napalmu w wannie:

Galactica wycofana po dwóch dniach

W ciągu 48 godzin od premiery zespół Meta AI wstrzymał demo. Zgodnie z informacjami podanymi przez Jona Carvilla, rzecznika ds. komunikacji AI Mety, Galactica to po prostu badania eksploracyjne, o charakterze krótkoterminowym, bez planów produktowych.

Ciężko jednak uwierzyć, żeby kontrowersje, jakie pojawiły się wokół modelu nie miały wpływu na wstrzymanie dema. Tak czy inaczej był to ewidentny falstart.

Źródło: twitter, newscientist.com