Minecraft to gra nie tylko dla ludzi, ale też dla... sztucznej inteligencji
Firma OpenAI, zajmująca się sztuczną inteligencją, wyszkoliła sieć neuronową, aby mogła grać w Minecrafta na takim samym poziomie, jak ludzie. Jak wyglądał eksperyment i czy ma to jakieś szersze znaczenie?
Wykorzystując kilkadziesiąt godzin materiałów oraz bazę danych filmów, firma OpenAI była w stanie wyszkolić sieć neuronową, aby ta kompetentnie grała w Minecrafta. OpenAI podkreśla, że zdecydowano się na walidację metody właśnie w tej grze, gdyż jest to jedna z najczęściej granych produkcji na świecie, a co za tym idzie, posiada mnóstwo dostępnych danych. Inżynierowie Open AI podali szczegóły swojego eksperymentu.
Nowa technika trenowania modeli AI
Firma opracowała nową, częściowo nadzorowaną, technikę w trenowaniu modeli AI, zwaną Video PreTraining (VPT). Badacze OpenAI zebrali 270 000 godzin danych wideo związanych z Minecraft, które zostały zredagowane do około 70 000 godzin i wykorzystane do trenowania modelu VPT.
Na podstawie tych danych szkolimy model dynamiki odwrotnej (IDM), który przewiduje działania podejmowane na każdym etapie filmu. IDM może wykorzystać przeszłe i przyszłe informacje, aby odgadnąć działanie na każdym kroku. To zadanie jest znacznie łatwiejsze i wymaga znacznie mniej danych niż w przypadku klonowania behawioralnego, polegającego na przewidywaniu działań tylko na podstawie poprzednich klatek wideo. Następnie możemy użyć wyszkolonego IDM do oznaczenia znacznie większego zbioru danych wideo online i nauczyć się działać poprzez klonowanie behawioralne.
Model VPT zasadniczo nauczył się przewidywać i klonować zachowania graczy.
Co potrafi model OpenAI?
Wykorzystując te dane, system był w stanie wykonywać różne zadania, takie jak przykładowo tworzenie przedmiotów wymagających intensywnej pracy lub ścinanie drzew. Model był nawet w stanie odpowiedzieć na pytania dotyczące budowania rzeczy, ponieważ był szkolony w zakresie języka naturalnego i kodu.
Dużym osiągnięciem było przekroczenie czasu potrzebnego człowiekowi na wykonanie diamentowego kilofa. W grze Minecraft narzędzia oparte na diamentach działają dłużej i mogą wyrządzić więcej szkód. Między innymi z tych powodów są szczególnie ważne dla większości graczy.
Autorzy zastosowali podejście „dostrajania”, które przygotowało sieć neuronową do stworzenia diamentowego kilofa w szybszym niż zwykle czasie, czyli 10 minut:
Wymaga to zrozumienia sekwencji trudnych do zdobycia przedmiotów, które wymagają złożonych umiejętności, takich jak np. górnictwo, zarządzanie zapasami, rzemiosło, używanie narzędzi, obsługa pieca i wydobycie. Zwiększając poziom trudności, postępy można łatwo stracić, upuszczając przedmioty, niszcząc je lub umierając. Zdobycie diamentowego kilofa najczęściej zajmuje sprawnemu graczowi ponad 20 minut (24 000 akcji).
Czy ma to jakieś znaczenie?
Naukowcy uważają, że ich metoda pozwoli wytrenować sztuczną inteligencję w obsłudze myszy i klawiatury.
VPT toruje drogę do uczenia sztucznej inteligencji wykonywania czynności poprzez oglądanie ogromnej liczby filmów w Internecie. (...) Chociaż eksperymentujemy tylko w Minecrafcie, gra jest bardzo otwarta, a natywny interfejs użytkownika (mysz i klawiatura) jest bardzo ogólny, więc uważamy, że nasze wyniki dobrze wróżą innym podobnym domenom.
Aby dalej rozwijać VPT, OpenAI opublikowało dane modelu na GitHub. Firma jest także partnerem tegorocznego konkursu MineRL NeurIPS, w którym uczestnicy mogą spróbować rozwiązać określone zadania w grze Minecraft, przy okazji dopracowując model VPT. Pula nagród wynosi 20 000 $ plus dodatkowe 100 000 $, jeśli efekty osiągnięte przez uczestnika okażą się przełomowe.
Źródło: openai.com
Komentarze
5