Sztuczna inteligencja może być oszczędniejsza dzięki odkryciu amerykańskich naukowców
Sztuczna inteligencja coraz bardziej zadomawia się w naszym życiu, ale do jej wytrenowania wymagane są kosztowne inwestycje w sprzęt. Wkrótce może się to zmienić, bo naukowcy z Rice University znaleźli tańszy sposób na trenowanie sieci neuronowych.
Trenowanie sztucznej inteligencji to kosztowny i czasochłonny proces
Sztuczna inteligencja (AI/SI) jest coraz powszechniej wykorzystywana w domowych urządzeniach – znajdziemy ją w asystentach głosowych, komputerach czy nowoczesnych telewizorach. Na tym jednak pomysły wykorzystania AI się nie kończą - już teraz sztuczna inteligencja opracowuje leki czy odpowiada za ratowanie pszczół. Niektórzy zachęcają nawet do zostania specjalistą od AI.
Działanie sztucznej inteligencji jest ściśle powiązane z procesem głębokiego uczenia, do którego na ogół wykorzystuje się profesjonalne akceleratory graficzne. Procesory graficzne (GPU) cechują się dużo lepszymi osiągami od zwykłych procesorów (CPU), ale trenowanie sieci neuronowych to i tak skomplikowany i czasochłonny proces.
Drugi problem jest taki, że najlepsze platformy dostępne na rynku są bardzo drogie – ich koszt często wynosi kilkadziesiąt lub nawet kilkaset tysięcy dolarów (dobrym przykładem jest tutaj superkomputer Nvidia DGX-2, który kosztuje 400 tys. dolarów).
Nadchodzi rewolucja? Trochę tak, trochę nie
Naukowcy z Rice University w Houston stworzyli algorytm SLIDE (sub-linear deep learning engine), który wykorzystuje do głębokiego uczenia procesory i może być dużo tańszą alternatywą dla obecnie stosowanych rozwiązań.
W przypadku trenowania sieci neuronowych z procesorami graficznymi, algorytm wykorzystuje miliony lub miliardy neuronów. SLIDE działa w ten sposób, że trenuje tylko te neurony, które są istotne dla obliczeń – takie podejście jest tańsze i pozwala zaoszczędzić sporo czasu.
Wyniki testów są zaskakujące. Standardowy algorytm działający na akceleratorze Nvidia Tesla V100 (wykorzystano tutaj oprogramowanie Google TensorFlow) wymagał do przeprowadzenia obliczeń 3,5 godziny. Dla porównania, platforma oparta o dwa 22-rdzeniowe procesory Intel Xeon E5-2699A v4 działające w trybie SLIDE ukończyła to samo zadanie zaledwie w godzinę. W tym opracowaniu znajdziecie szczegółowe informacje o algorytmie i testach wydajności.
Twórcy algorytmu wskazują, że jest on jeszcze we wczesnej fazie rozwoju i wymaga dopracowania. Czy nowa technologia zastąpi obecnie stosowane rozwiązania? Jest to raczej mało prawdopodobne, bo trudno będzie zbudować rozbudowane systemy oparte o same procesory. Odkrycie może jednak zmienić podejście do procesu trenowania sieci neuronowych.
Źródło: Engadget, Arxiv
Zobacz inne newsy o procesorach:
- Wykryto lukę bezpieczeństwa w procesorach AMD - problem dotyczy też nowych Ryzenów
- Wykryto kolejną lukę w procesorach Intel. Sprawa jest poważniejsza niż wcześniej
- AMD na pełnej petardzie - producent właśnie zapowiedział nowe procesory i karty graficzne
Komentarze
4Tak zgadza się, to jest metoda prób i błędów, ale jednocześnie nie jest to metoda typu bruteforce. Tu jest coś takiego jak funkcja celu, w sumie najtrudniejsza rzecz to zrobienia która algorytmowi zwraca wynik "jest lepiej" / "jest gorzej", i to tyle tej prostej w swym zamyśle idei :) więc na podstawie tych podpowiedzi algorytm robi próby zgadywania, ale jest to zgadywanie celowe a nie na hybił trafił.
Zakładam, być może błędnie, że ten algorytm działa dwufazowo. tj. w fazie pierwszej działa standardowo, i odnotowuje które wagi zmieniały się najbardziej i najczęściej. W drugiej fazie skupia się na losowaniu tych wag które ulegały najczęstszym zmianom, co znacznie ogranicza zakres poszukiwań, a tym samym zmniejsza nakład obliczeń. przy zbyt małym postępie, wraca do pierwotnego algorytmu i tak w kółko. taka droga na skróty :)
Czy jest w tym coś odkrywczego? i tak i nie, zależy jak się na to spojrzy. Zwykle programując coś złożonego zapominamy o drogach na skróty, ale jak przegniemy, to skróty rozwalą nam wynik.