ChatGPT nauczył się nowej sztuczki. Machasz telefonem i dzieje się magia

Nowa funkcja jest rozszerzeniem zaawansowanego trybu głosowego, który trafił do Polski w październiku. O ile w podstawowej wersji komunikacja z asystentem odbywa się wyłącznie głosowo, o tyle teraz dochodzi do tego rozpoznawanie obrazu na żywo. 

ChatGPT połączy się z aparatem w twoim smartfonie. Nowa funkcja robi wrażenie

Po włączeniu zaawansowanego trybu głosowego możliwe jest włączenie aparatu. Wówczas ChatGPT potrafi odpowiadać na pytania związane z tym, co znajduje się w jego obiektywie. I to po polsku. 

Obejrzyj w

Obraz nie jest analizowany w 100 proc. w czasie rzeczywistym. Gdy odpaliłem aplikację i skierowałem telefon w stronę monitora, ChatGPT odpowiedział, że widzi na nim butelkę z wodą, mimo że w chwili zadania pytania nie znajdował się on już w kadrze. Prawdopodobnie bazował na zdjęciu, które wykonał chwilę wcześniej, gdy ruszałem smartfonem. 

Nie jest jednak tak, że ChatGPT potrafi wykonywać polecenia wyłącznie związane z ostatnio zrobionym zdjęciem. W ramach testu wziąłem do ręki puszkę z zupą, powoli obróciłem ją w dłoni, a następnie zapytałem o jej skład, kaloryczność czy instrukcję przygotowania. Sztuczna inteligencja odpowiedziała na wszystkie pytania bezbłędnie, choć dane te nie znajdowały się już w oku kamery. 

Zaawansowany tryb głosowy zapewnia wyjątkowo naturalną konwersację, więc całość naprawdę robi wrażenie. Wirtualny pomocnik, który jest nafaszerowany wiedzą, a przy tym słyszy i widzi, może być bardzo przydatny na co dzień. 

Teoretycznie ChatGPT ma możliwość przechwycenia obrazu z kamery lub zawartości ekranu smartfonu. W praktyce przechwytywania pulpitu nie udało mi się jednak uruchomić ani na Androidzie, ani na iPhonie. System informuje co prawda o rejestrowaniu zawartości ekranu, ale ChatGPT uparcie twierdzi, że niczego nie widzi. Może wkrótce zostanie to naprawione. 

ChatGPT - jak skorzystać zaawansowanego trybu głosowego z rozpoznawaniem obrazu w Polsce?

Z uwagi na regionalne ograniczenia, z nowej funkcji w Polsce mogą póki co korzystać wyłącznie użytkownicy planu ChatGPT Team. Przy czym aktywacja u wszystkich osób ma zająć kilka dni. 

Jeśli chodzi o plany ChatGPT Plus oraz Pro, zaawansowany tryb głosowy z rozpoznawaniem obrazu ma się pojawić w Unii Europejskiej “tak szybko, jak to możliwe”. Chodzi o konieczność upewnienia się, że jest ona zgodna z lokalnymi przepisami. 

Do planów ChatGPT Enterprise oraz Edu funkcja ma trafić na początku 2025 roku. Na razie nie wiadomo kiedy (i czy w ogóle) pojawi się w planie darmowym. 

Obejrzyj w