Komputer dorówna człowiekowi przy porównywaniu obrazów

Opracowana na uniwersytecie Carnegie Mellon technika porównywania zdjęć potrafi niezwykle skutecznie wykrywać podobne obrazy. Przyda się w przyszłości nie tylko do usprawnienia i przyspieszenia wizualnych wyszukiwarek, ale przyczyni się do postępu w pracach nad rozwojem robotów.

Nowe narzędzie skutecznie wykrywa podobne zdjęcia, nawet jeśli wykonano je o innej porze roku, z innej perspektywy, a nawet kilkadziesiąt lat temu. Co więcej potrafi dopasować zdjęcia przypominające malowany obraz, a nawet szkic.

Mechanizmy stosowane w Google Images, Google Googles lub organizerach zdjęć bazują na podobieństwach w kolorach, kształtach i kompozycji, co jest zawodnym rozwiązaniem, gdy obrazy nie są do siebie bardzo podobne. W przypadku drobnych różnic, np. innej perspektywie lub kolorystyce, skapitulują.

Google Image nakarmiony jedynie zdjęciem lwa zwrócił listę podobnych zdjęć, na którym nie ma ani jednego wizerunku króla zwierząt.

Zapytanie „lew” dało zgoła inne wyniki, co oznacza, że problem nie leży w niewystarczająco bogatej bazie zdjęć Google.

Nowa technika za najważniejsze przy porównywaniu zdjęć uznaje te elementy obrazu, które są dla niego unikalne, a nie te, które można znaleźć na milionach innych zdjęć. Podobieństwa wykrywane są na poziomie pikseli, a nie całego obrazu, co gwarantuje wysoką skuteczność działania. Abhinav Gupta, jeden z kierowników projektu zwraca uwagę, że prawdopodobnie tak samo działa mechanizm porównywania obrazów u człowieka. Zwraca on uwagę na szczegóły, np. rzadki kształt kopuły budynku, ale nie na cały budynek. Z tego samego powodu niezwykle szybko wykrywa podobne twarze, co dla komputerów nadal jest dużym wyzwaniem

Jednym z pracowników zespołu jest Tomasz Malisiewicz, co z pewnością daje się zauważyć, a raczej usłyszeć.

Nauczenie wspomnianego narzędzia umiejętności oceniania unikalności danych elementów obrazu nie było prostym zadaniem. Inna sceneria to inne elementy, które należy uznać za unikalne. Rozwiązanie wykorzystuje zatem algorytm, którego działanie oparte jest na danych (ang. data-driven). Skuteczność wykrywania podobnych obrazów przerosła oczekiwania naukowców.

Aleksiej Efron i Abhinav Gupta, kierujący zespołem, który opracował wspomniane narzędzie, zajmują się robotyką. Sugeruje to, że technologie związane z „komputerowym widzeniem” są priorytetem podczas prac. Niemniej można sobie wyobrazić możliwość wdrożenia algorytmu do wizualnych wyszukiwarek internetowych i aplikacji foto-wideo, co sprawi, że wreszcie będą działać tak jak chcemy.

Warto wspomnieć o istniejącym już narzędziu Photosynth stosowanym do tworzenia modeli 3D, czy o technologii PhotoDNA stosowanej przez Facebook do wykrywania zdjęć zawierających niepożądane treści. Również one bazują na porównywaniu zdjęć, ale zdaniem naukowców z Carnegie Mellon University nie są tak uniwersalne.
 

Więcej o praktycznych technologiach jutra:

• Roboden: kabel zasilania i USB rozciąga się jak guma
• Akumulatory jutra: szybkie ładowanie i długa praca
• Wykrywacz narkotyków po odcisku palca - prototyp działa
• Koniec z problemem odblasków na ekranach monitorów, telewizorów i innych urządzeń

Źródło: Carnegie Mellon University