Google i MIT chcą by smartfon usuwał odblaski i niechciane obiekty ze zdjęć

Usuwanie niechcianych elementów ze zdjęć to technika, którą już znamy, choćby z oprogramowania smartfonów Samsung Galaxy. Wystarczy sekwencja zdjęć, by usunąć ruchomy obiekt z kadru. Jednak algorytm, nad którym pracuje Google i MIT to coś znacznie bardziej wyrafinowanego. Jest to także całkiem inne podejście do problemu niż wspominane usuwanie odblasków, nad którym prace również są prowadzone w MIT.

Tym razem w służbie fotografii zadziałał efekt paralaksy. Efekt, który nieświadomie wykorzystuje każdy z nas. Człowiek nie tylko ma dwoje oczu, ale na dodatek każde z nich niezależnie od drugiego  wykonuje szybkie ruchy. Widzenie sceny pod różnymi kątami, pozwala ocenić jej przestrzenność i zapewnia nam trójwymiarowe widzenie.

Efekt paralaksy (zmiany wzajemnego położenia obiektów w różnych odległościach od obserwatora, zależnie od kierunku patrzenia) wykorzystuje się również w nauce do oceny odległości, a w codziennym życiu paralaksa potrafi być przyczyną zabawnych sytuacji.

Sposób usuwania odblasków i takich elementów jak przesłaniające kadr rozogniskowane bliskie obiekty, na przykład siatka ogrodzenia, zaprezentowano na instruktażowym wideo. Nie jest to jednak zwykły fotomontaż, a dużo bardziej zaawansowana technika.

Polega na dekompozycji obrazu, która wykorzystuje informacje o paralaksie zapewnione przez ruch aparatem/smartfonem podczas wykonywania serii zdjęć. Na razie wymaga również dość dużego nakładu mocy obliczeniowej - przetworzenie obrazu o rozdzielczości 1152 x 648 pikseli w przypadku 8-rdzeniowego procesora wymagało 20 minut obliczeń i 3 GB zaalokowanej pamięci. Jednak, jak podkreślają twórcy algorytmu, obecnie jest on mocno niezoptymalizowany.

W przypadku omawianego algorytmu największą skuteczność osiągamy właśnie wtedy gdy odległości pomiędzy przesłaniającym obiektem, a fotografowanym motywem znacznie się różnią. Co najważniejsze jako przesłaniający motyw można potraktować również odblask znajdujący się na szybie. Zarówno w przypadku zwykłego jak i panoramicznego zdjęcia.

Im większe rozmiary poprzeczne ma nieruchomy element przesłaniający kadr, tym większe przesunięcie w trakcie wykonywania serii jest potrzebne by algorytm zadziałał. Podobnie jak w przypadku stabilizacji obrazu istnieje granica skuteczności algorytmu. Dlatego najwięcej korzyści można spodziewać się w przypadku niezbyt rozciągłych obiektów - jak wspomniane siatki czy gałęzie. Natomiast w przypadku odbić efekty są bardzo przyzwoite, nawet lepsze niż w przypadku wcześniej opisywanego algorytmu, który jednakże nie wymaga wykonywania ruchu aparatem/smartfonem podczas fotografowania.

Efekty działania opisywanego przez nas algorytmu w przypadku odbić na szybach. Wykorzystano tu smartfony HTC One M8, Samsung Galaxy S4, kamerę Canon Vixia HFG30

Szczegółowy opis algorytmu dla żądnych dokładnych szczegółów znajduje się w tym artykule.

Coraz bardziej wyrafinowana automatyzacja różnych operacji fotograficznych, prowadzi nas do ciekawych przemyśleń. Taki sprzętowy retusz zdjęcia to przecież znacznie poważniejsza ingerencja niż prosta korekta tonacji zdjęcia czy ekspozycji.

Jak należałoby traktować taką fotografię w kategoriach prawda czy fałsz? Czy takie funkcje, z zasady bardzo pomocne, powinny pojawiać się w aparatach, czy nie? Są sytuacje, choćby o charakterze edukacyjnym, gdy wykonanie zdjęcia bez przeszkód jest wskazane. W innych, na przykład przy panoramie przez szybę z wysokiego piętra wieżowca, inaczej się po prostu nie da. Jednak czy warto podawać użytkownikom aparatów wszystkie rozwiązania na tacy, czy może lepiej zmusić ich do wykazania się pomysłowością podczas wykonywania zdjęć.  

Źródło: MIT