Zdjęcia i wycieczki 3D z fotografii dwuwymiarowych - algorytm Google DeepStereo

Na powyższym obrazku widać scenę z filmu Łowca Androidów, a dokładnie superprecyzyjną analizę zdjęcia. Takie rzeczy nadal pozostają w sferze fantastyki naukowej. Za to dzięki pracom czwórki inżynierów z Google i ich algorytmowi DeepStereo możliwe stanie się tworzenie ujęć 3D, a także filmów, wyłącznie na podstawie zwykłych fotografii 2D.

Siłą algorytmu DeepStereo jest procedura, która pozwala interpolować poszczególne klatki i fragmenty ujęcia 3D nawet gdy brak dokładnej informacji dla zaplanowanej ścieżki ruchu kamery. Mówiąc inaczej domyśla się (przewiduje), jak powinno wyglądać kolejne ujęcie bazując na dostępnych fotografiach 2D.

W ten sposób można nakręcić płynne wideo 3D z przechadzką po muzeum dysponując jedynie sekwencją wykonanych w nie najmniejszych odstępach czasowych zdjęć, przypominających fotografie znane nam ze Street View.

Nie należy efektów DeepStereo mylić z tradycyjną konwersją 2D do 3D. W tym przypadku możemy praktycznie dowolnie zmieniać perspektywę. Jak to wygląda w praktyce, najlepiej wyjaśni poniższe wideo.

Haczyk? Teoretycznie żaden, ale trzeba przyznać, że obraz choć akceptowalny ma w sobie coś sztucznego. Są za to problemy związane z wydajnością algorytmu. By uzyskać pojedynczą klatkę filmu z pomocą Deep Stereo konieczne jest 10 minut obliczeń na mocnej maszynie. Oznacza to, że na razie nie możemy liczyć na efekty w czasie rzeczywistym.

Z dokładniejszym opisem technologii (w języku angielskim) można zapoznać się z lektury artykułu udostępnionego na serwerach arXiv.org.

Źródło: MIT