ARM, procesor sygnału obrazu i (potencjalna) rewolucja w motoryzacji

ISP – procesor sygnału obrazu – to układ, który sprawia, że to, co widzi oko kamery, jest zrozumiałe dla całego sprzętu. Rola jest to nie byle jaka, ale niestety dzisiejsze komponenty rzadko dają sobie z tym radę tak, jak powinny. Z odsieczą nadciąga ARM.

Na wstępie kilka słów o ISP. Jest to układ, który znajduje się w każdym urządzeniu mobilnym z kamerą. Jest dla obrazu tym, czym dla dźwięku ADC (przetwornik analogowo-cyfrowy) – innymi słowy, zbiera dane z surowego obrazu (RAW) i przekształca je w informacje zrozumiałe dla systemu i pozostałych komponentów.

To dzięki ISP, na przykład, subsystemy wizji komputerowej potrafią wykryć obiekty znajdujące się na zdjęciu lub filmie. Obraz, który uchwycił sensor, jest po prostu dzięki temu układowi przetwarzany na format cyfrowy, co umożliwia wyświetlanie obrazu na ekranie (i zrozumienie go przez komputer). Rzecz jednak w tym, że to „po prostu” nie jest wcale takie proste.

O tym, że układ ISP jest nie mniej ważny niż sama optyka, można się w prosty sposób przekonać. Zwróćcie uwagę na to, że smartfony mniej znanych azjatyckich producentów często robią gorsze zdjęcia, choć korzystają z komponentów takich gigantów jak Sony. Bo choć na nie mogą sobie pozwolić, na dobre ISP już nie.

Naprawdę dobre ISP w ogóle trudno jest znaleźć i tę lukę zamierza wypełnić firma ARM. Firma, z której układów CPU i GPU korzystają niemal wszyscy duzi producenci smartfonów i tabletów. Jej komponenty leżą więc w sercu odbywającej się na naszych oczach mobilnej rewolucji (nie bez powodu Softbank wydał na nią 32 miliardy dolarów).

Mali-C71 (gdzie „c” pochodzi od słowa „camera”) to nazwa układu ISP od ARM, który ma doprowadzić do kolejnej rewolucji – tym razem nie tyle w smartfonach, ile w motoryzacji. Procesor ma bowiem znaleźć zastosowanie w samochodach autonomicznych i półautonomicznych.

Obecnie technologie jazdy autonomicznej działają głównie w oparciu o radar i lidar, a kamery stanowią tylko dodatek. Produkcja, szczególnie lidaru, jest jednak bardzo (a uściślając: wręcz nieopłacalnie) droga. Dlatego też szuka się alternatywy, a dobry ISP może nią właśnie być.

Jedną z propozycji dla samochodów autonomicznych jest układ 10 kamer umieszczonych w najważniejszych strefach pojazdu. Aby mogły one jednak z powodzeniem służyć wykrywaniu obiektów w otoczeniu, przeszkód na drodze i innych elementów, potrzebny jest dobry ISP połączony z dobrymi kamerami.

ARM chce, by Mali-C71 był połączony z układem dobrych kamer, dzięki czemu kierowca i system samochodu dokładnie widziałyby całe otoczenie pojazdu – niezależnie od widoczności, warunków atmosferycznych, pory dnia czy rodzaju oświetlenia. 

To wszystko musiałoby też działać sprawnie. ARM twierdzi, że będzie, bo Mali-C71 może współpracować z wieloma kamerami równocześnie, a dane do przetworzenia pobiera z wydajnością sięgającą 1,2 Gpix na sekundę. Co więcej, jest w stanie w tym samym czasie przekazać dalej cyfrowe dane w kilku różnych formatach.

System HDR złożony z ISP i kamer, który zapewni szeroki zakres dynamiczny, zadba o to, by ciemne fragmenty obrazu były dobrze widoczne, a jasne nie zostały przesycone. Efektem ma być wyraźny obraz zarówno dla kierowcy (na przykład w lusterku wstecznym), jak i autonomicznej technologii.

Czymś, co warto podkreślić, jest również pełne wsparcie układu Mali-C71 dla referencyjnych algorytmów odpowiadających chociażby za dostosowywanie balansu bieli czy ekspozycji. Producenci, którzy chcieliby z niego skorzystać, nie będą więc musieli robić wszystkiego od podstaw.

Nawet jednak jeśli samochody autonomiczne jednak nie obejdą się bez radaru i lidaru, to takie ISP na pewno będzie mogło pomóc w systemach asystujących, na przykład w formie wspomnianych już inteligentnych lusterek czy funkcji wykrywania pieszych na pasach w ciemności.

Źródło: ARM, AnandTech, The Verge. Foto i grafiki: ARM