Sensory Sony z wrodzoną inteligencją do kamer cyfrowych - rozpoznawanie obiektów w mgnieniu oka

Zwykle, gdy mówimy o sensorze cyfrowym, który nazywa się podobnie jak IMX500, mamy na myśli kolejny układ dla fotosmartfonów czy też tradycyjnych aparatów cyfrowych. Zwykle, bo IMX to przedrostek, który pojawia się w nazewnictwie związanym z każdą technologią układu rejestrującego światło, które produkuje i projektuje sekcja półprzewodnikowa Sony.

Tym razem nie będziemy się emocjonować rozdzielczością sensora, czy szybkością rejestracji obrazu. W Sony IMX500 i IMX501 istotniejsze jest co innego. To pierwsze układy, które zawierają zintegrowaną elektronikę i pamięć wspierającą sprzętowe algorytmy AI. W tym rozpoznawanie kształtów.

Po co integracja AI w samym sensorze obrazu?

Obecnie przyzwyczajeni jesteśmy do następującego biegu spraw. Sensory rejestrują obraz, przekazują go do procesora obrazu, który wspomagany jest przez elektronikę z AI. W ten sposób aplikowane są algorytmy upiększające zdjęcia, a w zastosowaniach np. związanych z handlem czy nadzorem technicznym i bezpieczeństwa, ułatwiające wykrycie konkretnych zdarzeń. Nie tylko ludzi, ale i przedmiotów.

Rozpoznawanie obiektów na kasie sklepowej przyśpieszy proces podliczania kosztów zakupów

Zastosowań można wyobrazić sobie bez liku, jednak każde z nich wymaga przesłania danych do procesora obrazu, który wcale nie musi być elementem mocno zintegrowanym z samą kamerą. Na tym etapie mogą pojawić się wycieki informacji, która naruszy na przykład prywatność, sam transfer danych obciąża też sieć. Owszem ta staje się coraz wydajniejsza, ale też rośnie liczba urządzeń żądających do niej dostępu. Optymalizacji nigdy za mało.

Sensor, który ma zintegrowane AI będzie w stanie bez wysyłania danych dalej wykonać potrzebne działania związane z analizą obrazu. W sytuacji, w której ważny jest końcowy efekt w postaci wniosku - tak lub nie, wyśle prosty komunikat. I gotowe. A jeśli będzie to konieczne dołączy do niego również obraz.

Sony IMX500 jest pierwszej generacji sensorem ze zintegrowanym AI. Oznacza to, że na razie jest w stanie realizować proste zadania. Nastawione na rozpoznawanie konkretnych kształtów, które można łatwo zdefiniować. To już wystarczy by rozpoznać obiekty na półkach sklepowych, policzyć klientów w sklepie czy innych miejscach.

Zliczanie ludzi, analiza zachowań konsumentów w sklepie, tworzenie tzw. map ciepła, detekcja tłoku w miejscach publicznych

Bardziej skomplikowane zadania, związane z podejmowaniem decyzji, które mogą wpłynąć na nasze bezpieczeństwo obsłużą dopiero kolejne generacje takich sensorów. Ale jeśli pomysł Sony zyska zainteresowanie, już dziś mogą stać się atrakcyjne dla branż motoryzacyjnej czy robotyki, a może też producentów smartfonów dzięki większej skali integracji niż obecnie.

Największa zaleta integracji AI w sensorze

Gdyby wskazać konkretną zaletę integracji AI z sensorem, to będzie nią znacznie większa szybkość działania algorytmów AI niż w sytuacji gdy elektronika AI jest niezintegrowana z sensorem. Przy interakcji maszyn i człowieka, gdy w grę wchodzi widzenie maszynowe, jest to kluczowe. Tu czas zwłoki w sekundach jest niedopuszczalny. Nawet kilkadziesiąt milisekund, co wydaje się krótkim z perspektywy reakcji czasem, to już duże opóźnienie. Sensory Sony przetworzą dane w około 3 milisekundy.

A tak w ogóle to całkiem przyzwoite sensory do smartfona

Sony IMX500 i IMX501 to oprócz wrodzonej inteligencji także przyzwoite układy do rejestracji obrazu. Ich rozdzielczość wynosi 12,3 Mpix, o rozmiarze typu 1/2,3 cala. Szybkość odczytu danych pozwala na zapis wideo w rozdzielczości 4056 x 2288 (trochę więcej niż typowe 4K) odczytywanego z 60 kl/s. Włączenie przetwarzania obrazu AI obniży tempo do 30 kl/s, wciąż wystarczającego do praktycznych zastosowań.

Źródło: Sony

Więcej na temat sztucznej inteligencji:

• Nvidia szykuje prezentację kart graficznych Ampere... i wiemy kiedy ona nastąpi
• Sztuczna inteligencja może być oszczędniejsza dzięki odkryciu amerykańskich naukowców
• Nie wiesz, co robić po szkole? Pomyśl o zostaniu specjalistą od SI
• Sztuczna inteligencja stworzyła antybiotyk silniejszy od innych