Zaawansowana, wysoce wydajna platforma wizyjno-AI od Qualcomma

Projektujesz elektronikę? Zarezerwuj 4 października 2018 roku na największą w Polsce konferencję dedykowaną projektantom, Evertiq Expo Kraków 2018. Przeszło 60 producentów i dystrybutorów komponentów do Twojej dyspozycji, ciekawe wykłady i świetna, twórcza atmosfera. Jesteś zaproszony, wstęp wolny: kliknij po szczegóły. © Evertiq

Qualcomm Vision Intelligence Platform to nowe rozwiązanie firmy Qualcomm, bazujące na pierwszych układach SoC dedykowanych dla IoT. Układy te oznaczone zostały symbolami QCS605 oraz QCS603. Zbudowane zostały z wykorzystaniem najnowszej technologii 10 nm FinFET. Stworzone zostały z myślą o aplikacjach IoT, nastawionych na przetwarzanie obrazów lub uczenie maszynowe (ML - „Machine Learning”). Układy dostarczać mają ogromną moc obliczeniową, przy wyjątkowo dobrej wydajności energetycznej oraz termicznej. Komponenty te integrują w sobie najnowsze rozwiązania firmy Qualcomm. Jednym z nich jest wbudowany, wysoce zaawansowany procesor ISP („image signal processor”) oraz mocny silnik AI („Qualcomm Artificial Intelligence”). Całość zbudowana została zgodnie z architekturą heterogeniczną, wykorzystującą wielordzeniowe CPU bazujące na ARM oraz GPU. Oprócz rozwiązań sprzętowych będących elementami platformy Qualcomm Vision Intelligence Platform, znajdziemy tu nowoczesne oprogramowanie, w tym algorytmy przetwarzania obrazu z kamer w formie SDK, SDK dla systemów AI i ML, wsparcie dla technologii komunikacyjnych i najnowszych rozwiązań bezpieczeństwa. Platforma ta została zoptymalizowana do tego, by wspomagać projektantów takich aplikacji jak smart-kamery (zarówno przemysłowe, jak i konsumenckie); czyli kamer bezpieczeństwa, kamer sportowych, VR, kamer dla robotów, itp. Platformą tą zainteresowały się już takie firmy jak KEDACOM i Ricoh THETA, które już zapowiedziały, że w niedługim czasie wypuszczą swoje pierwsze produkty klasy smart, oparte właśnie na tej platformie. „Naszym celem jest to, by IoT były jeszcze bardziej ‘smart’. Nasze rozwiązania mają pomóc deweloperom w opracowywaniu takich rozwiązań, w tym sprawnego, wydajnego przetwarzania w urządzeniu, przetwarzania obrazu, wspierania funkcji bezpieczeństwa oraz AI. Dzięki temu ostatniemu możliwe jest rozpoznawanie obiektów już w urządzeniu, łącznie z ich śledzeniem. Rozwiązania te przydadzą się także w robotyce i pojazdach autonomicznych, do omijania przeszkód, itp. A to wszystko to dopiero początek. ” - mówi Joseph Bousaba z Qualcomm. Qualcomm Vision Intelligence Platform to efekt wieloletniego doświadczenia firmy jeśli chodzi o R&D na tym polu. Dzięki tej platformie możliwe będzie stworzenie przełomowych aplikacji, takich jak nowoczesne kamery, jednostki AI pracujące w urządzeniu końcowym IoT, przetwarzanie heterogeniczne, itd. Qualcomm Artificial Intelligence (AI) Engine Silnik AI, wbudowany w elementy platformy, jest wydajnym systemem, łączącym komponenty sprzętowe i programowe w taki sposób, by zapewnić wysoką efektywność przetwarzania danych związanych z aplikacjami i funkcjami AI. W silniku tym zawarto takie elementy jak: framework Qualcomm Snapdragon NPE („Neural Processing Engine”), bibliotekę Qualcomm Hexagon Neutral Network Library, Android Neural Network API, itp. Znajdziemy tu też wsparcie dla frameworków Tensorflow, Caffe i Caffe2, funkcji analizujących, optymalizacji, itd. Dzięki temu wszystkiemu, silnik oferuje ogromne możliwości i funkcjonalność, a także dużą wydajność. Tą ostatnią szacuje się na nawet 2.1 TOPS, czyli prawie 2-krotnie tyle, ile oferować mają rozwiązania konkurencyjne. Jakość obrazu Platforma ta wspierać ma video w rozdzielczości 4K przy 60 FPS, a nawet 5.7K przy 30 fps. Zapewni to świetną jakość obrazu nawet przy bardziej dynamicznych scenach. Lecz to nie wszystko. Znajdziemy tu też wsparcie dla jednoczesnej obsługi kilku strumieni video w niższych, standardowych rozdzielczościach. Za super jakość obrazu odpowiadać ma najpotężniejszy procesor stworzony przez Qualcomm Technologies, czyli Spectra 270 ISP. Umożliwia on obsługę nawet dwóch sensorów po 16 Mpx każdy. Znajdziemy tu także wsparcie dla zaawansowanego przetwarzania HDR (zapobiegającemu powstawaniu ‘duchów’ w scenach video o dużym zakresie dynamicznym), a ponadto wsparcie dla nowoczesnych systemów stabilizacji obrazu, korekcji aberracji, odszumiania, itp. Achitektura heterogeniczna Układy będące elementami platformy, takie jak QCS605, zbudowane zostały w oparciu o znaną już, wysoce wydajną architekturą heterogeniczną. Składa się ona z 8-rdzeniowych procesorów CPU Qualcomm Kryo 360, układy GPU Adreno 615, a także procesora Hexagon 685. Dzięki wsparciu dodatkowego procesora wyświetlacza, układ umożliwia wsparcie dla nowoczesnych wyświetlaczy z panelami dotykowymi o wysokiej rozdzielczości WQHD, w możliwości jakie oferować mają: OpenCL, OpenGL i Vulkan. Układy te oczywiście wspierają także nowoczesne systemy operacyjne wysokiego poziomu. Znajdziemy tutaj wszystko co niezbędne do budowy nowoczesnych aplikacji, takich jak roboty nawigujące autonomicznie, kamery VR 360 stopni, systemy omijania przeszkód, itd. Z dodatkowych funkcji, jakie znajdziemy w układach platformy to także wspomniane duże możliwości jeśli chodzi o komunikację. Jest tu bowiem wsparcie dla 2x2 802.11ac Wi-Fi® z obsługą MU-MIMO, a także Bluetooth 5.0 Audio Suite, Qualcomm Aqstic Audio Technology i Qualcomm aptX Audio. Dzięki temu aplikacje będzie można wzbogacić o dodatkową funkcjonalność związaną z zaawansowaną analizą audio, rozpoznawaniem głosu, przetwarzaniem mowy, itp. Ekosystem Próbki QCS605 oraz QCS603 można zamawiać już teraz, by zapoznać się z możliwościami tej platformy. Wraz z nimi firma Qualcomm dostarcza także wsparcie, np. w postaci projektów referencyjnych, np. bazujący na QCS605 projekt kamery VR 360. A jeszcze więcej projektów ma się pojawić w drugiej połowie 2018 roku.