Deep Learning w tysiącach urządzeniach IoT

Projektujesz elektronikę? Zarezerwuj 4 października 2018 roku na największą w Polsce konferencję dedykowaną projektantom, Evertiq Expo Kraków 2018. Przeszło 60 producentów i dystrybutorów komponentów do Twojej dyspozycji, ciekawe wykłady, warsztaty i świetna, twórcza atmosfera. Jesteś zaproszony, wstęp wolny: kliknij po szczegóły. © Evertiq

Nvidia przy współpracy z ARM tworzy nowoczesne rozwiązanie, mające wprowadzić mechanizmy głębokiego uczenia maszynowego („Deep Learning” - DL) do wielu urządzeń, małych i mobilnych, wliczając w to aplikacje IoT. Nvidia oraz ARM połączyli architekturę NVIDIA Deep Learning Accelerator (NDLA) z nową platformą ARM Project Trillium, stworzoną właśnie z myślą o uczeniu maszynowym. Opracowane rozwiązania mają wspomóc wielu projektantów i twórców aplikacji IoT, chcących zintegrować funkcje AI w swoich urządzeniach. Umożliwi to sprawne tworzenie nowoczesnych, inteligentnych i niedrogich rozwiązań dla milionów konsumentów na całym świecie. Połączenie architektury NDLA i rdzeni IP wraz z platformą Trillium ma umożliwić tworzenie nowoczesnych układów, wykorzystujących potęgę płynącą z AI oraz DL. Jak zapewnia Deepu Talla z Nvidii, już wkrótce tego typu funkcje staną się podstawą w tworzeniu aplikacji IoT. A rozwiązanie to ma stanowić ważny krok w przybliżeniu nas do tego celu. Rene Haas z ARM również podziela ten entuzjazm. Przyśpieszenie rozwoju funkcji AI na krańcach sieci (zgodnie z filozofią ‘edge’) jest bardzo ważnym elementem wizji ARM, mającej na celu połączenie miliardów urządzeń IoT w jedną zwartą i wydajnie działającą strukturę. NDLA oparte jest na najbardziej wydajnych układach jeśli chodzi o funkcje AI oraz DL, czyli NVIDIA Xavier. Samo NDLA jest darmową, otwartą i dostępną dla każdego architekturą, która ma promować standard projektowania układów związanych z DL. Architektura NDLA jest modularna i wysoce skalowalna, a także wysoce konfigurowalna. Jednocześnie zapewnia prostotę jeśli chodzi o integrację z różnymi rozwiązaniami, stosowanymi przez różnych deweloperów. Jak zapewniają twórcy, NDLA niesie ze sobą wiele korzyści, które umożliwiają szybkie zaadaptowanie funkcji DL do własnych rozwiązań. Wspierać ma wiele nowoczesnych narzędzi, w także te, które na rynek dopiero mają trafić, jak np. nadchodzące najnowsze wersje TensorRT – programowalnego akceleratora DL. Integracja NDLA z Project Trillium ma sprawić, że deweloperzy DL otrzymają rozwiązania cechujące się najwyższą wydajnością, jak również elastycznością i skalowalnością, pozwalając dostosować się do wielu różnych aplikacji IoT. Project Trillium jest najnowszym rozwiązaniem ARM, zaprojektowanym z myślą o wysoce wydajnych procesach uczenia maszynowego. Jest to pakiet ARM IP, na który składają się wysoce skalowalne procesory, zapewniające rozszerzoną funkcjonalność związaną z uczeniem maszynowym (ML) i sieciami neuronowymi (NN). Rozwiązanie to wyróżniać się ma wspomnianą skalowalnością. Project Trillium nie skupia się na poszczególnych klasach urządzeń, czy nawet sektorach, jak to ma miejsce w przypadku większości rozwiązań ML dostępnych obecnie na rynku. Jednocześnie zapewniać ma świetną wydajność. Na platformę tą składać się mają dedykowane procesory ML, OD oraz wbudowana sieć neuronowa (NN). Procesor ML został specjalnie zaprojektowany z myślą o uczeniu maszynowym dla przetwarzania mobilnego. Zapewniać ma wydajność rzędu 4.6 TOPs (trylionów operacji na sekundę), czyli nawet kilkukrotnie więcej niż oferują procesory CPU lub GPU. Procesor OD z kolei został stworzony z myślą o identyfikowaniu ludzi i obiektów, w praktycznie nieograniczonej ilości na klatkę. Zapewniać ma współpracę ze strumieniem FullHD przy 60 FPS. Jest to układ niezwykle wydajny w swojej roli. Pokonywać ma konkurencyjne DSP nawet 80-krotnie. ARM NN z kolei to nowoczesne rozwiązanie programowe, stanowiące też pomost pomiędzy sprzętem, a popularnymi dziś frameworkami NN (TensorFlow, Caffe, Android NNAPI oraz MXNet). Zapewnia wsparcie dla procesorów Cortex serii A, Mali, Cortex serii M, itp. Połączenie NDLA oraz Project Trillium ma stanowić uwydatnienie zalet obu rozwiązań, umożliwiając projektantom IoT (i nie tylko) przejście na nowy poziom projektowania aplikacji, które będą mogły stać się jeszcze inteligentniejsze, dzięki DL, nie tracąc nic ze swoich dotychczasowych zalet, np. efektywności energetycznej.