Deep learning – krótki przegląd technologii

Z technologii polegającej na samodzielnej nauce maszyn („Deep Learning Technology” - DL) korzysta się coraz częściej i chętniej np. w przemyśle. Nic więc dziwnego, że technologie DL rozwijają się coraz sprawniej. Wraz z rozwojem zapotrzebowania na możliwości oferowane przez te technologie wzrasta zainteresowanie akceleratorami DL („deep learning accelerators” - DLA).

Projektujesz elektronikę? Zarezerwuj 4 października 2018 r. na największą w Polsce konferencję dedykowaną projektantom, Evertiq Expo Kraków 2018. Przeszło 50 producentów i dystrybutorów komponentów do Twojej dyspozycji, ciekawe wykłady i świetna, twórcza atmosfera. Jesteś zaproszony, wstęp wolny: kliknij po szczegóły. © Evertiq

Wykorzystywane są najczęściej w trzech obszarach zastosowań: centrach danych („data center”), w motoryzacji, a także w urządzeniach konsumenckich. Duzi dostawcy usług sieciowych pracujących w chmurze („cloud-service providers” - CSP) chętnie sięgają po rozwiązania DL, które mają poprawić działanie takich funkcji jak: przeszukiwanie zasobów sieciowych, tłumaczenia, filtrowanie poczty e-mail, rekomendowanie produktów zgodnie z naszymi zainteresowaniami, czy też realizowanie funkcji asystenta głosowego, jak np. Alexa, Cortana czy też Siri. Obecnie DLA w zastosowaniach data center to biznes warty miliony dolarów i już niedługo (szacuje, że za około 5 lat) prześcignie pod względem rozmiarów rozwiązania serwerowe oparte na klasycznych procesorach i architekturze. Mówi się, że do 2022 nawet połowa nowych serwerów będzie wspierać technologie DL i posiadać będzie jednostki wspomagające DLA. Technologie DL są bardzo ważnym elementem w tworzeniu samochodów autonomicznych. Zastosowaniem mają być głównie systemy wizyjne (przetwarzanie obrazu z kamer lub innych sensorów), a także systemy decyzyjne, bezpośrednio wpływające na tor i sposób jazdy. Coraz chętnie wybiera się także technologie DL do pracy w systemach mających asystować kierowcy (np. wspomniane systemy wizyjne, pomagające dostrzec niebezpieczeństwo, lub wykonując automatycznie określone czynności; np. hamowanie przed pieszym). Jak na razie jednak technologie autonomicznego kierowania pojazdami, mimo że weszły w trzeci etap rozwoju, wciąż pozostają jedynie w fazie testów i doskonalenia. Jednak sytuacja ta może się zmienić w przeciągu najbliższych pięciu lat, kiedy rozwiązania te zaczną cechować się niezawodnością i pewnością działania. Prędzej czy później, zaczną być adaptowane do nowych samochodów (pozwalając np. kierowcy poczytać książkę, podczas jazdy na autostradzie). Możemy wtedy zauważyć znaczny rozwój tych technologii. Aby zmniejszyć opóźnienia w przesyłaniu danych i czas oczekiwania na dane, coraz częściej sieci neuronowe (będące podstawą działania technologii DL) implementuje się na końcowych urządzeniach konsumenckich, takich jak: komputery PC, smartfony, niewielkie urządzenia ubieralne czy drony. Sieci neuronowe zaczyna się implementować także w aplikacjach IoT. Jest to związane z rosnącymi możliwościami układów scalonych i ich coraz mniejszym zużyciem energii. Producenci procesorów coraz chętniej implementują rozwiązania wspierające technologie DL. Wśród tych producentów można znaleźć np.: Apple, Qualcomm, Huawei, MediaTek. Do 2022 na rynku może się pojawić ponad 1.5 miliarda urządzeń mobilnych, wspierających technologie uczenia się maszyn. Rozwój technologii DL sprawił, że sieci neuronowe implementowano na wielu różnych architekturach. Z początku stosowano powszechne jednostki CPU, jako komponenty łatwe w programowaniu. GPU i DSP oferowały jednak większą wydajność i wkrótce to one stały się głównym „nośnikiem” dla sieci neuronowych i technologii DL. Również chętnie stosuje się FPGA, jako komponenty o dużej elastyczności. Przyszłością jednak są komponenty dedykowane: ASIC. Liderem w rozwoju układów dedykowanych dla DL jest Nvidia. Przykładem mogą być nowe układy Volta, które oprócz bardzo wydajnych jednostek GPU posiadać mają rdzenie ‘tensor’. Są to niezwykle wydajne jednostki stworzone z myślą o „treningu”, pozwalające na osiąganie wydajności rzędu 119 Tflop/s. Wkrótce wprowadzone mają zostać układy Xavier, oferujące bogate możliwości związane z technologią DL dla motoryzacji. Również Intel nie pozostaje w tyle w rozwoju układów wspierających technologie DL. Ich procesory Xeon Phi 7200 (Knights Landing) oferują zaawansowane wsparcie dla sieci neuronowych. Wkrótce ma też ruszyć projekt opracowania nowej architektury DLA w 2018 roku. Oferta firma obejmuje również układy FPGA, oferujące wsparcie dla sieci neuronowych, pozwalających tworzyć wydajne rozwiązania DL. AMD będące rywalem Nvidii na rynku układów graficznych stanowi także konkurencję w rozwoju układów wspierających uczenie się maszynowe, głównie z myślą o centrach danych. Efektywnie na tym polu działa też firma Google, tworząc rdzenie TPU i TPU2, oferujące unikalną architekturę i najlepszy jak na razie współczynnik wydajności do zużywanej energii. To tylko kilka przykładów największych firm, które pragną odmienić otaczającą nas elektronikę. Do wyścigu stają też takie firmy jak MediaTek, a także NXP czy Synopsys, tworząc własne rozwiązania, wspierające sieci neuronowe pod różne zastosowania.