© Pixabay
Technologie |
Mobilna platforma Qualcomm Snapdragon 845: prawdziwie rozszerzona rzeczywistość XR
Dzięki mobilnej platformie Snapdragon 845 będziemy mieli do czynienia z prawdziwie rozszerzoną rzeczywistością eXtended Reality (XR).
Wyobraźmy sobie, że możemy poprawić to, co widzimy wokoło siebie, że możemy zatrzeć granicę pomiędzy światem rzeczywistym a cyfrowym, pozwalając sobie na doświadczanie nieskrępowanej wirtualnej rzeczywistości. To wszystko i jeszcze więcej stanie się możliwe już w najbliższej przyszłości, dzięki mobilnej platformie Snapdragon 845. Nowy układ wraz nowoczesnym podsystemem przetwarzania wizualnego Adreno 630, połączy technologie AR, VR, MR i wszystko co jest pomiędzy nimi, tworząc prawdziwie rozszerzoną rzeczywistość eXtended Reality (XR). XR to także nowy mobilny rynek, który integrując w sobie ciągle rozwijające się technologie, może osiągnąć wartość nawet 108 miliardów do 2021 roku.
W celu zagospodarowania tego rynku, Qualcomm Technologies ściśle współpracuje z najbardziej wpływowymi i innowacyjnymi koncernami na świecie, takimi jak: Google, HTC Vive i Oculus. Wspiera również takich gigantów jak Facebook, Samsung czy ODG. Ponadto dzięki programowi HAP (HMD Acceleration Program) wspiera producentów oryginalnego sprzętu (OEM) w tworzeniu i komercjalizacji produktów przeznaczonych dla wirtualnej rzeczywistości (VR). Żeby to urzeczywistnić, Snapdragon 845 wyposażono w najnowszą architekturę GPU - Qualcomm Adreno 630, która zapewnia wyjątkową technologię wyświetlania i przetwarzania grafiki oraz wideo o wysokiej wydajności. W efekcie, zmiany w technologii rozszerzonej rzeczywistości przekształcą rozrywkę, edukację i interakcję społeczną w wysoce wciągające doświadczenia z intuicyjnymi interakcjami, oszałamiającymi efektami wizualnymi i realistycznymi dźwiękami. Adreno 630 cechuje się także ogromną energooszczędnością, zapewniając jednocześnie o 30 procent szybszą pracę grafiki, o 30 procent wyższą sprawność energetyczną i ponad dwukrotnie wyższą wydajność wyświetlania, w porównaniu z poprzednią generacją układów.
Sześć stopni swobody w pomieszczeniu
Nowa platforma oferuje sześć stopni swobody 6DoF (6 degrees of freedom), dostosowanych do pomieszczeń, z jednoczesnym wsparciem mapowania i lokalizacji (SLAM). W środowisku rzeczywistości wirtualnej, oprócz możliwości tworzenia i aktualizowania całego otoczenia w czasie rzeczywistym, istnieje potrzeba śledzenia swojej pozycji. Urządzenia takie jak HMD (Head Mounted Display) dzięki zaawansowanym algorytmom wbudowanym w Snapdragon 845, pozwalają zobaczyć i omijać ściany oraz przeszkody w ograniczonych przestrzeniach. Możliwe jest również zrozumienie rozmiaru pomieszczenia, skanowanie obiektów w pokoju w celu ich unikania oraz integracja obiektów z realnego świata ze światem wirtualnym. System SLAM może dostarczyć do 4 milionów pikseli na oko w HMD. Taka jakość wymaga dużej wydajności. Zarządzany jest przez kilka heterogenicznych silników, w tym Qualcomm Spectra 280 ISP, Qualcomm Hexagon 685 DSP i Qualcomm Kryo 385. SLAM jest także niezbędny w technologii AR do dokładnego pozycjonowania wirtualnych obiektów w śledzonych scenach, zapewniając poprawną ich wizualizację i pozycjonowanie w rzeczywistym środowisku.
Śledzenie rąk i wydawanie komend słownych
Współpraca Qualcomm z firmami takimi jak ForwardXP, czy Leap Motion, pozwoliła na osiągnięcie najlepszej dokładności śledzenia rąk, przy najniższym możliwym opóźnieniu. Efekt prac wykorzystano w nowoczesnej aplikacji Think F.A.S.T., która używa technologii VR do edukowania ludzi na temat udaru, a ostatecznie do ratowania ich życia. Aplikacja powstała we współpracy ze znanym onkologiem Dr. Raj Dahiya i wykorzystuje potwierdzony przez Amerykańskie Towarzystwo Udarowe (American Stroke Association) test F.A.S.T. (Face/Arm/Speech/Time) do diagnozy udaru.
Rysunek 1. 5.5 miliona ludzi umiera na świecie z powodu udaru mózgu. Aplikacje takie jak Think F.A.S.T. powolną ocalić ich życie
Oprogramowanie oferuje zaawansowane śledzenie rąk, które pozwala widzieć ręce podczas obsługi intuicyjnego interfejsu i dokonywać wyborów w miarę postępów w module szkoleniowym. Snapdragon 845 upraszcza również doświadczanie XR poprzez możliwość wydawania kluczowych poleceń głosowych i reakcję na nie.
Rysunek 2. Obraz ze szkolenia w aplikacji Think F.A.S.T.
Podczas szkolenia Think F.A.S.T., wydawane komendy pozwalają użytkownikowi i pacjentowi komunikować się ze sobą. Think F.A.S.T. to świetny przykład na połączenie możliwości jakie dzisiaj daje nam technologia VR i Snapdragon 845, z edukacją i szkoleniami.
Inżynieria Adreno Foveation
Snapdragon 845 wyposażono w Adreno Foveation, cyfrową technikę przetwarzania obrazu, która znacznie zmniejsza zużycie energii, zwiększa wydajność aplikacji XR i poprawia jakość obrazu. Wbudowana funkcja stosuje unikalny rodzaj renderingu grafiki, która w połączeniu ze śledzeniem wzroku umożliwia lokalizację miejsca, na które patrzy użytkownik. W celu uzyskania najlepszych efektów wizualnych, obiekty w polu widzenia system renderuje z dużo większą szczegółowością, niż te poza nim.
Adreno Foveation składa się z połączonych wielu innowacyjnych technologii: Multi-view rendering, Tile-based foveation i Fine grain preemption.
- Multi-view rendering – Zamiast niezależnego renderowania obrazu dla każdego oka, który jest obecnie standardem w systemach HMD VR, obiekty są najpierw renderowane dla lewego oka, a następnie automatycznie duplikowane dla prawego, z odpowiednimi modyfikacjami dla pozycji i widoku.
- Tile-based foveation – Technologia opracowana z pomocą programistów, która dzieli dany obraz na obszary - płytki do osobnego przetwarzania. Największy poziom szczegółowości otrzymują obszary, na które użytkownik patrzy bezpośrednio, te obok będą mniej wyraźne a obszary na krawędzi - otrzymają najmniej szczegółów.
- Fine grain preemption – jest to sposób skutecznego przerywania procesu, który jest aktualnie wykonywany, w celu zainicjowania procesu o wyższym priorytecie z minimalnym opóźnieniem. Po zakończeniu procesu przerwania system skutecznie powraca do poprzedniego procesu. Technologia ta jest szczególnie przydatna w aplikacjach czasu rzeczywistego, dla których opóźnienie jest krytycznym parametrem.