reklama
reklama
reklama
reklama
reklama
reklama
reklama
reklama
© Pixabay Technologie | 05 lutego 2018

Mobilna platforma Qualcomm Snapdragon 845: prawdziwie rozszerzona rzeczywistość XR

Dzięki mobilnej platformie Snapdragon 845 będziemy mieli do czynienia z prawdziwie rozszerzoną rzeczywistością eXtended Reality (XR).
Wyobraźmy sobie, że możemy poprawić to, co widzimy wokoło siebie, że możemy zatrzeć granicę pomiędzy światem rzeczywistym a cyfrowym, pozwalając sobie na doświadczanie nieskrępowanej wirtualnej rzeczywistości. To wszystko i jeszcze więcej stanie się możliwe już w najbliższej przyszłości, dzięki mobilnej platformie Snapdragon 845. Nowy układ wraz nowoczesnym podsystemem przetwarzania wizualnego Adreno 630, połączy technologie AR, VR, MR i wszystko co jest pomiędzy nimi, tworząc prawdziwie rozszerzoną rzeczywistość eXtended Reality (XR). XR to także nowy mobilny rynek, który integrując w sobie ciągle rozwijające się technologie, może osiągnąć wartość nawet 108 miliardów do 2021 roku.



W celu zagospodarowania tego rynku, Qualcomm Technologies ściśle współpracuje z najbardziej wpływowymi i innowacyjnymi koncernami na świecie, takimi jak: Google, HTC Vive i Oculus. Wspiera również takich gigantów jak Facebook, Samsung czy ODG. Ponadto dzięki programowi HAP (HMD Acceleration Program) wspiera producentów oryginalnego sprzętu (OEM) w tworzeniu i komercjalizacji produktów przeznaczonych dla wirtualnej rzeczywistości (VR). Żeby to urzeczywistnić, Snapdragon 845 wyposażono w najnowszą architekturę GPU - Qualcomm Adreno 630, która zapewnia wyjątkową technologię wyświetlania i przetwarzania grafiki oraz wideo o wysokiej wydajności. W efekcie, zmiany w technologii rozszerzonej rzeczywistości przekształcą rozrywkę, edukację i interakcję społeczną w wysoce wciągające doświadczenia z intuicyjnymi interakcjami, oszałamiającymi efektami wizualnymi i realistycznymi dźwiękami. Adreno 630 cechuje się także ogromną energooszczędnością, zapewniając jednocześnie o 30 procent szybszą pracę grafiki, o 30 procent wyższą sprawność energetyczną i ponad dwukrotnie wyższą wydajność wyświetlania, w porównaniu z poprzednią generacją układów.

Sześć stopni swobody w pomieszczeniu

Nowa platforma oferuje sześć stopni swobody 6DoF (6 degrees of freedom), dostosowanych do pomieszczeń, z jednoczesnym wsparciem mapowania i lokalizacji (SLAM). W środowisku rzeczywistości wirtualnej, oprócz możliwości tworzenia i aktualizowania całego otoczenia w czasie rzeczywistym, istnieje potrzeba śledzenia swojej pozycji. Urządzenia takie jak HMD (Head Mounted Display) dzięki zaawansowanym algorytmom wbudowanym w Snapdragon 845, pozwalają zobaczyć i omijać ściany oraz przeszkody w ograniczonych przestrzeniach. Możliwe jest również zrozumienie rozmiaru pomieszczenia, skanowanie obiektów w pokoju w celu ich unikania oraz integracja obiektów z realnego świata ze światem wirtualnym. System SLAM może dostarczyć do 4 milionów pikseli na oko w HMD. Taka jakość wymaga dużej wydajności. Zarządzany jest przez kilka heterogenicznych silników, w tym Qualcomm Spectra 280 ISP, Qualcomm Hexagon 685 DSP i Qualcomm Kryo 385. SLAM jest także niezbędny w technologii AR do dokładnego pozycjonowania wirtualnych obiektów w śledzonych scenach, zapewniając poprawną ich wizualizację i pozycjonowanie w rzeczywistym środowisku.

Śledzenie rąk i wydawanie komend słownych

Współpraca Qualcomm z firmami takimi jak ForwardXP, czy Leap Motion, pozwoliła na osiągnięcie najlepszej dokładności śledzenia rąk, przy najniższym możliwym opóźnieniu. Efekt prac wykorzystano w nowoczesnej aplikacji Think F.A.S.T., która używa technologii VR do edukowania ludzi na temat udaru, a ostatecznie do ratowania ich życia. Aplikacja powstała we współpracy ze znanym onkologiem Dr. Raj Dahiya i wykorzystuje potwierdzony przez Amerykańskie Towarzystwo Udarowe (American Stroke Association) test F.A.S.T. (Face/Arm/Speech/Time) do diagnozy udaru.


Rysunek 1. 5.5 miliona ludzi umiera na świecie z powodu udaru mózgu. Aplikacje takie jak Think F.A.S.T. powolną ocalić ich życie

Oprogramowanie oferuje zaawansowane śledzenie rąk, które pozwala widzieć ręce podczas obsługi intuicyjnego interfejsu i dokonywać wyborów w miarę postępów w module szkoleniowym. Snapdragon 845 upraszcza również doświadczanie XR poprzez możliwość wydawania kluczowych poleceń głosowych i reakcję na nie.


Rysunek 2. Obraz ze szkolenia w aplikacji Think F.A.S.T.

Podczas szkolenia Think F.A.S.T., wydawane komendy pozwalają użytkownikowi i pacjentowi komunikować się ze sobą. Think F.A.S.T. to świetny przykład na połączenie możliwości jakie dzisiaj daje nam technologia VR i Snapdragon 845, z edukacją i szkoleniami.

Inżynieria Adreno Foveation

Snapdragon 845 wyposażono w Adreno Foveation, cyfrową technikę przetwarzania obrazu, która znacznie zmniejsza zużycie energii, zwiększa wydajność aplikacji XR i poprawia jakość obrazu. Wbudowana funkcja stosuje unikalny rodzaj renderingu grafiki, która w połączeniu ze śledzeniem wzroku umożliwia lokalizację miejsca, na które patrzy użytkownik. W celu uzyskania najlepszych efektów wizualnych, obiekty w polu widzenia system renderuje z dużo większą szczegółowością, niż te poza nim.

Adreno Foveation składa się z połączonych wielu innowacyjnych technologii: Multi-view rendering, Tile-based foveation i Fine grain preemption.
  • Multi-view rendering – Zamiast niezależnego renderowania obrazu dla każdego oka, który jest obecnie standardem w systemach HMD VR, obiekty są najpierw renderowane dla lewego oka, a następnie automatycznie duplikowane dla prawego, z odpowiednimi modyfikacjami dla pozycji i widoku.

  • Tile-based foveation – Technologia opracowana z pomocą programistów, która dzieli dany obraz na obszary - płytki do osobnego przetwarzania. Największy poziom szczegółowości otrzymują obszary, na które użytkownik patrzy bezpośrednio, te obok będą mniej wyraźne a obszary na krawędzi - otrzymają najmniej szczegółów.

  • Fine grain preemption – jest to sposób skutecznego przerywania procesu, który jest aktualnie wykonywany, w celu zainicjowania procesu o wyższym priorytecie z minimalnym opóźnieniem.

    Po zakończeniu procesu przerwania system skutecznie powraca do poprzedniego procesu. Technologia ta jest szczególnie przydatna w aplikacjach czasu rzeczywistego, dla których opóźnienie jest krytycznym parametrem.

Odkryj dźwięk 3D

Aby móc głębiej zanurzyć się w środowisku VR, Snapdragon 845 obsługuje również dźwięk 3D, pozwalając usłyszeć dźwięki, które słyszymy w rzeczywistym otoczeniu. Jeśli użytkownik stoi w wirtualnej jaskini, usłyszy pogłos i odbicia swojego głosu, tak jak by znajdował się w prawdziwej jaskini.

Nowe kierunki w prawdziwie rozszerzonej rzeczywistości XR

Jednym z ważniejszych kierunków, dla następnej generacji XR, a szczególnie dla AR, będzie interfejs głosowy. Przyszłe okulary AR mogą na przykład posiadać system, który zawsze będzie nasłuchiwał i rozpoznawał kluczowe frazy takie jak np.: "Hej Snapdragon", aby wybudzić okulary lub wywołać określone działanie. Mogą również wykorzystywać technologie Snapdragon do rozpoznawania twarzy i wraz z wyszkoloną siecią neuronową dokonywać identyfikacji osób w pomieszczeniu. Dzięki tym informacjom aplikacje do okularów AR mogą zalecać lub automatycznie podejmować działania, np. wyświetlać przydatne informacje o osobach w pokoju. Jedną z ciekawszych koncepcji są okulary dla strażaka, które wyposażone są w półprzeźroczyste wyświetlacze w szkłach, kamery, dodatkowe oświetlenie, różnego rodzaju czujniki, w tym odczytujące parametry życiowe i środowiska, mikrofon, głośniki, itp.


Rysunek 3. Koncepcja okularów XR dla strażaka

Strażak po założeniu okularów otrzymuje nie tylko informacje potrzebne do zlokalizowania osób poszkodowanych ale również o aktualnym otoczeniu i zagrożeniach w budynku. W celu lepszej orientacji w terenie, na obraz rzeczywisty nanoszony jest wirtualny. Wyświetlany jest również podgląd tego co dzieje się za strażakiem, mapa budynku oraz np. temperatura w pomieszczeniach, dzięki czemu możliwa jest dokładna identyfikacja zagrożeń.


Rysunek 4. Widok miejsca zdarzenia jaki obecnie widzi strażak


Rysunek 5. Widok miejsca zdarzenia po założeniu okularów XR

Prawdziwie rozszerzona rzeczywistość może również zmienić sposób dokonywania zakupów i płatności mobilnych. W trakcie ostatniej konferencji Snapdragon Tech Summit, Qualcomm razem z ODG, zademonstrowali wykorzystanie okularów w wirtualnym środowisku zakupowym. Aplikacja pozwalała na dodawanie przedmiotów do koszyka, po prostu na nie patrząc i stukając w okulary. Na końcu, w celu dokonania płatności okulary wykonały uwierzytelnienie skanując tęczówkę oczu.

Dzisiaj wyobrażamy sobie przyszłość, w której technologia będzie bardziej spersonalizowana i jeszcze bardziej użyteczna - taka, w której świat będzie intuicyjnie rozszerzany, tak aby pasował do indywidualnych potrzeb każdego człowieka. Z czasem sama technologia zniknie, ponieważ pojawi się nowy rodzaj prawie niezauważalnego urządzenia mobilnego, które zastąpi prawie wszystkie inne i zmieni sposób, w jaki wchodzimy w interakcję ze światem. Pierwszy krok do takiej właśnie przyszłości wykonał Qualcomm tworząc mobilną platformę Snapdragon 845, która w najbliższym czasie połączy technologie AR, VR i MR w prawdziwie rozszerzoną rzeczywistość XR.

Fot.: © Qualcomm

Komentarze

Zauważ proszę, że komentarze krytyczne są jak najbardziej pożądane, zachęcamy do ich zamieszczania i dalszej dyskusji. Jednak komentarze obraźliwe, rasistowskie czy homofobiczne nie są przez nas akceptowane. Tego typu komentarze będą przez nas usuwane.
Załaduj więcej newsów
February 08 2018 17:15 V9.2.4-2