Czy wirtualna rzeczywistość może przeciąć przewód?

Reklama

Nie mielmy słów: jestem wyraźnie podekscytowany słowami Valve nowy zestaw słuchawkowy Virtual Reality Valve i HTC ogłaszają wprowadzenie nowego zestawu VR na Boże Narodzenie 2015Nowy zestaw VR firmy Valve jest najlepszym, jaki kiedykolwiek widział świat. Czy Oculus ma szansę? Czytaj więcej .

Vive, stworzony we współpracy z HTC, oferuje doskonałe śledzenie głowy i dwóch kontrolerów, wygodną rozdzielczość 2160 x 1200 i bardzo ostry wyświetlacz OLED 90 Hz. Jego wychodzi w tym rokui oferuje interaktywne wrażenia VR, które zapewniają trwałe poczucie fizycznej obecności na wirtualnej scenie.

Aby dowiedzieć się, jak dobre jest śledzenie, zapoznaj się z filmem „The Gallery”, gry VR rozgrywanej na Vive.

Wyzwanie, jakim jest wirtualna rzeczywistość bez ograniczeń

Vive jest fantastyczny. Jeśli jednak przeczytasz recenzje prototypowych zestawów słuchawkowych, które się wlewają, zaczniesz to zauważać jedna konkretna skarga ciągle wyskakuje.

Venture Beat:

„Podczas mojej próby z prototypem nosiłem pasek, aby trzymać wiązkę sznurów na uboczu - i teraz, gdy o tym myślę, Valve musiała mieć kogoś, kto ze mną chodził, aby upewnić się, że nie potknęłam się o żaden luz, który stworzyłam, gdy poruszałam się po Pokój."

instagram viewer

PC MAG:

„Ponieważ jest to w pełni interaktywne, spacerowe doświadczenie, musisz wyczyścić meble ze środka pokoju i starać się nie potknąć o kabel prowadzący z powrotem do komputera”.

Gizmodo:

„I to prawdopodobnie główny słaby punkt HTC Vive. To jest jak Macierz wydaje się to prawdziwe, ale także dlatego, że jesteś podłączony do komputera za pomocą kabla, który wychodzi z tyłu głowy. Czasami ograniczy to swobodny ruch i czasami (choć z mojego doświadczenia) nie jest to ryzyko potknięcia. To nie jest bardzo duży problem, ale i tak zauważalny. ”

Częściowo dzieje się tak, ponieważ zestaw słuchawkowy jest prototypem z pięcioma kablami (wersja konsumencka powinna mieć tylko jeden, połączony przewód USB i HDMI łączący zestaw słuchawkowy z komputerem). Problem wydaje się jednak mieć zasadnicze znaczenie dla przewodowych zestawów słuchawkowych które pozwalają swobodnie chodzić Obejrzyj nas Wypróbuj Oculus Rift Crescent Bay na CES 2015Oculus Rift Crescent Bay to zupełnie nowy prototyp, który prezentuje ekscytujące ulepszenia w technologii rzeczywistości wirtualnej. Wypróbowujemy to na CES 2015. Czytaj więcej . Sznury stanowią ryzyko potknięcia się, a także są czymś w rodzaju szaleństwa. Zapobiegają wyjściu urządzenia VR z pokoju, a tym bardziej z domu.

Stanie się to większym problemem, gdy zaczniemy używać VR jako podstawowego interfejsu dla naszych systemów operacyjnych.

Nie mieliśmy komputerów na długo, zanim potrzebowaliśmy mobilnej wersji tego doświadczenia (laptopy, smartfony i tablety). VR będzie w ten sam sposób, szczególnie, gdy zaczniemy integrować funkcje rzeczywistości rozszerzonej na wzór Microsoft HoloLens 8 rzeczywistych zastosowań Microsoft HoloLensHoloLens Microsoftu jest fajny, ale do czego go użyjesz? Spełniamy najbardziej ekscytujące możliwości. Czytaj więcej .

Niestety okazuje się, że odłączenie słuchawek VR od komputerów PC jest poważnym wyzwaniem technologicznym i wciąż nie wiemy, jak je rozwiązać. Istnieją jednak dwie obiecujące technologie na horyzoncie, które mogą pomóc rozwiązać problem.

Rozwiązanie nr 1: Przesyłanie strumieniowe z komputera

Jednym z oczywistych podejść do programu jest użycie komputera do renderowania wirtualnego świata, a następnie przesyłanie strumieniowe renderowanych obrazów do zestawu słuchawkowego przez WiFi (np. Steamlink, który przesyła strumieniowo gry z komputera na telewizor). Problemem w tym podejściu jest opóźnienie. W rzeczywistości wirtualnej chcesz zminimalizować opóźnienie między ruchem a widzeniem tego ruchu odbijanego na ekranie. Na ogół ustala się, że najsłabszy punkt nie przekracza 20 milisekund.

Współczesne przesyłanie strumieniowe wideo może osiągnąć opóźnienie poniżej jednej milisekundy, co jest świetnym początkiem. Niestety, nieskompresowany strumień wideo 1440p 90 Hz to prawie 8 gigabitów na sekundę danych. Routery konsumenckie WiFi mogą obsłużyć około 100 megabitów. Nawet najwyższej klasy routery przemysłowe osiągają maks około 800 megabitówosiem razy mniej niż potrzeba. Aby to naprawić, musisz skompresować obrazy przed ich wysłaniem. Proces kompresji i dekompresji dodaje 80 ms opóźnienia, które będzie rozchorować się.

Istnieje kilka możliwych rozwiązań tego problemu:

Ulepszenia przepustowości

Jednym z podejść jest próba zwiększenia dostępnej przepustowości. Sieci 5G, które będą dostępne za pięć lat, mogą zapewnić prędkość około jednego terabit na sekundę, co mogłoby obsługiwać futurystyczne 8K HMD bez kompresji. W najbliższym terminie Li-Fi (technologia internetowa oparta na szybko pulsujących diodach LED) może pozwolić na transfer z prędkością 10 GB / s przy bardzo niskich opóźnieniach, co zezwolić na bezprzewodowe wersje zestawów VR obecnej generacji w ciągu najbliższych kilku lat, chociaż technologia ta nie jest dostępna dla konsumentów jeszcze.

Jest to prawdopodobnie najlepsze rozwiązanie problemu, ale nie będzie dostępne dla konsumentów przez co najmniej rok lub dwa, może być kosztowne, a rozdzielczość prawdopodobnie pozostanie w tyle za najwyższej jakości przewodowymi zestawami słuchawkowymi, aż do uzyskania prawidłowych sieci 5G przybyć.

Lokalne wypaczanie

Bardziej złożoną opcją byłoby zaakceptowanie 80 ms opóźnienia i próba skorygowania go po fakcie, poprzez wypaczenie starego obrazu do nowej pozycji głowy. Nadal powoduje to pewne opóźnienie wejściowe, ale nie wywołuje mdłości w ruchu głowy.

Standardowym podejściem do tego rodzaju problemu jest asynchroniczne dopasowanie czasowe, które zbiera dane z komputera i wypacza je za pomocą małego GPU na zestawie słuchawkowym, aby wyświetlić stary obraz z nowej perspektywy, umożliwiając płynną aktualizację zestawu słuchawkowego, pomimo dużego opóźnienia.

Na pierwszy rzut oka brzmi to jak magiczna kula. Niestety są pewne duże połowy. Cytując Michała Antonowa, badacza Oculus,

„Miara pozycyjna jest jednym z najbardziej oczywistych artefaktów z tylko orientacją czasu. Gdy poruszasz głową, tylko dodatkowy komponent obrotowy jest odzwierciedlany w obrazach generowanych przez ATW, a wszelkie ruchy głowy translacyjne od czasu renderowania ramki są ignorowane. Oznacza to, że gdy poruszasz głową z boku na bok, a nawet po prostu obracasz głowę, co przesuwa twoje oczy, zobaczysz wielokrotny obraz drgania na obiektach znajdujących się w pobliżu.

[…]

Jednym z możliwych sposobów rozwiązania problemu wymiaru pozycyjnego jest wdrożenie pełnego wypaczenia pozycyjnego, które stosuje zarówno poprawki translacji, jak i orientacji do oryginalnej renderowanej ramki. Wypaczanie położenia musi uwzględniać głębokość oryginalnej renderowanej ramki, przesuwając części obrazu o różne wartości. Takie przesunięcie generuje jednak artefakty związane z okluzją na krawędziach obiektów, w których odkryte są obszary przestrzeni, w których nie ma danych w oryginalnej ramce ”.

Tam są kilka technik do tworzenia danych w celu wypełnienia dziur utworzonych przez pozycjonowanie z opóźnieniem czasowym, ale wszystkie z nich pozostawiają artefakty, a te, które pozostawiają najmniej artefaktów, są najdroższe obliczeniowo. Problem jest podobny do tych, z którymi się borykają próba wyświetlenia wideo z głębią VR VR ma zamiar zmienić filmowanie na zawsze: oto jakRzeczywistość wirtualna to nowy sposób komunikowania się z widzem, a wiele osób z doświadczeniem w tradycyjnym filmowaniu uważa, że ​​możliwości są ekscytujące. Czytaj więcej .

Aby idealnie rozwiązać ten problem, programiści muszą znaleźć sposób na przesłanie dodatkowych danych w celu wypełnienia dziur. Kilka możliwych podejść:

• Renderuj oddzielnie obiekty dalekiego i bliskiego pola i przesyłaj strumieniowo oba obrazy
• Renderuj a pole świetlne, które można ponownie wyświetlić przy dużych przesunięciach głowy bez dezintegracji
• Opracuj niezwykle wyrafinowane modele ruchów głowy i użyj przewidywania, aby zminimalizować błędy dyslokacji

Nie jest jasne, jakie jest najlepsze rozwiązanie. Żadne z podejść, które znamy, nie jest idealne, a niektóre z nich wymagają dalszych badań. Ustalenie, czy ponowne rzutowanie jest dobrym pomysłem, sprowadza się do tego, jak bardzo możemy zminimalizować artefakty. To obiecująca możliwość, ale jest wiele pytań bez odpowiedzi.

Rozwiązanie nr 2: Lokalne renderowanie

Zupełnie inną strategią jest zapomnienie komputera i wykonanie renderowania lokalnie na zestawie słuchawkowym. Tak działają Microsoft HoloLens i Samsung Gear VR. Niewiele wiadomo o HoloLens Pięć pytań o „Project HoloLens” MicrosoftuNowy zestaw słuchawkowy Microsoft Augmented Reality jest bardzo ekscytujący - ale czy potrafią rozwiązać podstawowe problemy AR? Czytaj więcej , ale Gear VR ma wiele poważnych ograniczeń. Jego mobilny procesor graficzny może obsłużyć niektóre skromne doświadczenia VR (z intensywną optymalizacją), ale z trudem. Problemem jest zarządzanie ciepłem, rozdzielczość i częstotliwość odświeżania nie zwiększają się do poziomu wymaganego do obecności na scenie, a zestaw słuchawkowy nie śledzi położenia. Niektóre z nich wynikają z ograniczeń technologii mobilnych i wkrótce poprawi się, napędzany falą prawa Moore'a.

Niektóre z tych problemów wynikają jednak z konieczności zaprojektowania smartfona, który nie został zaprojektowany z myślą o VR. Jeśli od samego początku budujesz mobilny zestaw VR, możesz zrobić wiele rzeczy inaczej. Projektanci mogliby mieć dwa wysokiej klasy mobilne układy GPU, ekran o bardzo wysokiej częstotliwości odświeżania i dużą baterię. Mogą również rozkładać komponenty w celu lepszego rozkładu masy i zarządzania ciepłem. Wynikowy kształt może wyglądać podobnie do Sony Morpheus.

Lub, jeśli inżynierowie chcieliby stać się ambitni, mogliby zbudować coś więcej jak mini-PC: mały poręczny blok komputronium zawierający jeden lub więcej laptopów GPU, wentylator i dużą baterię. To urządzenie miałoby kształt podobny do odtwarzacza Walkman i sterowało dyskiem HMD za pomocą jednego kabla.

Obecny flagowy procesor graficzny NVIDIA, GTX 980, którego wewnętrznie używa Oculus tylko około 40% szybciej niż jego mobilny odpowiednik, 980M i tak jest malutki. Prawdopodobnie możliwe jest zmieszczenie dwóch z nich w fantazyjnym zestawie, z miejscem na resztę wnętrzności małego komputera mobilnego.

Uwaga dla twórców sprzętu: pod żadnym pozorem nie wolno prasie opisywać twojego produktu jako „fanny pack”.

Ten współczynnik kształtu byłby bardziej obszerny niż samodzielny zestaw słuchawkowy, nie wspominając o drogich - matematyka z tyłu koperty sugeruje cenę około 2500 USD. Możliwe, że współcześni konsumenci nie będą zainteresowani produktami nieporęcznymi. Jest to jednak jedyny sposób, aby mobilny zestaw VR zapewnił wydajność konkurencyjną w stosunku do PC VR i podejrzewam, że wybiorą go zapaleni gracze i inni niewiarygodni. Od dawna kujony kierują technologią, chcąc nosić produkty, które sprawiają, że wyglądają śmiesznie.

W tej chwili mobilne zestawy słuchawkowe cierpią z powodu niemożności zapewnienia śledzenia pozycji, co powoduje mdłości, że świat jest przywiązany do tułowia podczas próby poruszania się. Jednak ten problem może wkrótce zostać rozwiązany. W krótkim okresie, Valve's Technologia śledzenia położenia „latarni morskiej” to świetne rozwiązanie: projektory laserowe są głupie, co oznacza, że ​​można je układać kafelkami, aby pokryć duże przestrzenie, i mogą obsługiwać wiele urządzeń jednocześnie. W rezultacie w ciągu najbliższych kilku lat śledzenie latarni morskich może stać się niedrogą usługą, z której korzystają a firmy zapewniają, podobnie jak obecnie WiFi, pozwalając na korzystanie z mobilnego sprzętu VR w większości wnętrz spacje.

W dłuższej perspektywie, gdy kamery głębinowe poprawią rozdzielczość i poziom hałasu, powinno być możliwe ich wykorzystanie do śledzenia położenia, z wystarczającą precyzją, aby zapewnić poczucie obecności VR. Pozwoli to na samodzielne produkty VR odpowiednie do użytku na zewnątrz i rzeczywistości rozszerzonej.

Przyszłość mobilnej VR

Na dłuższą metę mobilne zestawy słuchawkowe są tam, gdzie idzie technologia VR.

Możemy wykonać matematykę prawa Moore'a, sprawdzając, ile dublowań jesteśmy w stanie renderować fotorealistyczne wirtualne światy na urządzeniach mobilnych. Komputery z wyższej półki to być może pięć dublowania (kolejna generacja konsol) od możliwości dostarczenia realistycznych wrażeń w grach w rozdzielczości 1080p. W przypadku VR potrzebujemy jednego podwojenia dla 3D i trzech kolejnych do renderowania przy 8K na oko potrzebnych do wyeliminowania rozmycia i efektu drzwi ekranowych. Aby uwzględnić platformę mobilną, potrzebujemy około czterech dodatkowych podwojeń, aby dogonić wysokiej klasy komputery PC.

Jeśli zsumujesz wszystkie podwojenia i pomnożysz przez osiemnaście miesięcy podyktowanych prawem Moore'a, otrzymasz około dwudziestu lat (2035), co jest punkt, w którym nikt nie będzie w stanie odróżnić sceny VR renderowanej na smartfonie od sceny renderowanej na wysokiej klasy komputerze do gier. W tym momencie nie będzie już powodu, aby ponownie używać zestawu słuchawkowego na komputer.

Do tego dnia podejrzewam, że przez jakiś czas będziemy widzieć zarówno przewodowe, jak i bezprzewodowe zestawy VR sterowane komputerowo. Bezprzewodowe zestawy słuchawkowe będą wygodniejsze, ale przewodowe zestawy słuchawkowe będą oferować lepszą rozdzielczość - przynajmniej dopóki sieci 5G nie będą w pełni dojrzałe.

Po drugiej stronie podziału mobilne zestawy słuchawkowe będą się nadal poprawiać i odsuwać udziały w rynku od komputera, gdy przesuwamy się daleko wystarczająco w górę krzywej malejących zysków, przy coraz większej liczbie ludzi gotowych poświęcić skromną ilość wierności dla elastyczność. Konkurencja będzie zacięta i, miejmy nadzieję, dobra dla konsumenta. Osobiście nie mogę się doczekać.

Podekscytowany bezprzewodowymi zestawami słuchawkowymi? Wiesz o technologii, za którą tęskniliśmy? Daj nam znać w komentarzach!

Kredyty obrazkowe: Barone Firenze Przez Shutterstock, „Recording Isan's ...”, autor: Edvvc, „Pyzaty, ”Kevina Lin,„ HTC VR ”, HTC,„Link Steam, ”Autorstwa Valve,„Prawo Moore'a, ”Wikimedia