Pięć pytań o „Project HoloLens” Microsoftu

Reklama

W środę rano Microsoft pokazał projekt, nad którym pracowali od siedmiu lat, zestaw słuchawkowy o rozszerzonej rzeczywistości o nazwie Projekt HoloLens.

Wizja jest ambitna: chcą zasadniczo zmienić sposób interakcji ludzi z komputerami tworząc parę okularów, które mogą płynnie mieszać zawartość wirtualną i rzeczywistą w fizycznej przestrzeni użytkownik. To jest jak technologia rzeczywistości wirtualnej Dlaczego technologia rzeczywistości wirtualnej zaskoczy Cię za 5 latPrzyszłość rzeczywistości wirtualnej obejmuje śledzenie głowy, oczu i ekspresji, symulację dotyku i wiele więcej. Te niesamowite technologie będą dostępne za 5 lat lub krócej. Czytaj więcej , ale zasadniczo mocniejszy. Co więcej, chcą przeprowadzić wszystkie przetwarzanie lokalnie na okularach - bez komputera, bez telefonu, bez kabli. Wprowadzają nawet specjalną wersję systemu Windows tylko dla nowego sprzętu. Dla wszystkich to kolejny etap ewolucji technologicznej Gry AR Aplikacje Augmented Reality: przydatne, czy tylko hype? MakeUseOf Tests

W 2011 r. Analitycy przewidywali wzrost liczby aplikacji mobilnych w rzeczywistości rozszerzonej. Powstająca technologia zrewolucjonizuje sposób interakcji z naszymi urządzeniami mobilnymi. Flash do przodu o dwa lata i dziesiątki aplikacji AR wypełniają wszystkie ... Czytaj więcej zainstalowałeś go na swoim telefonie i od tamtej pory go nie dotykasz.

Ich ramy czasowe są jeszcze bardziej ambitne niż ich cele: chcą wysłać zestawy programistyczne tej wiosny, a produkt konsumencki „w czasie Windows 10”. Oto boisko.

Wszystko to brzmi świetnie, ale przyznaję do dość wysokiego sceptycyzmu.

Technologie, z których korzysta Microsoft, stoją przed poważnymi, fundamentalnymi wyzwaniami, a do tej pory Microsoft był bardzo szczery w kwestii tego, jak je rozwiązał. Jeśli ich nie rozwiązali, ich cel wysyłki w ciągu roku jest bardzo niepokojący. Ostatnią rzeczą, której potrzebują VR i AR, jest duża firma wysyłająca kolejny na wpół upieczony produkt, taki jak Kinect. Zapamiętaj Demo projektu Natal od 2009 roku?

Bez zbędnych ceregieli, oto pięć najważniejszych rzeczy, które chciałbym wiedzieć o HoloLens.

Czy to wyświetlacz o jasnym polu?

Aby to zrozumieć, musimy przyjrzeć się nieco głębiej trójwymiarowi i temu, jak działa. Aby uzyskać wrażenie prawdziwego, namacalnego świata 3D, nasze mózgi łączą wiele różnych rodzajów informacji. Wskazówki dotyczące głębi świata otrzymujemy na trzy podstawowe sposoby:

• Głębia stereo - rozbieżność między tym, co widzą nasze oczy. Fałszywe jest to, jak działają filmy 3D
• Paralaksa ruchowa - subtelne ruchy naszej głowy i tułowia dają nam dodatkowe wskazówki dotyczące głębokości obiektów znajdujących się dalej
• Ostrość optyczna - kiedy się na czymś skupiamy, soczewki naszych oczu odkształcają się fizycznie, aż do momentu, gdy się skupią; obiekty bliskiego pola wymagają większego zniekształcenia soczewki, co zapewnia informacje o głębi tego, na co patrzymy

Ostrość optyczna jest łatwa do sprawdzenia: zamknij jedno oko i przytrzymaj kciuk przed ścianą w poprzek pokoju. Następnie przenieś fokus z miniatury na powierzchnię za nią. Patrząc poza kciuk, kciuk przesunie się nieostry, ponieważ soczewka oka jest teraz mniej zdeformowana i nie może poprawnie odbierać padającego z niej światła.

Zestawy VR, takie jak Oculus Rift, zapewniają pierwsze dwa sygnały niezwykle dokładnie, ale nie ostatnie, co zadziwiająco działa cóż: nasze oczy domyślnie całkowicie się odprężają, ponieważ optyka skupia obrazy tak, jakby światło padało z nieskończonej odległości z dala. Brak wskaźnika ostrości optycznej jest nierealny, ale zwykle nie rozprasza. Nadal możesz mieć bardzo fajne wrażenia z gry 5 Oculus Rift Doświadczenia w grach, które cię zdmuchnąTeraz, gdy zestaw deweloperski Oculus Rift drugiej generacji jest już dostępny i znajduje się w rękach programistów na całym świecie, spójrzmy na niektóre z najlepszych rzeczy, które trafiły do ​​tej pory na Rift. Czytaj więcej bez tego.

W rzeczywistości rozszerzonej problem jest inny, ponieważ musisz mieszać światło z rzeczywistych i wirtualnych obiektów. Światło z prawdziwego świata będzie naturalnie skupiane na różnych głębokościach. Jednak zawartość wirtualna będzie skupiona na stałej, sztucznej odległości podyktowanej optyką - prawdopodobnie na nieskończoności. Obiekty wirtualne nie wyglądają, jakby były naprawdę częścią sceny. Będą nieostre, gdy spojrzysz na prawdziwe rzeczy na tej samej głębokości i odwrotnie. Nie będzie możliwe płynne przesuwanie oka po scenie, przy jednoczesnym utrzymaniu ostrości, jak zwykle. Sprzeczne wskazówki dotyczące głębokości będą co najwyżej dezorientujące, aw najgorszym - obrzydliwe.

Aby to naprawić, potrzebujesz czegoś, co nazywa się wyświetlaczem pola świetlnego. Wyświetlacze pola świetlnego to wyświetlacze wykorzystujące szereg małych soczewek do wyświetlania światła skupionego na wielu głębokościach jednocześnie. Pozwala to użytkownikowi naturalnie skupić się na wyświetlaczu i (w rzeczywistości rozszerzonej) rozwiązuje opisany powyżej problem.

Istnieje jednak problem: wyświetlacze pola świetlnego zasadniczo odwzorowują pojedynczy ekran 2D na trójwymiarowe pole świetlne, co oznacza, że ​​każda „głębokość piksel ”, który użytkownik postrzega (i istnieje na określonej głębokości ogniskowej w scenie), w rzeczywistości składa się ze światła wielu pikseli oryginału pokaz. Im głębsza głębia, którą chcesz przedstawić, tym więcej rozdzielczości musisz zrezygnować.

Ogólnie pola świetlne mają około osiem razy zmniejszenie rozdzielczości w celu zapewnienia odpowiedniej precyzji głębi. Najlepsze dostępne mikrodisplay mają rozdzielczość około 1080p. Zakładając, że jeden wysokiej klasy mikrodisplay napędza każde oko, faktyczna rozdzielczość zestawu słuchawkowego Microsoftu wynosi tylko około 500 x 500 pikseli na oko, mniej niż w przypadku Oculus Rift DK1. Jeśli wyświetlacz ma duże pole widzenia, wirtualne obiekty będą niezrozumiałymi plamami pikseli. Jeśli tak się nie stanie, zanurzenie będzie proporcjonalne. W rzeczywistości nigdy nie widzimy przez obiektyw (tylko komputerowe odtworzenie tego, co widzi użytkownik), więc nie mamy pojęcia, jak naprawdę wygląda doświadczenie użytkownika.

Możliwe, że Microsoft zaproponował nowatorskie rozwiązanie tego problemu, aby umożliwić użycie wyświetlacza w jasnym polu bez kompromisu w zakresie rozdzielczości. Jednak firma Microsoft była wyjątkowo cage na temat ich technologii wyświetlania, co sprawia, że ​​podejrzewam, że nie. Oto najlepsze wyjaśnienie, jakie dotychczas uzyskaliśmy (od PRZEWODOWE próbny).

Aby utworzyć obrazy z projektu HoloLens, cząstki światła odbijają się około miliony razy w tak zwanym silniku światła urządzenia. Następnie fotony wchodzą do dwóch soczewek gogli, gdzie odbijają się między warstwami niebieskiego, zielonego i czerwonego szkła, zanim dotrą do tylnej części oka.

Tego rodzaju opis technologii może oznaczać praktycznie wszystko (choć, uczciwie wobec Microsoftu, sprzęt zrobił wrażenie WIRED, choć artykuł był drobiazgowy).

Nie będziemy wiedzieć więcej na pewno, dopóki Microsoft nie zacznie publikować specyfikacji technicznych, prawdopodobnie za kilka miesięcy. Jeśli chodzi o wybieranie nitów, czy naprawdę konieczne jest utopienie projektu w tym geście marketingowym? Dedykowany procesor, którego używają do śledzenia głowy, nazywa się „procesorem holograficznym”, a obrazy - „hologramami”, bez konkretnego powodu. Produkt jest na tyle fajny, że tak naprawdę nie jest konieczne złocenie go w ten sposób.

Czy śledzenie jest wystarczające?

Zestaw słuchawkowy Project HoloLens ma zamontowaną kamerę o wysokiej głębokości FOV (jak Kinect), której używa, aby dowiedzieć się, gdzie zestaw słuchawkowy znajduje się w kosmosie (próbując wyrównać obraz głębi, który widzi z modelem świata, złożonym z przeszłości obrazy). Oto ich prezentacja na żywo zestawu słuchawkowego w akcji.

Śledzenie jest imponujące, biorąc pod uwagę, że nie używa markerów ani innych kodów, ale nawet w tym filmie (poniżej silnie kontrolowane warunki), można zobaczyć pewną falę: śledzenie nie jest całkowicie stabilne. Tego należy się spodziewać: tego rodzaju śledzenie na wylot jest niezwykle trudne.

Jednak duża lekcja z różne prototypy Oculus Rift Obejrzyj nas Wypróbuj Oculus Rift Crescent Bay na CES 2015Oculus Rift Crescent Bay to zupełnie nowy prototyp, który prezentuje ekscytujące ulepszenia w technologii rzeczywistości wirtualnej. Wypróbowujemy to na CES 2015. Czytaj więcej to, że dokładność śledzenia ma duże znaczenie. Śledzenie roztrzęsienia jest po prostu denerwujące, gdy jest to kilka obiektów w zasadniczo stabilnym świecie rzeczywistym, ale w scenach takich jak demo Marsa pokazane w swojej koncepcji wideo, w którym prawie wszystko, co widzisz, jest wirtualne, nieprecyzyjne śledzenie może prowadzić do braku „obecności” na scenie wirtualnej, a nawet symulatora choroba. Czy Microsoft może uzyskać śledzenie do standardowego zestawu Oculus (dokładność śledzenia poniżej milimetra i całkowite opóźnienie poniżej 20 ms) przed datą wysyłki na koniec tego roku?

Oto Michael Abrash, badacz VR, który pracował zarówno dla Valve, jak i Oculus, mówić o problemie

[Ponieważ zawsze jest opóźnienie w generowaniu wirtualnych obrazów, […] bardzo trudno jest uzyskać wirtualne i rzeczywiste obrazy, aby zarejestrować je wystarczająco blisko, aby oko nie zauważyło. Załóżmy na przykład, że masz prawdziwą puszkę coli, którą chcesz przekształcić w puszkę Pepsi, rysując logo Pepsi nad logo coli. Jeśli przerysowanie logo Pepsi zajmuje dziesiątki milisekund, za każdym razem, gdy obracasz głowę, efekt będzie taki, że logo Pepsi będzie się przesuwać o kilka stopni w stosunku do puszki, a część logo Coke stanie się widoczna; wtedy logo Pepsi wróci do właściwego miejsca po zatrzymaniu się. To wyraźnie nie jest wystarczające dla twardego AR

Czy wyświetlacz może rysować na czarno?

Kolejny problem, obok ogniskowej i śledzenia, dotyczy rysowania ciemnych kolorów. Dodanie większej ilości światła do sceny jest stosunkowo proste przy użyciu dzielników wiązki. Usunięcie światła jest znacznie trudniejsze. Jak selektywnie przyciemniasz części prawdziwego świata? Ustawienie selektywnie przezroczystego ekranu LCD go nie wycina, ponieważ nie zawsze może on być ustawiony prawidłowo, aby zablokować to, na co patrzysz. Narzędzia optyczne do rozwiązania tego problemu, o ile Microsoft nie wynalazł ich potajemnie, po prostu nie istnieją.

To ważne, ponieważ w przypadku wielu aplikacji, które popisuje Microsoft (takich jak oglądanie Netflix na ścianie), zestaw słuchawkowy naprawdę potrzebuje możliwość usunięcia światła pochodzącego ze ściany, w przeciwnym razie na twoim filmie zawsze będzie widoczny widoczny wzór stiuku: będzie niemożliwe jest, aby zdjęcia blokowały prawdziwe obiekty na scenie, przez co korzystanie z zestawu słuchawkowego było silnie uzależnione od oświetlenia otoczenia warunki. Powrót do Michaela Abrasha:

[S] o jak dotąd nic takiego nie pojawiło się w przemyśle AR ani w literaturze, i chyba że i dopóki tak się nie stanie, twarde AR, w sensie SF, które wszyscy znamy i kochamy, nie może się zdarzyć, z wyjątkiem ciemności.

To nie znaczy, że AR jest poza stołem, tylko że przez jakiś czas będzie to miękki AR, oparty na mieszaniu dodatków […] Znowu, pomyśl półprzezroczysty jak „Pogromcy duchów”. Wirtualne obrazy o wysokiej intensywności bez ciemnych obszarów również będą działać, szczególnie przy pomocy regionalnego lub globalnego zaciemnienia - po prostu nie będą wyglądać jak część prawdziwego świat.

Co z okluzją?

„Okluzja” jest terminem określającym, co dzieje się, gdy jeden obiekt przechodzi przed drugim i uniemożliwia dostrzeżenie, co się za nim kryje. Aby wirtualna sceneria wydawała się namacalną częścią świata, ważne jest, aby rzeczywiste obiekty zasłaniały wirtualność obiekty: jeśli trzymasz rękę przed wirtualnym obrazem, nie powinieneś widzieć jej przez dłoń. Jest to możliwe dzięki zastosowaniu głębokiej kamery na zestawie słuchawkowym. Ale ponownie obejrzyj demo na żywo:

Ogólnie rzecz biorąc, dokładnie kontrolują kąty kamery, aby uniknąć przedostawania się rzeczywistych obiektów przed wirtualnymi. Jednak gdy demonstrant wchodzi w interakcję z menu Windows, widać, że jej ręka wcale go nie zasłania. Jeśli jest to poza zasięgiem ich technologii, jest to bardzo zły znak dla opłacalności ich produktu konsumenckiego.

A mówiąc o tym interfejsie…

Czy to naprawdę końcowy interfejs użytkownika?

Interfejs użytkownika pokazany przez Microsoft w filmach demonstracyjnych wydaje się działać, używając kombinacji spojrzenia i dłoni śledzenie do kontrolowania kursora w wirtualnej scenie, przy użyciu sterowania głosowego do wybierania między różnymi opcje Ma to dwie główne wady: sprawia, że ​​wyglądasz jak małe dziecko w Świecącym, które mówi do palca, ale co ważniejsze, reprezentuje również zasadniczo wadliwy paradygmat projektowania.

Historycznie najlepsze interfejsy użytkownika to takie, które wprowadzają fizyczne intuicje dotyczące świata do świata wirtualnego. Mysz przyniosła klikanie, przeciąganie i okna. Interfejs dotykowy spowodował przeciągnięcie, aby przewinąć i zsuń, aby powiększyć. Oba z nich miały zasadnicze znaczenie dla uczynienia komputerów bardziej dostępnymi i użytecznymi dla ogólnej populacji - ponieważ były zasadniczo bardziej intuicyjne niż to, co było wcześniej.

VR i AR dają o wiele więcej swobody jako projektant: możesz umieszczać elementy interfejsu w dowolnym miejscu w przestrzeni 3D i pozwolić użytkownikom na naturalną interakcję z nimi, tak jakby były obiektami fizycznymi. Sugeruje się ogromna liczba oczywistych metafor. Dotknij wirtualnego elementu interfejsu, aby go wybrać. Uszczypnij go, podnieś i przenieś. Wysuń go, aby tymczasowo go przechowywać. Zmiażdż go, aby go usunąć. Możesz sobie wyobrazić budowę interfejsu użytkownika, który jest tak intuicyjny, że nie wymaga wyjaśnień. Coś, co twoja babcia może natychmiast rozpoznać, ponieważ jest zbudowana na podstawie podstawowych fizycznych intuicji, które wszyscy budują przez całe życie podczas interakcji ze światem. Poświęć chwilę i wysłuchaj, jak ta inteligentna osoba opisuje, czym mogą być wciągające interfejsy.

Innymi słowy, wydaje mi się oczywiste (dla mnie), że powinien to być wciągający interfejs użytkownika przynajmniej tak intuicyjny jak interfejsy dotykowe zapoczątkowane przez iPhone'a dla ekranów wielodotykowych 2D. Zbudowanie interfejsu wokół manipulacji „myszą” VR jest krokiem wstecz i ujawnia albo głęboką technologię niedociągnięcia w technologii śledzenia rąk lub fundamentalne nieporozumienie tego, co ciekawe w tym nowym średni. Tak czy inaczej, jest to bardzo zły znak, że ten produkt jest czymś więcej niż kolosalnym flopem w skali Kinect.

Mamy nadzieję, że Microsoft ma czas, aby uzyskać opinie na ten temat i wykonać lepszą pracę. Jako przykład, oto interfejs zaprojektowany przez jednego hobbystę dla Oculus Rift DK2 i Leap Motion. Wciągający interfejs użytkownika zaprojektowany przez dużą firmę powinien być przynajmniej tak dobry.

Znak rzeczy przyszłych

Ogólnie jestem bardzo sceptycznie nastawiony do projektu HoloLens jako całości. Bardzo się cieszę, że firma posiadająca zasoby Microsoftu bada ten problem, ale obawiam się, że tak próbując spieszyć się z produktem bez rozwiązania niektórych krytycznych problemów technicznych, lub nabić dobrego interfejsu użytkownika paradygmat. HoloLens jest znakiem nadchodzących wydarzeń, ale to nie znaczy, że sam produkt zapewni konsumentom dobre wrażenia.

Zdjęcie dzięki uprzejmości Microsoft