Co to jest układ Apple R1 i jak wypada w porównaniu z M1 i M2?

Vision Pro wprowadza nowy układ Apple, układ R1, przeznaczony do przetwarzania danych w czasie rzeczywistym ze wszystkich czujników pokładowych. Odpowiada za śledzenie oczu, dłoni i głowy, renderowanie środowiska użytkownika bez opóźnień w trybie przekazywania wideo i inne funkcje systemu wizyjnego.

Odciążając procesor główny i optymalizując wydajność, R1 zmniejsza chorobę lokomocyjną do niezauważalnych poziomów, niezależnie od tego, czy używasz zestawu słuchawkowego w rzeczywistości rozszerzonej, czy wirtualnej tryb. Przyjrzyjmy się, jak działa układ Apple R1 i porównujemy go z głównym układem M2, funkcjami Vision Pro, które umożliwia i nie tylko.

Co to jest układ Apple R1? Jak to działa?

Apple R1, a nie główny układ M2, przetwarza ciągły strumień danych przesyłanych w czasie rzeczywistym do Vision Pro przez dwanaście kamer, pięć czujników i sześć mikrofonów.

Dwie główne zewnętrzne kamery rejestrują Twój świat, przesyłając co sekundę ponad miliard pikseli na ekrany 4K gogli. Ponadto para kamer bocznych wraz z dwiema kamerami montowanymi na spodzie i dwoma promiennikami podczerwieni śledzą ruchy dłoni z różnych pozycji — nawet w warunkach słabego oświetlenia.

Skierowane na zewnątrz czujniki obejmują również skaner LiDAR i kamerę TrueDepth firmy Apple, która rejestruje a mapę głębi otoczenia, umożliwiając Vision Pro dokładne pozycjonowanie obiektów cyfrowych w Twoim otoczeniu przestrzeń. Wewnątrz każdego ekranu znajduje się pierścień diod LED, a dwie kamery na podczerwień śledzą ruchy gałek ocznych, co stanowi podstawę nawigacji w systemie VisionOS.

Zadaniem R1 jest przetwarzanie danych ze wszystkich tych czujników, w tym inercyjnych jednostek pomiarowych, z niezauważalnym opóźnieniem. Ma to ogromne znaczenie dla płynnego i wiarygodnego wrażenia przestrzennego.

Jak wypada Apple R1 w porównaniu do M1 i M2?

M1 i M2 to procesory ogólnego przeznaczenia zoptymalizowane pod kątem komputerów Mac. R1 to koprocesor o wąskim ogniskowaniu, zaprojektowany do obsługi płynnych doświadczeń AR. Wykonuje swoją pracę szybciej niż M1 lub M2, pozwalając na korzyści, takie jak doświadczenie bez opóźnień.

Apple nie określił, ile rdzeni procesora i karty graficznej ma R1, ani szczegółowo określił częstotliwości procesora i pamięci RAM, co utrudnia bezpośrednie porównanie między R1, M1 i M2.

Główne domeny R1 to śledzenie oczu i głowy, gesty rąk oraz mapowanie 3D w czasie rzeczywistym za pomocą czujnika LiDAR. Odciążenie tych wymagających obliczeniowo operacji pozwala M2 wydajnie obsługiwać różne podsystemy, algorytmy i aplikacje VisionOS.

Kluczowe cechy układu R1 Vision Pro

R1 ma następujące kluczowe możliwości:

• Szybkie przetwarzanie: Specjalistyczne algorytmy i przetwarzanie sygnału obrazu w R1 są zoptymalizowane pod kątem zrozumienia wejść czujnika, kamery i mikrofonu.
• Małe opóźnienia: Zoptymalizowana architektura sprzętowa zapewnia bardzo niskie opóźnienia.
• Wydajność energetyczna: R1 obsługuje określony zestaw zadań przy minimalnym zużyciu energii dzięki efektywnej architekturze pamięci i procesowi produkcyjnemu TSMC 5 nm.

Z drugiej strony dwuukładowa konstrukcja Vision Pro i wyrafinowanie R1 przyczyniają się do wysokiej ceny zestawu słuchawkowego i dwugodzinnej żywotności baterii.

Jakie korzyści wnosi R1 do Vision Pro?

R1 umożliwia precyzyjne śledzenie oka i dłoni, które „po prostu działa”. Na przykład, aby nawigować po VisionOS, kieruj wzrok na przyciski i inne elementy.

Vision Pro wykorzystuje gesty dłoni do wybierania elementów, przewijania i nie tylko. Wyrafinowanie i precyzja śledzenia oczu i dłoni pozwoliły inżynierom Apple stworzyć gogle rzeczywistości mieszanej, które nie wymagają fizycznych kontrolerów.

Precyzja śledzenia R1 i minimalne opóźnienie umożliwiają korzystanie z dodatkowych funkcji, takich jak pisanie w powietrzu na wirtualnej klawiaturze. R1 zapewnia również niezawodne śledzenie ruchów głowy — co ma kluczowe znaczenie dla tworzenia przestrzennego płótna obliczeniowego otaczającego użytkownika. Ponownie, precyzja jest tutaj kluczowa — chcesz, aby wszystkie obiekty AR utrzymywały swoją pozycję bez względu na to, jak pochylisz i obrócisz głowę.

Świadomość przestrzenna to kolejny czynnik, który przyczynia się do doświadczenia. R1 pobiera dane o głębokości z czujnika LiDAR i kamery TrueDepth, wykonując mapowanie 3D w czasie rzeczywistym. Informacje o głębokości pozwalają zestawowi słuchawkowemu zrozumieć jego otoczenie, takie jak ściany i meble.

To z kolei jest ważne dla trwałości AR, która odnosi się do stałego rozmieszczenia obiektów wirtualnych. Pomaga również Vision Pro powiadamiać użytkownika, zanim wpadnie on na obiekty fizyczne, pomagając zmniejszyć ryzyko wypadków w aplikacjach AR.

W jaki sposób czujnik R1 Sensor Fusion łagodzi chorobę lokomocyjną AR?

Dwuukładowa konstrukcja Vision Pro odciąża przetwarzanie czujnika z głównego układu M2, który obsługuje system operacyjny i aplikacje VisionOS. Według Informacja prasowa Vision ProR1 przesyła obrazy z zewnętrznych kamer do wewnętrznych wyświetlaczy w ciągu 12 milisekund, czyli osiem razy szybciej niż mrugnięcie oka, minimalizując opóźnienia.

Lag odnosi się do opóźnienia między tym, co widzą kamery, a obrazami wyświetlanymi na ekranach 4K gogli. Im krótsze opóźnienie, tym lepiej.

Choroba lokomocyjna pojawia się, gdy istnieje zauważalne opóźnienie między sygnałem odbieranym przez mózg z oczu a tym, co wyczuwa ucho wewnętrzne. Może wystąpić w wielu sytuacjach, w tym w wesołym miasteczku, na a przejażdżka łodzią lub rejs, podczas korzystania z urządzenia VR itp.

VR może powodować choroby z powodu konfliktu sensorycznego, skutkującego objawami choroby lokomocyjnej, takimi jak dezorientacja, nudności, zawroty głowy, bóle głowy, zmęczenie oczu, siedzenie, wymioty i inne.

VR może być również szkodliwe dla twoich oczu z powodu zmęczenia oczu, którego objawami są ból lub swędzenie oczu, podwójne widzenie, bóle głowy i ból szyi. Niektórzy ludzie mogą odczuwać jeden lub więcej takich objawów przez kilka godzin po zdjęciu zestawu słuchawkowego.

Z reguły urządzenie VR powinno odświeżać ekran co najmniej 90 razy na sekundę (FPS), a opóźnienie ekranu powinno wynosić poniżej 20 milisekund, aby uniknąć choroby lokomocyjnej.

Z podanym opóźnieniem wynoszącym zaledwie 12 milisekund, R1 zmniejsza opóźnienie do niezauważalnego poziomu. Chociaż R1 pomaga zminimalizować skutki choroby lokomocyjnej, niektórzy testerzy Vision Pro zgłaszali objawy choroby lokomocyjnej po noszeniu zestawu słuchawkowego przez ponad 30 minut.

Wyspecjalizowane koprocesory Apple Silicon przynoszą duże korzyści

Specjalistyczne procesory nie są obce firmie Apple. Przez lata jego zespół krzemowy wyprodukował układy mobilne i stacjonarne, których zazdrości cała branża.

Chipy krzemowe Apple w dużym stopniu polegają na wyspecjalizowanych koprocesorach do obsługi określonych funkcji. Na przykład Secure Enclave bezpiecznie zarządza danymi biometrycznymi i danymi dotyczącymi płatności, podczas gdy silnik neuronowy przyspiesza funkcje sztucznej inteligencji bez niszczenia baterii.

Są doskonałymi przykładami tego, co można osiągnąć, mając wysoce skoncentrowany koprocesor do odpowiedniego zestawu zadań w porównaniu z koprocesorem. używając głównego procesora do wszystkiego.