Sterowanie zestawem słuchawkowym Vision Pro AR/VR: 6 gestów dłoni do nawigacji w systemie VisionOS

Vision Pro zmienia paradygmat sposobu, w jaki ludzie nawigują i wchodzą w interakcję z oprogramowaniem w rzeczywistości mieszanej. Zamiast wymagać nieporęcznych fizycznych kontrolerów, zestaw słuchawkowy Apple AR/VR opiera się na wyrafinowanych mechanizmach wejściowych, z którymi wszyscy się rodzimy — naszych dłoniach i oczach.

Dokonuj wyborów, przewijaj, powiększaj, obracaj, przesuwaj rzeczy i nie tylko, patrząc na rzeczy i wykonując proste gesty dłoni przypominające Multi-Touch na iPhonie.

Śledź dalej, aby zapoznać się z sześcioma podstawowymi gestami dłoni używanymi w systemie VisionOS i dowiedzieć się, w jaki sposób Twoje spojrzenie i dłonie sprawiają, że korzystanie z przestrzennego komputera Apple jest płynne i bezwysiłkowe.

Jak działają gesty dłoni w Vision Pro?

Gesty dłoni w systemie VisionOS współpracują ze śledzeniem ruchu gałek ocznych. Twoje oczy zapewniają celowanie i intencje, a gesty wyzwalają określone działania.

Funkcje Vision Pro Przednie, boczne i dolne kamery do śledzenia dłoni, a czujniki podczerwieni wewnątrz zestawu słuchawkowego śledzą Twoje oczy.

Patrzysz na element na ekranie — taki jak przycisk — aby go podświetlić lub przytrzymujesz wzrok, aby rozwinąć podstawowe menu kontekstowe lub wyświetlić podpowiedź. Po dokonaniu wyboru wykonaj gest, taki jak szczypanie, aby na nim działać. Ponieważ zewnętrzne kamery obejmują szerokie pole widzenia, możesz wykonywać gesty, wygodnie opierając dłoń na kolanach, aby uniknąć zmęczenia.

Firma Apple przedstawiła sześć typowych gestów dłoni dla systemu wizyjnego w formacie a Rozmowa programisty WWDC23 o projektowaniu interakcji dłoni i oczu na potrzeby danych przestrzennych. W połączeniu z oczami do celowania, te gesty dłoni pozwalają kontrolować aplikacje i interakcje w całym systemie.

Uzyskiwać

Ściśnięcie palców spowoduje wykonanie domyślnej czynności na wybranym elemencie. Pomyśl o szczypaniu w kategoriach stukania w ekran iPhone'a lub klikania myszą lub gładzikiem komputera Mac. Niektóre funkcje systemu wizyjnego, takie jak pisanie bez wyrazu na klawiaturze wirtualnej, nie wymagają gestu dotknięcia.

Podwójne wciśnięcie

Ściśnij kciuk i palec wskazujący dwa razy w krótkim odstępie czasu, aby wykonać odpowiednik gestu dwukrotnego stuknięcia w dotykowych systemach operacyjnych, takich jak iOS i iPadOS.

Ściśnij i przytrzymaj

Połącz kciuk i palec wskazujący i przytrzymaj je przez chwilę, aby wykonać ten gest. Uszczypnięcie i przytrzymanie w VisionOS działa podobnie do długiego naciśnięcia (dotknij i przytrzymaj) gest na swoim iPhonie do podświetlania tekstu lub wywoływania menu kontekstowego.

Poruszaj ściśniętymi palcami, aby przesuwać okna i inne elementy interfejsu użytkownika w systemie VisionOS. Jeśli masz przed sobą Safari, możesz również trzymać rękę w powietrzu i po prostu przesuwać palcem, aby przewijać.

Ściśnij i przeciągnij

Do przewijania służy gest uszczypnięcia i przeciągnięcia. Po prostu złącz palce i potrząśnij nadgarstkiem. Możesz przewijać w górę, w dół, w lewo lub w prawo, przeciągając ręką w dowolnym kierunku.

Im szybciej poruszasz ręką, tym szybciej będziesz przewijać. Możesz przewijać strony internetowe w Safari, e-maile w Mail, dokumenty w Pages, arkusze kalkulacyjne w Excelu itp. Możesz użyć gestu uszczypnięcia i przeciągnięcia, aby przewinąć zawartość w dowolnym oknie w systemie visionOS, które obsługuje przewijanie.

Powiększenie

Aby powiększyć w Safari, Zdjęciach i innych aplikacjach, ściśnij kciuk i palce wskazujące obu dłoni, a następnie rozsuń je na zewnątrz. Możesz użyć tego gestu, aby przybliżyć lub oddalić okno w VisionOS, powiększyć obrazy i nie tylko. W aplikacji Zdjęcia możesz spojrzeć na określoną część obrazu podczas wykonywania gestu powiększenia, aby go powiększyć.

Obracać się

Aby obrócić element, ściśnij palce obiema rękami blisko siebie, a następnie przesuń jedną rękę w górę, a drugą w dół. Możesz użyć tego gestu do obracania obiektów 3D w Szybkim podglądzie, obrazów w aplikacji Zdjęcia, ilustracji w dokumentach i tak dalej.

Śledzenie oczu i dłoni „po prostu działa” w Vision Pro

Podobnie jak w przypadku iPhone'a, Apple zapewnia podstawowy język gestów do poruszania się po całym interfejsie użytkownika systemu wizyjnego i aplikacjach rzeczywistości rozszerzonej. Programiści zewnętrzni mogą wykorzystywać oficjalne interfejsy API firmy Apple dla systemu wizyjnego do tworzenia i dodawania gestów do swoich aplikacji.

Apple nie zaleca tworzenia niestandardowych gestów kolidujących z gestami systemowymi lub takich, które nie są łatwe do zrozumienia, wykonania lub zapamiętania.

Śledzenie oczu i dłoni w aplikacjach rzeczywistości wirtualnej, rozszerzonej i mieszanej nie jest nową funkcją. Jednak zestaw słuchawkowy Vision Pro implementuje te funkcje w sposób będący znakiem towarowym firmy Apple. W rezultacie nawigacja po VisionOS za pomocą oczu i rąk jest płynna i nie wymaga wysiłku.