Co to jest silnik neuronowy firmy Apple i jak działa?

Twój iPhone, iPad, Mac i Apple TV wykorzystują wyspecjalizowaną jednostkę przetwarzania neuronowego o nazwie Apple Neural Engine (ANE), która jest o wiele szybsza i bardziej energooszczędna niż procesor lub karta graficzna.

ANE umożliwia korzystanie z zaawansowanych funkcji urządzenia, takich jak przetwarzanie języka naturalnego i analiza obrazu, bez korzystania z chmury lub używania nadmiernej mocy.

Przyjrzyjmy się, jak działa ANE i jego ewolucja, w tym wnioskowanie i inteligencja, które obsługuje na platformach Apple oraz jak programiści mogą go używać w aplikacjach innych firm.

Co to jest silnik neuronowy Apple (ANE)?

Apple Neural Engine to marketingowa nazwa klastra wysoce wyspecjalizowanych rdzeni obliczeniowych zoptymalizowanych pod kątem energooszczędnej realizacji głębokich sieci neuronowych na urządzeniach Apple. Przyspiesza algorytmy uczenia maszynowego (ML) i sztucznej inteligencji (AI), oferując ogromną szybkość, pamięć i przewagę mocy w porównaniu z głównym procesorem lub kartą graficzną.

ANE w dużej mierze decyduje o tym, dlaczego najnowsze iPhone'y, iPady, komputery Mac i Apple TV są responsywne i nie nagrzewają się podczas intensywnych obliczeń ML i AI. Niestety, nie wszystkie urządzenia Apple mają ANE - Apple Watch, komputery Mac z procesorem Intel i urządzenia starsze niż 2016 nie mają go.

Pierwszy ANE, który zadebiutował w chipie Apple A11 w iPhonie X z 2017 roku, był wystarczająco potężny, aby obsługiwać Face ID i Animoji. Dla porównania najnowszy ANE w chipie A15 Bionic jest 26 razy szybszy niż pierwsza wersja. Obecnie ANE udostępnia takie funkcje, jak Siri offline, a programiści mogą go używać do uruchamiania wcześniej wyszkolonych modeli ML, zwalniając procesor i kartę graficzną, aby mogły skupić się na zadaniach, które są dla nich lepiej dopasowane.

Jak działa silnik neuronowy Apple?

ANE zapewnia kontrolę i logikę arytmetyczną zoptymalizowaną do wykonywania rozległych operacji obliczeniowych, takich jak mnożenie i akumulacja, powszechnie stosowana w algorytmach ML i AI, takich jak klasyfikacja obrazów, analiza mediów, tłumaczenie maszynowe i więcej.

Według Patent Apple'a zatytułowany „Multi-Mode Planar Engine for Neural Processor”, ANE składa się z kilku neuronowych rdzeni silnika i jednego lub więcej wielomodowych obwodów planarnych.

Konstrukcja jest zoptymalizowana pod kątem obliczeń równoległych, w których wiele operacji, takich jak mnożenie macierzy w trylionach iteracji, musi być wykonywanych jednocześnie.

Aby przyspieszyć wnioskowanie w algorytmach AI, ANE wykorzystuje modele predykcyjne. Ponadto ANE ma własną pamięć podręczną i obsługuje tylko kilka typów danych, co pomaga zmaksymalizować wydajność.

Funkcje AI obsługiwane przez ANE

Oto niektóre funkcje urządzenia, które być może znasz, a które umożliwia ANE.

• Przetwarzanie języka naturalnego: Szybsze, bardziej niezawodne rozpoznawanie głosu dla dyktowania i Siri; Ulepszona nauka języka naturalnego w aplikacji Tłumacz i w całym systemie; Natychmiastowe tłumaczenie tekstu w Zdjęciach, Aparatu i innych aplikacjach na iPhone'a.
• Wizja komputerowa: znajdowanie obiektów na obrazach, takich jak punkty orientacyjne, zwierzęta domowe, rośliny, książki i kwiaty, za pomocą aplikacji Zdjęcia lub wyszukiwania Spotlight; Uzyskanie dodatkowych informacji nt rozpoznane obiekty za pomocą funkcji Visual Look Up w miejscach takich jak Safari, Mail i Wiadomości.
• Rozszerzona Rzeczywistość: Okluzja ludzi i śledzenie ruchu w aplikacjach AR.
• Analiza wideo: Wykrywanie twarzy i obiektów na wideo w aplikacjach takich jak Final Cut Pro.
• Efekty aparatu: Automatyczne przycinanie ze sceną środkową; Rozmycie tła podczas rozmów wideo FaceTime.
• Gry: Fotorealistyczne efekty w grach wideo 3D.
• Tekst na żywo: Zapewnia optyczne rozpoznawanie znaków (OCR) w aparacie i zdjęciach, umożliwiając łatwe kopiowanie pisma odręcznego lub tekstu, takiego jak hasło Wi-Fi lub adres z obrazów.
• Fotografia komputerowa: Deep Fusion analizuje piksele w celu lepszej redukcji szumów, większego zakresu dynamicznego oraz ulepszonej automatycznej ekspozycji i balansu bieli, wykorzystując Smart HDR w razie potrzeby; Fotografia z małą głębią ostrości, w tym wykonywanie portretów w trybie nocnym; Regulacja poziomu rozmycia tła za pomocą funkcji kontroli głębi.
• ciekawostki: ANE jest również używany do stylów fotograficznych w aplikacji Aparat, kuracji Wspomnienia i efektów stylistycznych w Zdjęciach, spersonalizowane rekomendacje, takie jak sugestie tapet, podpisy pod obrazami VoiceOver, znajdowanie duplikatów obrazów w Zdjęcia itp.

Niektóre z wyżej wymienionych funkcji, takie jak rozpoznawanie obrazu, działają również bez obecności ANE, ale działają znacznie wolniej i obciążają baterię urządzenia.

Krótka historia Apple Neural Engine: od iPhone'a X do komputerów Mac M2

W 2017 roku Apple wdrożył swój pierwszy ANE w postaci dwóch wyspecjalizowanych rdzeni w chipie A11 iPhone'a X. Według dzisiejszych standardów był stosunkowo powolny, przy zaledwie 600 miliardach operacji na sekundę.

ANE drugiej generacji pojawił się w chipie A12 w 2018 roku, mając cztery razy więcej rdzeni. Oceniany na pięć bilionów operacji na sekundę, ten ANE był prawie dziewięć razy szybszy i zużywał jedną dziesiątą mocy swojego poprzednika.

Chip A13 z 2019 roku miał ten sam ośmiordzeniowy ANE, ale działał o jedną piątą szybciej, zużywając o 15% mniej energii, co jest produktem ulepszonego węzła półprzewodnikowego 7 nm firmy TSMC. TSMC (Taiwan Semiconductor Manufacturing Company) produkuje chipy zaprojektowane przez Apple.

Ewolucja silnika neuronowego Apple

W następnym roku Apple A14 prawie podwoił wydajność ANE do 11 bilionów operacji na sekundę, co osiągnięto dzięki zwiększeniu liczby rdzeni ANE z 8 do 16. W 2021 roku A15 Bionic skorzystał z procesu 5 nm drugiej generacji TSMC, który jeszcze bardziej zwiększył wydajność ANE do 15,8 biliona operacji na sekundę bez dodawania większej liczby rdzeni.

Pierwsze chipy M1, M1 Pro i M1 Max dla komputerów Mac miały ten sam ANE co A14, po raz pierwszy wprowadzając zaawansowane, przyspieszane sprzętowo uczenie maszynowe i sztuczną inteligencję na platformę macOS.

W 2022 roku M1 Ultra połączył dwa chipy M1 Max w jednym pakiecie, używając niestandardowego połączenia Apple o nazwie UltraFusion. Dzięki dwukrotnie większej liczbie rdzeni ANE (32) M1 Ultra podwoił wydajność ANE do 22 bilionów operacji na sekundę.

Apple A16 w 2022 roku został wyprodukowany przy użyciu ulepszonego węzła N4 firmy TSMC, zapewniając około 8% wyższą wydajność ANE (17 bilionów operacji na sekundę) w porównaniu z ANE A15.

Pierwszymi iPadami obsługującymi ANE były iPad mini piątej generacji (2019), iPad Air trzeciej generacji (2019) i iPad ósmej generacji (2020). Wszystkie iPady wydane od tego czasu mają ANE.

Jak programiści mogą używać ANE w aplikacjach?

Wiele aplikacji innych firm używa ANE do funkcji, które w innym przypadku nie byłyby możliwe. Na przykład edytor obrazów Pixelmator Pro udostępnia narzędzia takie jak ML Super Resolution i ML Enhance. A w djay Pro ANE oddziela beaty, ścieżki instrumentalne i wokalne od nagrania.

Jednak programiści zewnętrzni nie uzyskują niskiego poziomu dostępu do ANE. Zamiast tego wszystkie wywołania ANE muszą przejść przez platformę oprogramowania Apple do uczenia maszynowego, Core ML. Dzięki Core ML programiści mogą budować, trenować i uruchamiać swoje modele ML bezpośrednio na urządzeniu. Taki model jest następnie wykorzystywany do predykcji na podstawie nowych danych wejściowych.

„Kiedy model znajduje się na urządzeniu użytkownika, można użyć Core ML do przeszkolenia lub dostrojenia go na urządzeniu z danymi tego użytkownika”, zgodnie z przeglądem Core ML na stronie witryna Apple'a.

Aby przyspieszyć algorytmy ML i AI, Core ML wykorzystuje nie tylko ANE, ale także CPU i GPU. Dzięki temu Core ML może uruchomić model, nawet jeśli żaden ANE nie jest dostępny. Ale z obecnym ANE, Core ML będzie działać znacznie szybciej, a bateria nie będzie tak szybko rozładowywana.

Wiele funkcji Apple nie działałoby bez ANE

Wiele funkcji na urządzeniu nie byłoby możliwych bez szybkiego przetwarzania algorytmów AI i ML oraz zminimalizowania zużycia pamięci i zużycia energii, które zapewnia ANE. Magia Apple polega na posiadaniu dedykowanego koprocesora do prywatnego uruchamiania sieci neuronowych na urządzeniu zamiast przenoszenia tych zadań na serwery w chmurze.

Dzięki ANE zarówno Apple, jak i programiści mogą wdrażać głębokie sieci neuronowe i czerpać korzyści z przyspieszenia uczenie maszynowe dla różnych modeli predykcyjnych, takich jak tłumaczenie maszynowe, wykrywanie obiektów, klasyfikacja obrazów, itp.