Što je Appleov Neural Engine i kako radi?

Vaš iPhone, iPad, Mac i Apple TV koriste specijaliziranu neuronsku procesorsku jedinicu pod nazivom Apple Neural Engine (ANE) koja je puno brža i energetski učinkovitija od CPU-a ili GPU-a.

ANE omogućuje napredne značajke na uređaju kao što su obrada prirodnog jezika i analiza slike bez dodirivanja oblaka ili korištenja prekomjerne energije.

Istražimo kako ANE radi i njegovu evoluciju, uključujući zaključivanje i inteligenciju koju pokreće na Appleovim platformama i kako ga programeri mogu koristiti u aplikacijama trećih strana.

Što je Apple Neural Engine (ANE)?

Apple Neural Engine je marketinški naziv za klaster visoko specijaliziranih računalnih jezgri optimiziranih za energetski učinkovito izvođenje dubokih neuronskih mreža na Apple uređajima. Ubrzava algoritme strojnog učenja (ML) i umjetne inteligencije (AI), nudeći ogromnu brzinu, memoriju i snagu u odnosu na glavni CPU ili GPU.

ANE je veliki dio zašto su najnoviji iPhone, iPad, Macovi i Apple TV-i brzi i ne zagrijavaju se tijekom teških ML i AI izračunavanja. Nažalost, nemaju svi Apple uređaji ANE — Apple Watch, Mac računala s Intelom i uređaji stariji od 2016. nemaju ga.

Prvi ANE koji je debitirao unutar Appleovog A11 čipa u iPhoneu X iz 2017. bio je dovoljno snažan da podržava Face ID i Animoji. Usporedbe radi, najnoviji ANE u čipu A15 Bionic je 26 puta brži od prve verzije. Danas ANE omogućuje značajke kao što je offline Siri, a programeri ga mogu koristiti za pokretanje prethodno obučenih ML modela, oslobađajući CPU i GPU da se usredotoče na zadatke koji im više odgovaraju.

Kako radi Appleov neuronski motor?

ANE pruža upravljačku i aritmetičku logiku optimiziranu za izvođenje opsežnih računalnih operacija poput množenja i akumulacija, koja se obično koristi u algoritmima ML i AI kao što su klasifikacija slika, analiza medija, strojno prevođenje i više.

Prema Appleov patent pod nazivom "Multi-Mode Planar Engine for Neural Processor", ANE se sastoji od nekoliko jezgri neuronskih motora i jednog ili više višemodnih planarnih sklopova.

Dizajn je optimiziran za paralelno računanje, gdje se mnoge operacije, poput množenja matrica koje se izvode u trilijunima ponavljanja, moraju izvoditi istovremeno.

Kako bi ubrzao zaključivanje u algoritmima umjetne inteligencije, ANE koristi prediktivne modele. Osim toga, ANE ima vlastitu predmemoriju i podržava samo nekoliko tipova podataka, što pomaže u povećanju performansi.

AI značajke Pokreće ANE

Evo nekih značajki na uređaju koje vam ANE omogućuje.

• Obrada prirodnog jezika: Brže, pouzdanije prepoznavanje glasa za Diktat i Siri; Poboljšano učenje prirodnog jezika u aplikaciji Prevoditelj i u cijelom sustavu; Trenutni prijevod teksta u Fotografijama, Fotoaparatu i drugim iPhone aplikacijama.
• Računalni vid: Pronalaženje objekata na slikama kao što su znamenitosti, kućni ljubimci, biljke, knjige i cvijeće pomoću aplikacije Fotografije ili pretraživanja Spotlight; Dobivanje dodatnih informacija o prepoznao objekte koristeći Visual Look Up na mjestima kao što su Safari, Mail i Messages.
• Proširena stvarnost: Okluzija ljudi i praćenje kretanja u AR aplikacijama.
• Video analiza: Detekcija lica i objekata na videu u aplikacijama kao što je Final Cut Pro.
• Efekti kamere: Automatsko obrezivanje s središnjom pozornicom; Zamućivanje pozadine tijekom FaceTime video poziva.
• Igre: Fotorealistični efekti u 3D video igrama.
• Tekst uživo: Omogućuje optičko prepoznavanje znakova (OCR) u fotoaparatu i fotografijama, što vam omogućuje jednostavno kopiranje rukopisa ili teksta poput Wi-Fi lozinke ili adrese sa slika.
• Računalna fotografija: Deep Fusion analizira piksele radi boljeg smanjenja šuma, većeg dinamičkog raspona i poboljšane automatske ekspozicije i ravnoteže bijele boje, koristeći Smart HDR kada je to potrebno; Fotografija male dubine polja, uključujući snimanje portreta u noćnom načinu rada; Podešavanje razine zamućenja pozadine pomoću kontrole dubine.
• Zanimljivosti: ANE se također koristi za fotografske stilove u aplikaciji Camera, upravljanje uspomenama i stilske efekte u fotografijama, personalizirane preporuke kao što su prijedlozi za pozadinu, VoiceOver opisi slika, pronalaženje duplikata slika u Fotografije itd.

Neke od gore spomenutih značajki, poput prepoznavanja slike, također funkcioniraju bez prisutnog ANE-a, ali će raditi puno sporije i opteretiti bateriju vašeg uređaja.

Kratka povijest Apple Neural Enginea: od iPhone X do M2 Mac računala

Godine 2017. Apple je postavio svoj prvi ANE u obliku dvije specijalizirane jezgre unutar A11 čipa iPhonea X. Prema današnjim standardima, bio je relativno spor, sa samo 600 milijardi operacija u sekundi.

Druga generacija ANE pojavila se unutar A12 čipa 2018., s četiri puta više jezgri. Procijenjen na pet trilijuna operacija u sekundi, ovaj ANE bio je gotovo devet puta brži i koristio je jednu desetinu snage svog prethodnika.

Čip A13 iz 2019. imao je isti ANE s osam jezgri, ali je radio jednu petinu brže dok je trošio 15% manje energije, proizvod TSMC-ovog poboljšanog 7nm poluvodičkog čvora. TSMC (Taiwan Semiconductor Manufacturing Company) proizvodi čipove koje je dizajnirao Apple.

Evolucija Apple Neural Enginea

Sljedeće je godine Apple A14 gotovo udvostručio performanse ANE-a na 11 trilijuna operacija u sekundi, što je postignuto povećanjem broja ANE jezgri s 8 na 16. U 2021. A15 Bionic imao je koristi od TSMC-ove druge generacije 5nm procesa, koji je dodatno povećao performanse ANE-a na 15,8 trilijuna operacija u sekundi bez dodavanja više jezgri.

Prvi čipovi M1, M1 Pro i M1 Max vezani za Mac imali su isti ANE kao A14, donoseći napredni, hardverski ubrzani ML i AI na macOS platformu po prvi put.

Godine 2022. M1 Ultra spojio je dva M1 Max čipa u jednom pakiranju koristeći Appleov prilagođeni interkonekt nazvan UltraFusion. S dvostruko više ANE jezgri (32), M1 Ultra je udvostručio ANE performanse na 22 trilijuna operacija u sekundi.

Apple A16 iz 2022. proizveden je korištenjem TSMC-ovog poboljšanog N4 čvora, donoseći oko 8% brže performanse ANE (17 trilijuna operacija u sekundi) u odnosu na ANE A15.

Prvi iPad s omogućenim ANE-om bili su iPad mini pete generacije (2019), iPad Air treće generacije (2019) i iPad osme generacije (2020). Svi iPadi izdani od tada imaju ANE.

Kako programeri mogu koristiti ANE u aplikacijama?

Mnoge aplikacije trećih strana koriste ANE za značajke koje inače ne bi bile izvedive. Na primjer, uređivač slika Pixelmator Pro nudi alate kao što su ML Super Resolution i ML Enhance. A u djay Pro, ANE odvaja ritmove, instrumentale i vokalne zapise od snimke.

Međutim, razvojni programeri trećih strana ne dobivaju nisku razinu pristupa ANE-u. Umjesto toga, svi ANE pozivi moraju proći kroz Appleov softverski okvir za strojno učenje, Core ML. Uz Core ML, programeri mogu izgraditi, trenirati i pokretati svoje ML modele izravno na uređaju. Takav se model zatim koristi za izradu predviđanja na temelju novih ulaznih podataka.

"Nakon što se model nađe na uređaju korisnika, možete koristiti Core ML za ponovno uvježbavanje ili fino podešavanje na uređaju, s podacima tog korisnika", navodi se u pregledu Core ML-a na Appleova web stranica.

Kako bi ubrzao ML i AI algoritme, Core ML ne koristi samo ANE već i CPU i GPU. To omogućuje Core ML-u pokretanje modela čak i ako ANE nije dostupan. Ali s prisutnim ANE-om, Core ML će raditi mnogo brže, a baterija se neće tako brzo prazniti.

Mnoge značajke Applea ne bi radile bez ANE-a

Mnoge značajke na uređaju ne bi bile moguće bez brze obrade AI i ML algoritama i minimizirane memorije i potrošnje energije koje ANE donosi na stol. Appleova magija je u tome što ima namjenski koprocesor za privatno pokretanje neuronskih mreža na uređaju umjesto da te zadatke prebacuje na poslužitelje u oblaku.

Uz ANE, i Apple i programeri mogu implementirati duboke neuronske mreže i iskoristiti prednosti ubrzanog strojno učenje za razne prediktivne modele kao što su strojno prevođenje, otkrivanje objekata, klasifikacija slika, itd.