Googleova platforma TensorFlow omogućuje svojim korisnicima obuku umjetne inteligencije pružajući alate i resurse za strojno učenje. Dugo su vremena inženjeri umjetne inteligencije koristili tradicionalne procesore i grafičke procesore za treniranje umjetne inteligencije. Iako ovi procesori mogu upravljati različitim procesima strojnog učenja, oni su i dalje hardver opće namjene koji se koristi za razne svakodnevne zadatke.
Kako bi ubrzao obuku umjetne inteligencije, Google je razvio integrirani krug za specifičnu aplikaciju (ASIC) poznat kao Tensor Processing Unit (TPU). No, što je Tensor Processing Unit i kako oni ubrzavaju AI programiranje?
Što su jedinice za obradu tenzora (TPU)?
Jedinice za obradu tenzora su Googleove ASIC za strojno učenje. TPU-ovi se posebno koriste za dubinsko učenje za rješavanje složenih matričnih i vektorskih operacija. TPU-ovi su modernizirani za rješavanje matričnih i vektorskih operacija pri ultra velikim brzinama, ali moraju biti upareni s CPU-om za davanje i izvršavanje instrukcija. TPU-ovi se mogu koristiti samo s Googleovim
Platforma TensorFlow ili TensorFlow Lite, bilo putem računalstva u oblaku ili njegove jednostavne verzije na lokalnom hardveru.Prijave za TPU
Google koristi TPU od 2015. Također su potvrdili korištenje ovih novih procesora za Google Street View obradu teksta, Google Photos i Google Search Results (Rank Brain), kao kao i stvoriti AI poznat kao AlphaGo, koji je pobijedio vrhunske Go igrače i sustav AlphaZero koji je pobijedio vodeće programe u šahu, gou i Shogi.
TPU se mogu koristiti u raznim aplikacijama dubokog učenja kao što su otkrivanje prijevara, računalni vid, prirodni jezik obrada, samovozeći automobili, glasovna umjetna inteligencija, poljoprivreda, virtualni pomoćnici, trgovanje dionicama, e-trgovina i razne društvene mreže predviđanja.
Kada koristiti TPU
Budući da su TPU-ovi visoko specijalizirani hardver za dubinsko učenje, gubi mnogo drugih funkcija koje biste obično očekivali od procesora opće namjene poput CPU-a. Imajući to na umu, postoje specifični scenariji u kojima će upotreba TPU-a dati najbolji rezultat pri obuci umjetne inteligencije.
Najbolje vrijeme za korištenje TPU-a je za operacije u kojima se modeli uvelike oslanjaju na matrična izračunavanja, poput sustava preporuka za tražilice. TPU-ovi također daju izvrsne rezultate za modele u kojima AI analizira goleme količine podatkovnih točaka za čije će dovršenje trebati više tjedana ili mjeseci. Inženjeri umjetne inteligencije koriste TPU-ove za primjere bez prilagođenih TensorFlow modela i moraju početi od nule.
Kada ne koristiti TPU
Kao što je ranije navedeno, optimizacija TPU-a uzrokuje da ove vrste procesora rade samo na određenim operacijama radnog opterećenja. Stoga postoje slučajevi u kojima će korištenje tradicionalnog CPU-a i GPU-a dati brže rezultate. Ti slučajevi uključuju:
- Brza izrada prototipova s maksimalnom fleksibilnošću
- Modeli ograničeni dostupnim podatkovnim točkama
- Modeli koji su jednostavni i mogu se brzo obučiti
- Modeli su preteški da bi se mijenjali
- Modeli koji se oslanjaju na prilagođene TensorFlow operacije napisane u C++
TPU verzije i specifikacije
Otkako je Google najavio svoje TPU-ove, javnost je neprestano ažurirana o najnovijim verzijama TPU-ova i njihovim specifikacijama. Slijedi popis svih TPU verzija sa specifikacijama:
| TPUv1 | TPUv2 | TPUv3 | TPUv4 | Edgev1 | |
|---|---|---|---|---|---|
| Datum uvođenja | 2016 | 2017 | 2018 | 2021 | 2018 |
| Procesni čvor (nm) | 28 | 16 | 16 | 7 | |
| Veličina matrice (mm²) | 331 | <625 | <700 | <400 | |
| Memorija na čipu | 28 | 32 | 32 | 144 | |
| Radni takt (MHz) | 700 | 700 | 940 | 1050 | |
| Najmanja konfiguracija memorije (GB) | 8 DDR3 | 16 HBM | 32 HBM | 32 HBM | |
| TDP (vati) | 75 | 280 | 450 | 175 | 2 |
| TOPS (tera operacije u sekundi) | 23 | 45 | 90 | ? | 4 |
| VRHOVI/W | 0.3 | 0.16 | 0.2 | ? | 2 |
Kao što vidite, brzine takta TPU-a ne čine se toliko impresivnima, pogotovo kada moderna stolna računala danas mogu imati brzine takta 3-5 puta brže. Ali ako pogledate donja dva retka tablice, možete vidjeti da TPU-ovi mogu obraditi 23-90 tera-operacija u sekundi koristeći samo 0,16-0,3 vata snage. Procjenjuje se da su TPU-ovi 15-30 puta brži od modernih CPU-a i GPU-a kada koriste sučelje neuronske mreže.
Sa svakom objavljenom verzijom, noviji TPU-ovi pokazuju značajna poboljšanja i mogućnosti. Evo nekoliko naglasaka za svaku verziju.
- TPUv1: Prvi javno objavljeni TPU. Dizajniran kao 8-bitni mehanizam za množenje matrice i ograničen je na rješavanje samo cijelih brojeva.
- TPUv2: Budući da su inženjeri primijetili da je TPUv1 ograničen u propusnosti. Ova verzija sada ima dvostruku propusnost memorije sa 16 GB RAM-a. Ova verzija sada može riješiti pokretne točke što je čini korisnom za obuku i zaključivanje.
- TPUv3: Objavljen 2018., TPUv3 ima dvostruko više procesora i implementiran je s četiri puta više čipova od TPUv2. Nadogradnje omogućuju ovoj verziji osam puta veću izvedbu u odnosu na prethodne verzije.
- TPUv4: Ovo je najnovija verzija TPU-a najavljena 18. svibnja 2021. Googleov izvršni direktor najavio je da će ova verzija imati više nego dvostruko bolje performanse od TPU v3.
- Rub TPU: Ova verzija TPU-a namijenjena je za manje operacije optimizirane za korištenje manje energije od ostalih verzija TPU-a u ukupnom radu. Iako koristi samo dva vata snage, Edge TPU može riješiti do četiri terra-operacije u sekundi. Edge TPU nalazi se samo na malim ručnim uređajima poput Googleovog pametnog telefona Pixel 4.
Kako pristupate TPU-ovima? Tko ih može koristiti?
TPU-ovi su vlasničke procesorske jedinice koje je dizajnirao Google za upotrebu sa svojom platformom TensorFlow. Pristup trećih strana ovim procesorima dopušten je od 2018. Danas se TPU-ovima (osim Edge TPU-ima) može pristupiti samo putem Googlea računalne usluge putem oblaka. Dok se Edge TPU hardver može kupiti putem Googleovog pametnog telefona Pixel 4 i njegovog kompleta za izradu prototipa poznatog kao Coral.
Coral je USB akcelerator koji koristi USB 3.0 Type C za podatke i napajanje. Omogućuje vašem uređaju Edge TPU računalstvo sposobno za 4 TOPS-a za svaka 2 W snage. Ovaj komplet može raditi na strojevima koji koriste Windows 10, macOS i Debian Linux (također može raditi s Raspberry Pi).
Ostali specijalizirani AI akceleratori
Budući da je umjetna inteligencija u modi posljednjeg desetljeća, Big Tech neprestano traži načine da strojno učenje učini što bržim i učinkovitijim. Iako su Googleovi TPU-ovi nedvojbeno najpopularniji ASIC razvijen za duboko učenje, druge tehnološke tvrtke poput Intela, Microsofta, Alibabe i Qualcomma također su razvile vlastite AI akceleratore. To uključuje Microsoft Brainwave, Intel Neural Compute Stick i Graphicoreov IPU (Intelligence Processing Unit).
No dok se razvija sve više AI hardvera, nažalost, većina tek treba biti dostupna na tržištu, a mnogi nikada neće. Od pisanja, ako stvarno želite kupiti AI akcelerator hardvera, najpopularnije opcije su kupnja Coral prototipnog kompleta, Intel NCS, Graphicore Bow Pod ili Asus IoT AI akceleratora. Ako samo želite pristup specijaliziranom AI hardveru, možete koristiti Googleove usluge računalstva u oblaku ili druge alternative kao što je Microsoft Brainwave.
