Nvidijini GPU-i daleko su dogurali, ne samo u pogledu performansi u igricama, već iu drugim aplikacijama, posebice umjetnoj inteligenciji i strojnom učenju. Dva glavna čimbenika odgovorna za performanse Nvidijinog GPU-a su CUDA i Tensor jezgre prisutne na gotovo svakom modernom Nvidijinom GPU-u koji možete kupiti.
Ali što točno rade te jezgre, i ako se obje koriste u aplikacijama umjetne inteligencije i strojnog učenja, po čemu se razlikuju?
Što su CUDA jezgre i za što se koriste?
CUDA je kratica za Compute Unified Device Architecture, što ne objašnjava mnogo njihovu prisutnost u GPU-u. Ove jezgre uvedene su u Nvidia GPU liniju u Maxwell arhitekturi 2014. i specijalizirane su za paralelnu obradu.
Oni su prilično slični CPU jezgrama u smislu njihovog funkcioniranja, ali su bolji u rukovanju određenim zadatke, uključujući kriptografske hashove, fizičke motore, projekte vezane uz znanost o podacima, pa čak i igre razvoj.
Dok smo već pokrili kako CUDA jezgre utječu na igranje performansi vašeg računala
, oni su jednako korisni u izračunavanju brojeva. Dok čak i najsnažniji CPU-i imaju dvoznamenkaste jezgre, Nvidia GPU-i dolaze s nekoliko tisuća CUDA jezgri što ih čini mnogo bržima pri numeričkim radnim opterećenjima. Osim toga, budući da ove izračune obavljaju paralelno, s CUDA jezgrama dobivate puno veće brzine.CUDA jezgre su brže od uobičajenih CPU jezgri kada su u pitanju velike brojke, ali još uvijek nisu idealno rješenje. To je zato što nikada nisu bili namijenjeni da se koriste na takav način. CUDA jezgre su namjenski izgrađene za grafičku obradu i kako bi Nvidia GPU učinili sposobnijima u igranju.
Što su tenzorske jezgre i za što se koriste?
Kako su se GPU-ovi počeli koristiti za radna opterećenja umjetne inteligencije i strojnog učenja, Nvidia je 2017. predstavila Tensor jezgre u arhitekturi Volta za svoje GPU-ove podatkovnih centara.
Međutim, bilo je potrebno do Nvidia Turing arhitekture (RTX 20-serije GPU-ova) da ove jezgre dođu na potrošačke GPU-ove. Zapamtiti iako su kartice serije GTX 16 također temeljene na arhitekturi Turing, one ne uključuju nikakvo praćenje zraka ili Tensor jezgre.
Dok su CUDA jezgre u najboljem slučaju bile primjerene za računalna radna opterećenja, Tensor jezgre podigle su ulog jer su bile znatno brže. Dok CUDA jezgre mogu izvesti samo jednu operaciju po taktu, Tensor jezgre mogu podnijeti više operacija, što im daje nevjerojatno povećanje performansi. U osnovi, sve što jezgre Tensora čine je povećanje brzine množenja matrice.
Ovo povećanje brzine računanja dolazi po cijenu točnosti, pri čemu su CUDA jezgre znatno preciznije. Uz to, kada se radi o obuci modela strojnog učenja, Tensor jezgre su daleko učinkovitije u smislu brzine računanja i ukupne cijene; stoga se gubitak u točnosti često zanemaruje.
Kako Tensor i CUDA jezgre utječu na performanse GPU-a?
Kao što do sada vjerojatno možete pogoditi, iako CUDA i Tensor jezgre mogu podnijeti ista radna opterećenja, obje su specijalizirane jezgre za grafičko renderiranje i numerička radna opterećenja.
To znači da će ovisno o korisniku kojem je određeni GPU namijenjen, imati različit broj jezgri. Na primjer, ako uzmemo u obzir RTX 4090, Nvidijin najnoviji i najbolji GPU za igre namijenjen potrošačima, dobit ćete puno više CUDA jezgri nego Tensor jezgri. 16.384 CUDA jezgri do 512 Tensor jezgri, da budemo precizni.
Za usporedbu, Nvidia L40 GPU za podatkovne centre, temeljen na istoj Ada Lovelace arhitekturi kao i RTX 4090, ima 18.176 CUDA jezgri i 568 Tensor jezgri. Ovo se možda ne čini kao velika razlika, ali može uvelike utjecati na performanse ovih GPU-ova.
Što se tiče teoretskih performansi, L40 ima 90,52 TFlopsa FP16 i FP32 performansi, kao i 1414 GFlopsa FP64 performansi. Ovo je veliko povećanje performansi u usporedbi s 82,58 TFlopsa FP16 i FP32 izvedbe RTX 4090 i 1290 GFlopsa FP64 izvedbe.
Osim ako niste dobro upućeni u brojčane performanse GPU-a, gornje brojke performansi s pomičnim zarezom Nvidia GPU-a možda vam neće puno značiti. Međutim, ukratko, pokazuju da je L40 mnogo brži od RTX 4090 kada su u pitanju numerički izračuni — oni potrebni za radna opterećenja temeljena na umjetnoj inteligenciji i strojnom učenju.
Poboljšanje performansi postaje još impresivnije kada se uzme u obzir potrošnja energije dva GPU-a. RTX 4090 ima ocjenu TGP (ne brkati s TDP-om, postoji mala razlika) od 450 W, dok je L40 ocijenjen za samo 300 W.
Oba ova GPU-a će dobro pokretati igre i trenirati vaš model strojnog učenja. Međutim, RTX 4090 će biti bolji u pokretanju igrica, a L40 će biti bolji u treniranju modela strojnog učenja.
CUDA jezgre vs. Tenzorske jezgre: što je važnije?
Obje su jezgre jednako važne, bez obzira na to kupujete li svoj GPU za igranje ili ga stavljate u stalak podatkovnog centra. Nvidijini grafički procesori namijenjeni potrošačima koriste hrpu značajki umjetne inteligencije (najviše DLSS), a korištenje Tensor jezgri može dobro doći.
Što se tiče GPU-ova podatkovnih centara, CUDA i Tensor jezgre ionako većinu vremena rade u tandemu, tako da ćete dobiti oboje bez obzira na GPU koji odaberete. Umjesto da se fokusirate na određenu vrstu jezgre u svom GPU-u, trebali biste se više fokusirati na ono što grafička kartica radi kao cjelina i tip korisnika kojem je namijenjena.
CUDA jezgre specijalizirane su za rukovanje grafičkim radnim opterećenjima, dok su Tensor jezgre bolje u numeričkim. Oni rade zajedno i međusobno su zamjenjivi u određenoj mjeri, ali se bave vlastitim specijalizacijama, što je razlog zašto uopće postoje.
Različiti GPU-ovi specijalizirani su za različite aspekte. RTX 4090 će lako uništiti svaku igru koju mu bacite, dok RTX 4060 može podnijeti samo 1080p igranje. Ako ne igrate igrice koristeći svoj GPU i potreban vam je samo za izračunavanje brojeva ili treniranje neuronskih mreža, GPU A-serije podatkovnog centra kao što je A100 ili čak L40 vaš je najbolji izbor.
Vaše GPU jezgre su važne
Više GPU jezgri dat će vam bolju ukupnu izvedbu jer će vaš GPU biti svestraniji i imati namjenske resurse za rješavanje različitih zadataka. Međutim, naslijepo nabaviti GPU s najvećim brojem jezgri nije najbolja odluka. Odvojite trenutak da pažljivo razmotrite svoj slučaj upotrebe, pogledajte mogućnosti GPU-a u cjelini, a zatim napravite svoj izbor.