Google PaLM 2 vs. OpenAI GPT-4: Koja je razlika?

Google je predstavio sljedeću generaciju svog jezičnog modela Pathways (PaLM 2) 10. svibnja 2023. na Google I/O 2023. Njegov novi veliki jezični model (LLM) ima puno poboljšanja u odnosu na svog prethodnika (PaLM) i mogao bi konačno biti spreman za borbu sa svojim najvećim rivalom, OpenAI-jevim GPT-4.

Ali koliko je Google unaprijedio? Je li PaLM 2 onaj koji stvara razliku za koji se Google nada da će biti, i što je još važnije, s toliko sličnih mogućnosti, po čemu se PaLM 2 razlikuje od OpenAI-jevog GPT-4?

PaLM 2 vs. GPT-4: Pregled performansi

PaLM 2 je prepun novih i poboljšanih mogućnosti u odnosu na svog prethodnika. Jedna od jedinstvenih prednosti koju PaLM 2 ima u odnosu na GPT-4 je činjenica da je dostupan u manjim veličinama specifičnim za određene aplikacije koje nemaju toliko ugrađene procesorske snage.

Sve te različite veličine imaju svoje manje modele koji se nazivaju Gecko, Otter, Bison i Unicorn, pri čemu je Gecko najmanji, a slijede ga Otter, Bison i na kraju, Unicorn, najveći model.

Google također tvrdi poboljšanje u sposobnostima zaključivanja u usporedbi s GPT-4 u WinoGrandeu i DROP-u, s tim da je prvi povukao usku marginu u ARC-C. Međutim, postoji značajno poboljšanje u svim segmentima kada su u pitanju PaLM i SOTA.

PaLM 2 je također bolji u matematici, prema Googleovoj 91 stranici PaLM 2 istraživački rad [PDF]. Međutim, način na koji su Google i OpenAI strukturirali svoje rezultate testiranja otežava izravnu usporedbu ta dva modela. Google je također izostavio neke usporedbe, vjerojatno zato što PaLM 2 nije imao ni približno dobre rezultate kao GPT-4.

U MMLU, GPT-4 je postigao 86,4, dok je PaLM 2 postigao 81,2. Isto vrijedi i za HellaSwag, gdje je GPT-4 postigao bodove 95.3, ali PaLM 2 je mogao skupiti samo 86.8, a ARC-E, gdje su GPT-4 i PaLM 2 dobili 96.3 i 89.7, odnosno.

Najveći model u obitelji PaLM 2 je PaLM 2-L. Iako ne znamo njegovu točnu veličinu, znamo da je znatno manji od najvećeg PaLM modela, ali koristi više računalstva za obuku. Prema Googleu, PaLM ima 540 milijardi parametara, tako da bi "znatno manji" trebao staviti PaLM 2 između 10 do 300 milijardi parametara. Imajte na umu da su ove brojke samo pretpostavke temeljene na onome što je Google rekao u PaLM 2 dokumentu.

Ako je taj broj blizu 100 milijardi ili manji, PaLM 2 je najvjerojatnije manji u smislu parametara od GPT-3.5. Uzimajući u obzir da model potencijalno ispod 100 milijardi može ići s GPT-4 i čak ga pobijediti u nekim zadacima je impresivan. GPT-3.5 je u početku sve izbacio iz vode, uključujući PaLM, ali PaLM 2 se prilično oporavio.

Razlike u podacima o obuci GPT-4 i PaLM 2

Iako Google nije otkrio veličinu skupa podataka o obuci PaLM 2, tvrtka izvještava u svom istraživačkom radu da je skup podataka o obuci novog LLM-a znatno veći. OpenAI je također zauzeo isti pristup kada je otkrio GPT-4, ne iznoseći nikakve tvrdnje o veličini skupa podataka za obuku.

Međutim, Google se želio usredotočiti na dublje razumijevanje matematike, logike, razmišljanja i znanosti, što znači da je veliki dio podataka o obuci PaLM 2 usmjeren na gore navedene teme. Google u svom radu kaže da je korpus prije obuke PaLM 2 sastavljen od više izvora, uključujući web dokumente, knjigama, kodovima, matematici i razgovornim podacima, što mu daje poboljšanja u svim segmentima, barem u usporedbi s Dlan.

Konverzacijske vještine PaLM 2 također bi trebale biti na drugoj razini s obzirom na to da je model uvježban na više od 100 jezika radi boljeg kontekstualnog razumijevanja i boljeg prijevoda mogućnostima.

Što se tiče podataka o obuci GPT-4 potvrđenih, OpenAI nam je rekao da je obučavao model koristeći javno dostupne podatke i podatke koje je licencirao. Stranica za istraživanje GPT-4 kaže: "Podaci su korpus podataka na web-mjerama, uključujući točna i netočna rješenja matematičkih problema, slabih i snažno obrazloženje, kontradiktorne i dosljedne izjave, te zastupanje velikog broja ideologija i ideje."

Kada se GPT-4 postavi pitanje, može proizvesti široku lepezu odgovora, od kojih ne mogu svi biti relevantni za vaš upit. Kako bi ga uskladio s namjerom korisnika, OpenAI je fino podesio ponašanje modela pomoću učenja potkrepljenja s ljudskim povratnim informacijama.

Iako možda ne znamo točne podatke o obuci na kojima je treniran bilo koji od ovih modela, znamo da je namjera obuke bila vrlo različita. Morat ćemo pričekati i vidjeti kako će ova razlika u namjeri obuke razlikovati dva modela u implementaciji u stvarnom svijetu.

PaLM 2 i GPT-4 chatbotovi i usluge

Prvi portal za pristup oba LLM-a koristi njihove chatbotove, PaLM 2 Bard i GPT-4 ChatGPT. Ipak, GPT-4 stoji iza paywalla s ChatGPT Plus, a besplatni korisnici imaju pristup samo GPT-3.5. Bard je, s druge strane, besplatan za sve i dostupan u 180 zemalja.

To također ne znači da ne možete besplatno pristupiti GPT-4. Microsoftov Bing AI Chat koristi GPT-4 i potpuno je besplatan, otvoren za sve i dostupan odmah uz Bing Search, najvećeg Googleovog rivala u svemiru.

Google I/O 2023. bio je pun najava o tome kako će PaLM 2 i generativna AI integracija poboljšati Google Workspace iskustvo sa značajkama umjetne inteligencije koje dolaze u Google dokumente, tablice, slajdove, Gmail i skoro svaku uslugu koju div za pretraživanje nudi. Osim toga, Google je potvrdio da je PaLM 2 već integriran u više od 25 Google proizvoda, uključujući Android i YouTube.

Za usporedbu, Microsoft je već donio značajke umjetne inteligencije u paket programa Microsoft Office i mnoge svoje usluge. Trenutno možete iskusiti oba LLM-a u njihovim vlastitim verzijama sličnih ponuda dviju suparničkih tvrtki koje se bore u borbi protiv umjetne inteligencije.

Međutim, budući da je GPT-4 rano izašao i pazio je da izbjegne mnoge greške koje je Google napravio s izvornim Bardom, bio je de facto LLM za programere trećih strana, startupe i skoro sve druge koji žele ugraditi sposoban AI model u svoju uslugu, tako daleko. Imamo popis GPT-4 aplikacija ako ih želite provjeriti.

To ne znači da se programeri neće prebaciti na ili barem isprobati PaLM 2, ali Google još uvijek mora sustići OpenAI na tom planu. A činjenica da je PaLM 2 otvorenog koda, umjesto da je zaključan iza plaćenog API-ja, znači da ima potencijal da bude šire prihvaćen od GPT-4.

Može li se PaLM 2 suprotstaviti GPT-4?

PaLM 2 je još uvijek vrlo nov, tako da ostaje da se odgovori na to može li se boriti protiv GPT-4 ili ne. Međutim, sa svime što Google obećava i agresivnim načinom na koji je odlučio to širiti, čini se da PaLM 2 može dati GPT-4 trku za svoj novac.

Međutim, GPT-4 je još uvijek prilično sposoban model i, kao što je već spomenuto, pobjeđuje PaLM 2 u dosta usporedbi. Ipak, višestruki manji modeli PaLM 2 daju mu nepobitnu prednost. Gecko je sam po sebi toliko lagan da može raditi na mobilnim uređajima, čak i izvan mreže. To znači da PaLM 2 može podržati potpuno drugu klasu proizvoda i uređaja koji bi mogli imati problema s korištenjem GPT-4.

Utrka AI se zahuktava

S lansiranjem PaLM2, utrka za AI dominacijom se zahuktala, budući da bi ovo mogao biti tek prvi dostojan protivnik koji će se suprotstaviti GPT-4. Uz noviji multimodalni AI model nazvan "Gemini" također u obuci, Google ovdje ne pokazuje znakove usporavanja.