Iako OpenAI prednjači u razvoju generativne umjetne inteligencije, mnogi su optužili Google da zaostaje. Međutim, da ne duljimo, Google je lansirao novi veliki jezični model, PaLM 2, na svojoj Google I/O konferenciji 2023.
Postavljen da dolazi u četiri različite veličine za niz aplikacija, Googleov novi LLM očito već pokreće nekoliko Googleovih usluga, s još mnogo više.
Što je PaLM 2?
Na Google I/O 2023, održanom 10. svibnja, izvršna direktorica Googlea Sunda Pichai otkrila je najnoviju Googleovu igračku: PaLM 2.
Skraćeno od Pathways Language Model 2, Googleov nadograđeni LLM je druga iteracija PaLM-a, s prvom verzijom lansiranom u travnju 2022. Ne možete se sjetiti PaLM-a? Pa, u to je vrijeme to bila velika vijest i izazvala je gomile interesa zbog svoje sposobnosti da malo razgovara, priča osnovne šale i tako dalje. Premotaj šest mjeseci, i OpenAI-jev GPT-3.5 sve je izbacio iz vode, uključujući PaLM.
Od tad, OpenAI je pokrenuo GPT-4, velika nadogradnja na GPT-3.5. Ipak, dok se noviji model integrira u brojne alate, ponajprije Microsoftov Bing AI Chat, Google cilja na OpenAI i GPT-4 s PaLM 2 i nadat će se da njegov nadograđeni LLM može zatvoriti ono što se činilo značajnim nedostatkom - lansiranje Google Barda nije bilo sjajno uspjeh.
Pichai je najavio da će PaLM 2 dolaziti u četiri različite veličine modela: Gecko, Otter, Bison i Unicorn.
Gecko je toliko lagan da može raditi na mobilnim uređajima i dovoljno je brz za izvrsne interaktivne aplikacije na uređaju, čak i kada je izvan mreže. Ova svestranost znači da se PaLM 2 može fino podesiti za podršku cijelim klasama proizvoda na više načina, kako bi pomogao većem broju ljudi.
Uz Gecko koji može obraditi oko 20 tokena u sekundi - tokeni su vrijednosti dodijeljene stvarnim riječima za korištenje od strane generativnih AI modela - izgleda da će promijeniti pravila igre za mobilne AI alate.
PaLM 2 podaci o obuci
Google nije baš bio otvoren s podacima o obuci PaLM 2, što je razumljivo s obzirom da je upravo objavljen. Ali Googleov Izvješće PaLM 2 [PDF] je rekao da je želio da PaLM 2 ima dublje razumijevanje matematike, logike i znanosti te da je velik dio njegovog korpusa za obuku usmjeren na te teme.
Ipak, vrijedno je napomenuti da PaLM nije bio sklon. Kada Google otkrio PaLM, potvrdio je da je treniran na 540 milijardi parametara, što je u to vrijeme bila kolosalna brojka.
Navodi se da OpenAI-jev GPT-4 koristi više od trilijuna parametara, a neke spekulacije navode da ta brojka iznosi čak 1,7 trilijuna. Sigurno je da će Google, budući da želi da se PaLM 2 izravno natječe s LLM-ovima OpenAI-ja, imati u najmanju ruku usporedivu brojku, ako ne i više.
Još jedan značajan poticaj za PaLM 2 su podaci o jezičnoj obuci. Google je uvježbao PaLM 2 na više od 100 jezika kako bi mu pružio veću dubinu i kontekstualno razumijevanje te povećao njegove mogućnosti prevođenja.
Ali ne radi se samo o govornim jezicima. Povezujući se s Googleovim zahtjevima za PaLM 2 za pružanje boljeg znanstvenog i matematičkog zaključivanja, LLM je također je obučen za više od 20 programskih jezika, što ga čini fenomenalnim sredstvom za programere.
PaLM 2 već pokreće Googleove usluge—ali još uvijek zahtijeva fino podešavanje
Neće proći dugo dok se ne dočepamo PaLM 2 i vidimo što može. Uz malo sreće, pokretanje bilo koje aplikacije i usluge PaLM 2 bit će bolje od Barda.
Ali možda ste (tehnički!) već koristili PaLM 2. Google je potvrdio da je PaLM 2 već implementiran i da se koristi na 25 njegovih proizvoda, uključujući Android, YouTube, Gmail, Google dokumente, Google slajdove, Google tablice i još mnogo toga.
Ali izvješće PaLM 2 također otkriva da još ima posla koji treba obaviti, posebno prema toksičnim odgovorima u nizu jezika.
Na primjer, kada se izričito dobiju toksične upute, PaLM 2 generira toksične odgovore u više od 30 posto slučajeva. Nadalje, na određenim jezicima — engleskom, njemačkom i portugalskom — PaLM 2 je isporučio više toksičnih odgovora od 17 posto vremena, s upitima koji uključuju rasne identitete i religije koji povećavaju tu brojku viši.
Bez obzira koliko istraživači pokušavali očistiti podatke o LLM obuci, neizbježno je da će se neki provući. Sljedeća faza je nastavak obuke PaLM 2 za smanjenje tih toksičnih odgovora.
Razdoblje je procvata za modele velikih jezika
OpenAI nije bio prvi koji je lansirao veliki jezični model, ali njegovi modeli GPT-3, GPT-3.5 i GPT-4 nedvojbeno su zasvijetlili plavi dodirni papir na generativnoj umjetnoj inteligenciji.
Googleov PaLM 2 ima neke probleme koje treba riješiti, ali to što se već koristi u nekoliko Googleovih usluga pokazuje povjerenje koje tvrtka ima u svoj najnoviji LLM.
