ChatGPT protiv Claude AI: Je li Claude AI bolji chatbot?

Od svog izdanja u studenom 2022., ChatGPT je ostao dominantna sila u prostoru AI chatbota. Unatoč dalekosežnim naporima nekoliko tvrtki s umjetnom inteligencijom, nitko nije uspio izgraditi chatbota koji bi doista bio izazov ChatGPT-u u ukupnoj kvaliteti odgovora. Googleov bard? Microsoftov Bing AI? Ne, ne stvarno.

Međutim, Claude AI, chatbot koji je izgradila AI startup Anthropic, pokazuje kvalitete chatbota koji može skinuti ChatGPT s trona. Velik broj korisnika već kaže da je Claude bolja opcija. Ali je li to tako? Isprobajmo oba chatbota.

ChatGPT vs. Claude AI: Zdrav razum i logično rasuđivanje

Postoji intrigantan kontrast kada radite s AI chatbotovima. S jedne strane, mogu prolaziti kroz složene zadatke na čijem rješavanju ljudi mogu raditi danima. S druge strane, ponekad se bore s elementarnim problemima koji zahtijevaju samo malo zdravog razuma ili logičnog zaključivanja. Dakle, testirali smo i ChatGPT i Claude AI da vidimo koji je AI chatbot bolji u zadacima zdravog razuma i logičkog zaključivanja.

ChatGPT je razbio problem na dijelove i riješio ga u prvom pokušaju. Claude AI je također pokušao i riješio problem, ali drugačijim pristupom.

Za prvi zadatak, oba chatbota uspjela su riješiti problem. Dakle, prešli smo na drugu vrstu problema. Zadužili smo oba chatbota da odgovore na trik pitanje.

ChatGPT je uspio odmah uočiti trik - ne možete pokopati preživjele jer nisu mrtve. Claude AI, s druge strane, čini se da je razumio da je to trik pitanje, ali nije uspio uočiti najzdravorazumski problem da se ne pokapaju preživjeli.

Umjesto toga, pretjerano je analizirao pitanje i došao do zaključka da "neće biti preživjelih za pokopavanje" jer bi pad s Marsa na Zemlju bio koban. To nije odgovor koji smo očekivali, ali ako stvari pogledate iz drugog kuta, ima istine u tome.

Za ovaj zadatak dajemo ga ChatGPT-u, ali ne možemo potpuno isključiti pristup Claudea AI-ja. Za naš posljednji zadatak o ovoj metrici, pitali smo oba chatbota koliko će jabuka ostati na stablu jabuke nakon pet odnosno 10 dana ako smo započeli s 10 jabuka, a pet ih je narezano dok su još bile na drvetu. ChatGPT je rekao da će još ostati 10 jabuka.

Claude AI je, s druge strane, dao zdravorazumski odgovor prepoznavši da će pet narezanih jabuka vjerojatno istrunuti.

Claude AI je očito shvatio ovo. Isprobali smo još nekoliko škakljivih problema i oba su chatbota imala priličan udio uspjeha i neuspjeha u rješavanju njih. Uzimajući u obzir ishod koji smo uočili, moglo bi biti pošteno reći da iako ChatGPT ima prednost, oba chatbota nisu previše udaljena u pogledu zdravog razuma i sposobnosti logičkog zaključivanja.

ChatGPT vs. Claude AI: Matematičke vještine

Čak i ako nikada ne namjeravate koristiti ChatGPT ili Claude AI za rješavanje domaće zadaće iz Algebre, njihove matematičke sposobnosti imaju dalekosežne implikacije. Za AI chatbotove matematika je ključ za razumijevanje logike stvarnog svijeta, prepoznavanje pogrešaka u razmišljanju i priznavanje pogrešaka.

U biti, matematička sposobnost je temeljni pokazatelj umjetne inteligencije. Dakle, između ChatGPT-a i Claude AI, koji chatbot je vještiji u matematici? Zadužili smo oba chatbota da riješe zamršen matematički problem produktivnosti. Počeli smo s Claude AI, a chatbot je riješio problem.

ChatGPT je također riješio problem.

Idemo dalje, zamolili smo oba chatbota da riješe 8/a-1 = 20/3a-1, prilično jednostavan matematički problem s iznenađujuće visokom stopom neuspjeha među AI chatbotovima. ChatGPT je to uspio riješiti, dajući točan odgovor -3 u prvom pokušaju.

Claude AI nije uspio u prvom pokušaju, ali kada smo ga potaknuli da rješava problem korak po korak (što ga tjera da promisli svaki korak svoje logike), uspio ga je razbiti.

Pokušali smo riješiti još nekoliko matematičkih zadataka. Iako su oba chatbota u nekim slučajevima uspjela iz prvog pokušaja, u nekoliko je slučajeva Claude AI trebao drugi ili treći pokušaj da pruži pravi odgovor. Što se tiče matematičkih vještina, krunu ćemo dati ChatGPT-u.

ChatGPT vs. Claude AI: Kreativnost

Jedan od najvećih hype Claude AI-a su njegove kreativne sposobnosti. Ali može li se mjeriti s kreativnošću ChatGPT-a? Ili, može li nadmašiti ChatGPT? Da bismo oba chatbota stavili na test, zadužili smo ih da napišu tekst za rap pjesmu koja se rimuje.

Odabrali smo rimovani rap test jer je to nešto s čime se bore mnogi jezični modeli. Većina modela obično neće dobiti pravu rimu ili će dobiti pravu rimu dok sam tekst nema smisla. Da stvar bude zanimljivija, rap pjesma govorit će o uzgoju krastavaca.

Dakle, zamolili smo i ChatGPT i Claude AI da "napišu rimovani rap o uzgoju krastavaca kao farmera i od toga postati milijunaš." ChatGPT je bio prvi i očekivano, proizveo je nekoliko uzbudljivih tekst.

Zatim smo poslali isti upit Claudeu AI, i to mu je također dalo poštenu šansu.

Oba teksta su dobra, ali čini se da ChatGPT ovdje ima prednost. Imao je bolje rimovanje i imali smo rezultat koji smo trebali na prvom ogledu. Morali smo pokušati tri puta prije nego što je Claude AI uspio proizvesti tekst koji se rimuje. Ovo ćemo dati ChatGPT-u.

Nakon što je isprobao još nekoliko kreativnih zadataka, činilo se da je Claude AI briljirao u zadacima povezanim s pisanjem i mogao je napisati sadržaj koji zvuči prirodnije kao što bi to učinio ljudski pisac. Iako ChatGPT je bio bolji u svladavanju složenijih kreativnih zadataka, ponekad se nije mogao otresti osjećaja AI chatbota u tekstu koji je generirao. Naša presuda? I ChatGPT i Claude AI kreativni su sami po sebi.

ChatGPT vs. Claude AI: Vještine kodiranja

Baš poput matematičkih vještina, vještine kodiranja još su jedna vrlo važna metrika za procjenu sposobnosti AI chatbota. Dok većina korisnika vjerojatno nikada neće koristiti chatbot za kodiranje, postoje značajne temeljne implikacije za sposobnost chatbota da piše i vješto razumije kod.

Iako su chatbotovi trenutno sofisticirani, daleko su od onoga što bi zapravo mogli postati ako i kada budu sposobni vješto pisati kod. Kako bi AI chatbotovi doista evoluirali u moćne AI pomoćnike koji mogu učiniti više od generiranja teksta, moraju biti u stanju napisati kod koji rješava probleme na zahtjev. Prethodno smo raspravljali o tome koliko su vještine kodiranja važne za AI chatbotove u našem Objašnjivač ChatGPT Code Interpreter.

Ipak, stavili smo oba chatbota na dva zadatka kodiranja. Zamolili smo ChatGPT i Claude AI da napišu funkcionalni kod za aplikaciju popisa obaveza. Počevši s ChatGPT-om, AI chatbot uspio je isporučiti funkcionalnu aplikaciju popisa obaveza iz prvog pokušaja. Kopirali smo ga i pokrenuli na pregledniku, i radio je savršeno bez grešaka. Evo izlaza na pregledniku.

Prelazeći na Claude AI, chatbot je napisao jasno razumljiv kod. Struktura i logika činile su se u redu. Nažalost, unatoč ponovljenim pokušajima, Claude AI je stalno propuštao neku kritičnu logiku kako bi se kôd stvarno pokrenuo u pregledniku. Ovo je neuspjeh.

Nakon što je Claude AI pao na posljednjem testu, isprobali smo drugu vrstu zadatka kodiranja, onaj koji se više odnosio na analizu koda, a manje na pisanje novog koda. Učitali smo pet PHP datoteka koje predstavljaju kompletnu pozadinu web stranice i zatražili od Claude AI i ChatGPT gdje bismo morali urediti sve učitane datoteke kako bismo osigurali da ćemo dobiti e-poštu kada se novi korisnik registrira na mjesto.

Iznenađujuće, ChatGPT, unatoč naizgled superiornim vještinama kodiranja, nije uspio u tome unatoč opetovanim pokušajima. Claude AI, s druge strane, uspio je vješto analizirati kod dok je identificirao prava mjesta koja je trebalo urediti kako bi se postigli željeni rezultati.

Naravno, ovo nije bio izolirani slučaj, ponovili smo ga s nekoliko drugih kodnih datoteka, ali ChatGPT se spotaknuo i zastao na većini slučajeva dok je Claude AI nastavio davati impresivne rezultate. Što se tiče vještina kodiranja, pobjednik nije posve jednostavan.

ChatGPT je očito znatno bolji u pisanju novog koda i može upravljati složenim kodom s impresivnom vještinom. Međutim, Claude AI znatno je bolji u analizi velikih baza kodova. Dakle, ako želite napisati kod za neku novu ideju koju imate, ChatGPT je alat kojem se možete obratiti. Ako želite analizirati ili shvatiti bazu koda s tisućama redaka u nekoliko datoteka, onda bismo svakako preporučili Claude AI.

Claude AI moćan je konkurent u bloku

Claude AI predstavlja snažnu konkurenciju ChatGPT-u - onu koja se jednog dana može natjecati s ChatGPT-om i potencijalno ga nadmašiti. S obzirom na to da je Claude relativno novi AI model, zavidno je što se može suprotstaviti ChatGPT-u na način na koji trenutno radi. Pojava Claude AI-ja i kvaliteta koju nudi dokaz su da se konkurencija zahuktava.