ChatGPT je OpenAI-jev AI chatbot koji mijenja igru i zadivljuje internet. Usprkos svim uvriježenim tehnološkim trendovima, nije trebalo dugo da ChatGPT pronađe svoj put u gotovo svako područje našeg digitalnog života.
Vrlo je malo tehnoloških inovacija koje su izazvale toliki interes kao što je ChatGPT postigao u tako kratkom vremenu. Čini se da mu nikad ne ponestaje cool trikova—svaki dan učimo o uzbudljivim novim stvarima za koje nismo znali da može.
Ali kako ChatGPT može raditi stvari koje može? Kako funkcionira ChatGPT?
Kako je napravljen ChatGPT?
Da biste razumjeli kako ChatGPT funkcionira, vrijedi pogledati njegovo podrijetlo i mozak koji stoji iza vrhunskog AI chatbota.
Prvo, koliko god se ChatGPT činio magičnim, izgradio ga je ljudski genij, baš kao i svaku softversku tehnologiju koja vrijedi. OpenAI je stvorio ChatGPT, revolucionarnu tvrtku za istraživanje i razvoj umjetne inteligencije koja stoji iza drugih moćnih alata umjetne inteligencije kao što su DALL-E, InstructGPT i Codex. Prethodno smo odgovorili
neka pitanja koja biste mogli imati o ChatGPT-u, pa pogledajte.Dok je ChatGPT postao viralan krajem 2022., većina temeljne tehnologije koja pokreće ChatGPT postoji mnogo dulje, iako s mnogo manje publiciteta. ChatGPT model izgrađen je na temelju GPT-3 (ili, preciznije, GPT-3.5). GPT je kratica za "Generative Pre-trained Transformer 3."
GPT-3 je treća iteracija GPT linije AI modela, a prethodili su joj GPT-2 i GPT. Ranije iteracije GPT modela jednako su korisne, ali GPT-3 i fino podešena GPT-3.5 iteracija mnogo su snažnije. Većina onoga što ChatGPT može je zbog temeljne GPT-3 tehnologije.
Što je GPT?
Tako smo ustanovili da je ChatGPT izgrađen na trećoj generaciji GPT modela. Ali što je uopće GPT?
Počnimo s raspakiranjem akronima na lako probavljiv i netehnički način.
- "Generativno" u GPT-u predstavlja njegovu sposobnost generiranja teksta prirodnog ljudskog jezika.
- "Prethodno obučeno" predstavlja činjenicu da je model već obučen na nekom konačnom skupu podataka. Slično kao što biste pročitali knjigu ili možda nekoliko knjiga prije nego što vas se zamoli da odgovorite na pitanja o tome.
- "Transformer" predstavlja temeljnu arhitekturu strojnog učenja koja pokreće GPT.
Sada, kada sve to sakupimo, Generative Pre-trained Transformer (GPT) je jezični model koji je obučeni korištenjem podataka s interneta s ciljem generiranja teksta na ljudskom jeziku kada se prezentira a potaknuti. Dakle, više puta smo rekli da je GPT obučen, ali kako je obučen?
Kako je ChatGPT obučen?
Sam ChatGPT nije obučen od temelja. Umjesto toga, to je fino podešena verzija GPT-3.5, koja je i sama fino podešena verzija GPT-3. Model GPT-3 treniran je s ogromnom količinom podataka prikupljenih s interneta. Sjetite se Wikipedije, Twittera i Reddita - hranjeni su podacima i ljudskim tekstom sa svih strana interneta.
Ako se pitate kako funkcionira GPT obuka, GPT-3 je obučen korištenjem kombinacije nadziranog učenja i učenja s pojačanjem putem ljudske povratne informacije (RLHF). Nadzirano učenje je faza u kojoj se model obučava na velikom skupu podataka teksta preuzetog s interneta. Faza učenja s potkrepljenjem je mjesto gdje se obučava da proizvodi bolje odgovore koji su u skladu s onim što bi ljudi prihvatili kao ljudsko i ispravno.
Obuka s nadziranim učenjem
Da biste bolje razumjeli kako se nadzirano učenje i učenje s potkrepljivanjem primjenjuje na ChatGPT, zamislite scenarij u kojem nastavnik uči učenika pisati esej. Nadzirano učenje bilo bi isto kao da učitelj daje učeniku stotine eseja na čitanje. Ovdje je cilj da učenik nauči kako treba pisati esej navikavajući se na ton, vokabular i strukturu stotina eseja.
No, među tim stotinama eseja bit će i dobrih i loših. Budući da je učenik treniran i na dobrim i na lošim kopijama, ponekad bi učenik mogao napisati loš esej jer je u nekom trenutku također bio hranjen lošim esejima. To znači da kada se od učenika traži da napiše esej, učenik može napisati primjerak koji nije prihvatljiv ili dovoljno dobar za nastavnika. Ovdje dolazi učenje s potkrepljenjem.
Obuka s potkrepljenim učenjem
Nakon što učitelj utvrdi da učenik razumije opća pravila pisanja eseja čitajući stotine eseja, učitelj bi učeniku često davao domaću zadaću za pisanje eseja. Nakon toga bi nastavnik dao povratnu informaciju o domaćoj zadaći s pisanjem eseja, govoreći učenicima što su dobro napravili i što bi mogli poboljšati. Učenik koristi povratnu informaciju za usmjeravanje sljedeće domaće zadaće u pisanju eseja, pomažući učeniku da se poboljša tijekom vremena.
Ovo je slično fazi učenja s pojačanjem u obuci GPT modela. Nakon što mu se unese ogromna količina teksta preuzetog s interneta, model može odgovarati na pitanja. Međutim, njegova točnost neće biti dovoljno dobra. Ljudski treneri postavljaju modelu pitanje i daju povratnu informaciju o tome koji je odgovor prikladniji za svako pitanje.
Model koristi povratnu informaciju kako bi poboljšao svoju sposobnost da odgovori na pitanja točnije i sličnije onome kako bi čovjek odgovorio. Ovo je način na koji ChatGPT može generirati odgovore koji zvuče ljudski, a koji su koherentni, zanimljivi i općenito točni.
Kako ChatGPT može odgovoriti na pitanja?
Dakle, posjetite web stranicu ChatGPT i prijavite se. Pozivate ChatGPT: "napišite rap pjesmu u stilu Snoop Dogga." Odgovara stihovima na rap pjesmu koja izgleda nevjerojatno slično onome što bi napisao Snoop Dogg. Kako je ovo moguće?
Pa, sva "magija" iza ChatGPT-a uredno je povezana s njegovom obukom.
Nakon što prođete svaki centimetar svog udžbenika Physics 101, postoji dobra šansa da ćete moći odgovoriti na bilo koje pitanje iz njega koje vam se postavi. Zašto? Zato što ste to pročitali i naučili. Ista je stvar s ChatGPT-om — on uči. I kao što je ljudska civilizacija pokazala, uz dovoljno obuke moguće je riješiti gotovo svaki problem.
Iako vjerojatno možete upravljati stotinama knjiga u svom životu, ChatGPT ili GPT već su zauzeli ogroman dio interneta. To je ogromno bogatstvo informacija. Tu negdje su vjerojatno tekstovi brojnih pjesama Snoop Dogga. Dakle, naravno, ChatGPT ga je sigurno iskoristio (zapamtite, unaprijed je obučen) i prepoznao uzorke u tekstovima Snoop Dogga. Zatim bi koristio "znanje" o ovom obrascu da "predvidi" tekst pjesme sličan onome što bi napisao Snoop Dogg.
Ovdje je naglasak na "predviđanju". ChatGPT ne odgovara na pitanja na isti način kao mi kao ljudi. Na primjer, kada se suočite s pitanjem poput: "Koji je glavni grad Portugala?" mogli biste reći Lisabon i reći to za "činjenicu". Međutim, ChatGPT ne odgovara na pitanja sa 100% sigurnošću. Umjesto toga, pokušava predvidjeti pravi odgovor s obzirom na podatke koje je potrošio u skupu podataka za obuku.
ChatGPT-ov pristup odgovaranju na pitanja
Da biste bolje razumjeli koncept predviđanja odgovora, zamislite ChatGPT kao detektiva koji ima zadatak riješiti ubojstvo. Detektivu se predoče dokazi, ali ne znaju tko je počinio ubojstvo i kako se dogodilo. No, uz dovoljno dokaza, detektiv može s velikom točnošću "predvidjeti" tko je odgovoran za ubojstvo i kako je zločin počinjen.
Nakon konzumiranja podataka s interneta, ChatGPT odbacuje izvorne podatke i pohranjuje neuronske veze ili obrasce koje je naučio iz podataka. Ove veze ili obrasci su kao dokazi koje ChatGPT analizira kada pokuša odgovoriti na bilo koji upit.
Dakle, u teoriji, ChatGPT je kao vrlo dobar detektiv. Ne zna sa sigurnošću koje bi činjenice trebale biti odgovor, ali pokušava, s impresivnim točnost, predvidjeti logičan slijed teksta ljudskog jezika koji bi najprikladnije odgovorio na pitanje. Tako ćete dobiti odgovore na svoja pitanja.
I zato neki od tih odgovora izgledaju vrlo uvjerljivo, ali su užasno pogrešni.
ChatGPT: Odgovara kao čovjek, razmišlja kao stroj
Osnovni tehnički detalji ChatGPT-a su složeni. Međutim, s rudimentarnog stajališta, funkcionira tako što uči i reproducira ono što je naučio kada se to od njega zatraži, baš kao što radimo mi kao ljudi.
Kako se ChatGPT razvija kroz istraživanje, način na koji funkcionira mogao bi se promijeniti. Međutim, njegova temeljna načela rada ostat će ista neko vrijeme, barem dok se ne pojavi nova disruptivna tehnologija.
