Što je ograničenje ChatGPT tokena i možete li ga premašiti?

ChatGPT je osvojio tehnološki svijet, a poboljšanja i ažuriranja ne nedostaje. No unatoč korištenju napredne tehnologije, postoji dosta ograničavajućih čimbenika unutar trenutne verzije.

Jedan takav čimbenik je sustav tokena, koji nastavlja prekidati evolucijski ciklus, bacajući uslužne programe aplikacije na koljena. Ako koristite ChatGPT, možda biste željeli znati više o tokenima ChatGPT-a i što učiniti kada vam ponestane tokena.

Vratimo se korak unatrag i pružimo vam uvid u sve što treba znati o temeljnim mehanizmima rada aplikacije.

Što je ChatGPT token?

Ako prođete kroz fasadu aplikacije, sve što vidite je računalni jezik koji sluša vaše naredbe i daje vam odgovore koje tražite. Međutim, pozadina je samo puno koda, učenje svake minute i upoznavanje s pitanjima na koja odgovara.

ChatGPT svaku riječ pretvara u čitljiv token kad god postavite pitanje. Da bismo to dalje raščlanili, tokeni su tekstualni fragmenti, a svaki programski jezik koristi drugačiji skup vrijednosti tokena za razumijevanje zahtjeva.

Budući da računala ne razumiju tekstualne vrijednosti izravno, rastavljaju ih na kombinacije brojeva, koje se često nazivaju ugrađivanjem. Možete čak razmotriti i ugradnje poput Python liste, koji nalikuju popisu povezanih brojeva, kao što je [1.1,2.1,3.1,4.1…n].

Nakon što ChatGPT uzme početni unos, pokušava predvidjeti sljedeći mogući unos na temelju prethodnih informacija. Odabire cijeli popis prethodnih tokena i, koristeći svoju sintezu kodiranja, pokušava spriječiti naknadni unos korisnika. Koristi i predviđa jedan po jedan token kako bi jezik lakše razumio upotrebu.

Kako bi poboljšao predviđanja i poboljšao točnost, preuzima cijeli popis ugrađivanja i prolazi ga kroz transformatorske slojeve kako bi uspostavio asocijacije između riječi. Na primjer, kada postavite pitanje poput "Tko je Thomas Edison?", ChatGPT bira najvrjednije riječi na popisu: WHO i Edison.

Transformatorski slojevi imaju svoju ulogu u cijelom procesu. Ti su slojevi oblik arhitekture neuronske mreže osposobljene za odabir najrelevantnijih ključnih riječi iz niza riječi. Međutim, proces obuke nije tako jednostavan kao što zvuči, jer je potrebno mnogo vremena za obuku slojeva transformatora na gigabajtima podataka.

Iako ChatGPT predviđa samo jedan po jedan token, njegova auto-regresivna tehnologija je programirana za predviđanje i vraćanje u primarni model kako bi se objavio izlaz. Model je podešen da se izvodi samo jednom za svaki token, tako da se rezultat ispisuje jednu po jednu riječ. Izlaz se automatski zaustavlja kada aplikacija naiđe na naredbu stop token.

Na primjer, ako pogledate kalkulator tokena na web stranici ChatGPT, možete izračunati svoju upotrebu tokena na temelju svojih pitanja.

Unesite primjer teksta, kao što je:

Kako da objasnim korištenje tokena u ChatGPT?

Prema kalkulatoru, postoji 46 znakova u ovom nizu, koji će potrošiti 13 tokena. Ako ga raščlanite na ID-ove tokena, izgledat će otprilike ovako:

[2437, 466, 314, 4727, 262, 779, 286, 16326, 287, 24101, 38, 11571, 30]

Prema OpenAI kalkulator tokena:

Korisno pravilo je da jedan token općenito odgovara ~4 znaka teksta za uobičajeni engleski tekst. To znači otprilike ¾ riječi (dakle, 100 tokena ~= 75 riječi).

Besplatno vs. Plaćeni tokeni

Kako bismo vam dali uvid u to što je što unutar aplikacije ChatGPT, OpenAI vam nudi besplatnu ograničenu pretplatu na token. Ako želite eksperimentirati s ChatGPT API-jem, upotrijebite besplatni kredit od 5 USD koji vrijedi tri mjeseca. Nakon što se ograničenje iscrpi (ili probno razdoblje istekne), možete plaćati po kretanju, što povećava maksimalnu kvotu na 120 USD.

ChatGPT Plus: Isplati li se plaćena pretplata?

Da biste ga podigli na viši nivo, možete se čak prijaviti za Ponuda ChatGPT Plus, što vas košta 20 USD mjesečno. S obzirom na široku upotrebu i popularnost cijelog AI modela, ovdje su glavne značajke modela plaćene pretplate:

• Pristup ChatGPT-u, čak i kada je web stranica u zastoju zbog priljeva korisnika
• Poboljšane stope odgovora
• Pristup iz prve ruke novim značajkama i izdanjima

Ako smatrate da su te značajke u potpunosti vrijedne i da su vam dobre, možete se prijaviti za plaćenu pretplatu i odmah imati koristi od njih.

Struktura cijene ChatGPT tokena

Dostupno je nekoliko različitih modela aplikacija koje možete odabrati na temelju svojih zahtjeva:

Ada je najbrži, dok je DaVinci najjači model s ove liste modela. Poziv je pitanje, dok se završetak bavi odgovorima.

Maksimalna ograničenja tokena

Svaki model omogućuje postavljanje maksimalnog broja tokena unutar svakog upita. Ova metoda kontrolira najveći broj tokena koje aplikacija generira u jednom pozivu, ograničavajući izlaz. Značajka max_token vrlo je korisna, posebno kada želite kontrolirati duljinu svojeg izlaza, izbjegavajući pretjeranu upotrebu tokena i kredita. Zadana duljina je fiksna na 2048 tokena, dok se maksimalna može postaviti na 4096 tokena.

Ograničavanje upotrebe tokena može rezultirati kratkim odgovorima, što može ograničiti izlaz i narušiti vaše iskustvo korištenja.

ChatGPT3 ima gornju granicu od 4096; međutim, uvođenjem ChatGPT4, ograničenja tokena su povećana, kako slijedi:

Ako je vaš izlaz skraćen, morate povećati navedeno maksimalno ograničenje na nadzornoj ploči. Zapamtite, zbroj vaših brzih i maksimalnih tokena uvijek bi trebao biti manji od jednakog maksimalnom ograničenju tokena modela.

Na primjer, unutar ChatGPT modela, prompt_tokeni + max_tokeni <= 4096 žetoni.

Naučite kontrolirati svoje ChatGPT upite za najbolje rezultate

Bez obzira kako koristite aplikaciju vođenu umjetnom inteligencijom, velike su šanse da ćete morati osmisliti načine da se pametno poigrate sa svojim pitanjima i frazama. Ovisno o vašim obrascima korištenja, vjerojatno ćete intenzivno koristiti ChatGPT za svaki zadatak.

Da biste dobili najbolje rezultate, morate naučiti kako raditi s metodologijom tokena i unaprijediti svoje vještine kako biste osigurali da vaša ograničenja upotrebe ostanu netaknuta, a da vam daju najbolje moguće odgovore.