Veliki jezični modeli (LLM) temeljna su tehnologija koja je potaknula meteorski uspon generativnih AI chatbota. Svi alati kao što su ChatGPT, Google Bard i Bing Chat oslanjaju se na LLM-ove za generiranje ljudskih odgovora na vaše upite i pitanja.

Ali što su zapravo LLM-ovi i kako funkcioniraju? Ovdje smo krenuli demistificirati LLM.

Što je model velikog jezika?

Najjednostavnije rečeno, LLM je ogromna baza podataka tekstualnih podataka koji se mogu koristiti za generiranje ljudskih odgovora na vaše upite. Tekst dolazi iz niza izvora i može iznositi milijarde riječi.

Među uobičajenim izvorima tekstualnih podataka koji se koriste su:

  • Književnost: LLM često sadrže ogromne količine suvremene i klasične literature. To može uključivati ​​knjige, poeziju i drame.
  • Online sadržaj: LLM će najčešće sadržavati veliki repozitorij online sadržaja, uključujući blogove, web sadržaj, pitanja i odgovore na forumu i drugi online tekst.
  • Vijesti i aktualnosti: Neki, ali ne svi, LLM-i mogu pristupiti aktualnim temama vijesti. Određeni LLM-ovi, poput GPT-3.5, ograničeni su u tom smislu.
    • instagram viewer
  • Društveni mediji: Društveni mediji predstavljaju ogroman izvor prirodnog jezika. LLM-ovi koriste tekst s velikih platformi kao što su Facebook, Twitter i Instagram.

Naravno, imati ogromnu bazu podataka teksta je jedna stvar, ali LLM-i moraju biti uvježbani da to shvate kako bi dali ljudske odgovore. Kako to radi je ono o čemu ćemo govoriti u nastavku.

Kako funkcioniraju LLM?

Kako LLM-ovi koriste ta spremišta za stvaranje svojih odgovora? Prvi korak je analiza podataka pomoću procesa koji se zove duboko učenje.

Duboko učenje koristi se za prepoznavanje obrazaca i nijansi ljudskog jezika. To uključuje stjecanje razumijevanja gramatike i sintakse. Ali što je još važnije, uključuje i kontekst. Razumijevanje konteksta ključni je dio LLM-a.

Pogledajmo primjer kako LLM mogu koristiti kontekst.

Podsjetnik na sljedećoj slici spominje viđenje šišmiša noću. Iz toga je ChatGPT shvatio da je riječ o životinji, a ne, na primjer, bejzbolskoj palici. Naravno, drugi chatbotovi vole Bing Chat ili Google Bard može odgovoriti na ovo potpuno drugačije.

Međutim, nije nepogrešiv, i kao što ovaj primjer pokazuje, ponekad ćete trebati dostaviti dodatne informacije da biste dobili željeni odgovor.

U ovom smo slučaju namjerno bacili malo krivulje kako bismo pokazali kako se lako gubi kontekst. Ali i ljudi mogu krivo razumjeti kontekst pitanja, a za ispravljanje odgovora potreban je samo dodatni upit.

Kako bi generirali te odgovore, LLM-i koriste tehniku ​​koja se naziva generiranje prirodnog jezika (NLG). To uključuje ispitivanje unosa i korištenje obrazaca naučenih iz njegovog spremišta podataka za generiranje kontekstualno ispravnog i relevantnog odgovora.

Ali LLM-ovi idu dublje od ovoga. Također mogu prilagoditi odgovore kako bi odgovarali emocionalnom tonu unosa. U kombinaciji s kontekstualnim razumijevanjem, dva su aspekta glavni pokretači koji dopuštaju LLM-u da stvori odgovore nalik ljudskim.

Ukratko, LLM-ovi koriste ogromnu tekstualnu bazu podataka s kombinacijom tehnika dubokog učenja i NLG-a za stvaranje ljudskih odgovora na vaše upite. Ali postoje ograničenja onoga što se time može postići.

Koja su ograničenja LLM-a?

LLMs predstavlja impresivno tehnološko dostignuće. Ali tehnologija je daleko od savršene i još uvijek postoji mnogo ograničenja u pogledu onoga što mogu postići. Neki od najznačajnijih od njih navedeni su u nastavku:

  1. Kontekstualno razumijevanje: Spomenuli smo to kao nešto što LLM-ovi uključuju u svoje odgovore. Međutim, ne shvaćaju uvijek ispravno i često ne mogu razumjeti kontekst, što dovodi do neprikladnih ili jednostavno pogrešnih odgovora.
  2. Pristranost: Sve pristranosti prisutne u podacima o obuci često mogu biti prisutne u odgovorima. To uključuje predrasude prema spolu, rasi, zemljopisu i kulturi.
  3. Zdrav razum: Zdrav razum je teško kvantificirati, ali ljudi to uče od ranog djetinjstva jednostavno promatrajući svijet oko sebe. LLM-i nemaju ovo svojstveno iskustvo na koje bi se mogli osloniti. Oni razumiju samo ono što im je pruženo putem podataka o obuci, a to im ne daje pravo razumijevanje svijeta u kojem postoje.
  4. LLM je onoliko dobar koliko i podaci o obuci: Točnost se nikada ne može jamčiti. Stara računalna poslovica "Smeće unutra, smeće van" savršeno sažima ovo ograničenje. LLM-ovi su dobri samo onoliko koliko im kvaliteta i kvantiteta podataka o njihovoj obuci dopuštaju.

Također postoji argument da se etička pitanja mogu smatrati ograničenjem LLM-a, ali ova tema ne spada u opseg ovog članka.

3 primjera popularnih LLM studija

Kontinuirani napredak umjetne inteligencije sada je u velikoj mjeri podržan LLM-ovima. Dakle, iako nisu baš nova tehnologija, sigurno su dosegnuli točku kritičnog zamaha i sada postoji mnogo modela.

Ovdje su neki od najčešće korištenih LLM-ova.

1. GPT

Generative Pre-trained Transformer (GPT) možda je najpoznatiji LLM. GPT-3.5 pokreće platformu ChatGPT korištenu za primjere u ovom članku, dok je najnovija verzija, GPT-4, dostupna putem pretplate na ChatGPT Plus. Microsoft također koristi najnoviju verziju na svojoj platformi Bing Chat.

2. LaMDA

Ovo je početni LLM koji koristi Google Bard, Googleov AI chatbot. Verzija s kojom je Bard prvotno pušten opisana je kao "lite" verzija LLM-a. Snažnija PaLM iteracija LLM-a zamijenila je ovo.

3. BERT

BERT je kratica za Bi-directional Encoder Representation from Transformers. Razlikuju se dvosmjerne karakteristike modela BERT s drugih LLM-ova kao što je GPT.

Razvijeno je još puno LLM-a, a uobičajeni su izdanci glavnih LLM-ova. Kako se budu razvijali, nastavit će rasti u složenosti, točnosti i relevantnosti. Ali što budućnost nosi za LLM?

Budućnost LLM-a

Oni će nedvojbeno oblikovati način na koji komuniciramo s tehnologijom u budućnosti. Brzo prihvaćanje modela kao što su ChatGPT i Bing Chat dokaz je ove činjenice. U kratkom roku, AI vas vjerojatno neće zamijeniti na poslu. Ali još uvijek postoji neizvjesnost o tome koliku će veliku ulogu oni igrati u našim životima u budućnosti.

Etički argumenti možda ipak imaju utjecaj na to kako integriramo te alate u društvo. Međutim, stavljajući ovo na stranu, neki od očekivanih razvoja LLM-a uključuju:

  1. Poboljšana učinkovitost: S LLM-ovima koji sadrže stotine milijuna parametara, oni su nevjerojatno gladni resursa. S poboljšanjima u hardveru i algoritmima, vjerojatno će postati energetski učinkovitiji. Ovo će također ubrzati vrijeme odgovora.
  2. Poboljšana svijest o kontekstu:LLM su samostalni; što više upotrebe i povratnih informacija dobiju, to postaju bolji. Važno je da je ovo bez ikakvog daljnjeg većeg inženjeringa. Kako tehnologija napreduje, to će vidjeti poboljšanja u jezičnim sposobnostima i kontekstualnoj svijesti.
  3. Osposobljeni za specifične zadatke:Alati za sve koji se bave poslom koji su javno lice LLM-ova skloni su pogreškama. Ali kako se razvijaju i kako ih korisnici obučavaju za specifične potrebe, LLM mogu igrati veliku ulogu u područjima poput medicine, prava, financija i obrazovanja.
  4. Veća integracija: LLM bi mogli postati osobni digitalni pomoćnici. Zamislite Siri na steroidima i shvatit ćete. LLM bi mogli postati virtualni asistenti koji vam pomažu u svemu, od predlaganja obroka do rješavanja vaše korespondencije.

Ovo su samo neka od područja u kojima će doktorski studiji vjerojatno postati veći dio našeg načina života.

LLM Transformacija i obrazovanje

LLM otvaraju uzbudljiv svijet mogućnosti. Brz porast chatbota kao što su ChatGPT, Bing Chat i Google Bard dokaz je da se resursi ulijevaju u polje.

Takva proliferacija resursa samo može dovesti do toga da ovi alati postanu moćniji, svestraniji i precizniji. Potencijalne primjene takvih alata su ogromne, a trenutno samo grebemo po površini nevjerojatnog novog resursa.