Kako pokrenuti veliki jezični model na Linuxu (i zašto biste trebali)

Veliki jezični modeli imaju potencijal promijeniti način na koji živite i radite te mogu voditi razgovore i odgovarati na pitanja s različitim stupnjem točnosti.

Da biste ga koristili, obično vam je potreban račun kod pružatelja LLM-a i prijava putem web-mjesta ili namjenske aplikacije. Ali jeste li znali da možete pokrenuti svoj vlastiti veliki jezični model potpuno offline na Linuxu?

Zašto pokrenuti veliki jezični model na Linuxu?

Veliki jezični modeli (LLM) danas su posvuda i mogu obraditi prirodni jezik i dati odgovarajuće odgovore koji vas mogu zavarati da mislite da je čovjek odgovorio. Microsoft izbacuje novu verziju Binga s umjetnom inteligencijom, dok je Alphabet's Bard je sada sastavni dio Google pretraživanja.

Daleko od tražilica, možete koristiti takozvane "AI chatbotove" da odgovarate na pitanja, pišete poeziju ili čak pišete domaću zadaću umjesto vas.

Ali pristupom LLM-u online, ovisite o dobroj volji pružatelja treće strane—koja se može povući u bilo kojem trenutku.

Također ste podložni ograničenjima korištenja. Zamolite OpenAI da napiše erotsku novelu od 6000 riječi koja se odvija u nacističkoj Njemačkoj, na primjer, i dobit ćete odgovor u stilu "Ispričavam se, ali neću moći generirati tu priču za vas."

Sve što unesete online LLM-ima koristi se za njihovu daljnju obuku, a podaci za koje možda želite da ostanu povjerljivi mogu biti izbačeni u budućnosti kao dio odgovora na tuđe pitanje.

Također ste podložni nedostatku usluge jer je sustav preplavljen korisnicima i prisiljen da se pretplatite, tako da možete pristupiti platformi kada je potražnja velika.

Dalai je besplatna implementacija otvorenog koda Metine LLaMa LLM i Stanfordove Alpake. Udobno će raditi na skromnom hardveru i pruža praktično web sučelje i niz brzih predložaka—tako da možete pitati što god želite želite, bez straha da će vam administrator zatvoriti račun, da će LLM odbiti odgovoriti ili će vaša veza pad.

Kada instalirate LLM lokalno na Linuxu, on je vaš i možete ga koristiti kako god želite.

Kako instalirati Dalai na Linux

Najlakši način da instalirate Dalai na Linux je korištenje Dockera i Docker Composea. Ako ih već nemate, pogledajte naš vodič kako to učiniti instalirajte Docker i Docker Compose.

Kad to uklonite, spremni ste za početak instaliranja Dalaija. Klonirajte repozitorij Dalai GitHub i upotrijebite naredbu cd za prelazak u njega:

git klon https://github.com/cocktailpeanut/dalai.git && cd dalai

Da biste pokrenuli Dalai s web sučeljem, prvo napravite datoteku Docker Compose:

docker-compose build

Docker Compose će preuzeti i instalirati Python 3.11, Node Version Manager (NVM) i Node.js.

U sedmoj od devetoj fazi, činit će se da se gradnja zamrzava dok Docker Compose preuzima Dalai. Ne brinite: provjerite svoju propusnost kako biste se uvjerili da se nešto događa i simulirajte evoluciju virtualnih organizama u svom terminalu dok čekaš.

Na kraju ćete se vratiti na naredbeni redak.

Dalai i modeli LLaMa/Alpaca zahtijevaju puno memorije za rad. Iako ne postoje službene specifikacije, dobar okvirni vodič je 4 GB za model 7B, 8 GB za model 13B, 16 GB za model 30B i 32 GB za model 65B.

Modeli Alpaca relativno su mali, s modelom 13B koji doseže skromnih 7,6 GB, ali težine LLaMA mogu biti ogromne: ekvivalentno preuzimanje od 13B ima 60,21 GB, a model 65B zauzimat će epskih pola terabajta na vašem tvrdom disk.

Odlučite koji je model najprikladniji za vaše resurse i upotrijebite sljedeću naredbu da ga instalirate:

docker-compose pokrenuti dalai npx dalai alpaca instalirati 13B

Ili:

docker-compose pokrenuti dalai npx dalai llama instalirati 13B

Postoji mogućnost da su modeli preuzeti putem Dalaija oštećeni. Ako je to slučaj, zgrabite ih iz Lice koje grli umjesto toga.

Nakon što se vratite na naredbeni redak, pokrenite Docker Compose u odvojenom načinu rada:

docker-compose up -d

Provjerite radi li spremnik ispravno pomoću:

docker-compose ps

Ako sve radi kako treba, otvorite web preglednik i unesite lokalni host: 3000 u adresnoj traci.

Zabavite se s vlastitim modelom velikog jezika na Linuxu

Kada se web sučelje otvori, vidjet ćete tekstualni okvir u koji možete upisati svoje upite.

Pisanje učinkovitih upita je teško, a Dalai programeri su vam pomogli da dobijete niz predložaka koji će vam pomoći da dobijete koristan odgovor od Dalaija.

Ovi su AI-Dijalog, Chatbot, Zadano, Uputa, Prepisati, Prevedi, i Tweet-osjećaj.

Kao što biste i očekivali, AI-Dijalog i Chatbot predlošci su strukturirani na način koji vam omogućuje da vodite neku vrstu razgovora s LLM-om. Glavna razlika između njih dvoje je u tome što bi chatbot trebao biti "vrlo inteligentan", dok je AI-Dialog "uslužan, ljubazan, poslušan, pošten i poznaje vlastite granice".

Naravno, ovo je vaša "AI", i ako vam se sviđa, možete promijeniti upit tako da chatbot bude glup, a karakteristike AI-dijaloga "sadističke" i "beskorisne". Na tebi je.

Isprobali smo Prevedi funkcioniraju kopiranjem početnog odlomka vijesti BBC-ja i traženjem od Dalaija da ga prevede na španjolski. Prijevod je bio dobar, a kad smo ga provukli kroz Google Translate da ga vratimo na engleski, ustanovili smo da je prilično čitljiv i da odražava činjenice i osjećaje izvornog djela.

Isto tako, Prepisati predložak je uvjerljivo zavrtio tekst u uvod u novi članak.

The Zadano i Uputa upute su strukturirane tako da vam pomognu postavljati pitanja ili izravno uputiti Dalaija.

Dalaieva točnost odgovora uvelike će varirati ovisno o modelu koji koristite. Model 30B bit će puno korisniji od modela 7B. Ali čak i tada, podsjećate se da su LLM-ovi jednostavno sofisticirani sustavi za pogađanje sljedeće riječi u rečenici.

Ni modeli 7B ni 13B Alpaca nisu mogli dati točan sažetak od 200 riječi kratke priče, "Mačka u Kiša" Ernesta Hemingwaya, a obojica su osmislili temeljito uvjerljive linije radnje i pojedinosti o priči sadržano.

I dok će "korisni, ljubazni, poslušni, pošteni" AI-Dialog koji "zna vlastite granice" i "vrlo inteligentni" Chatbot odbijati kontroverzne upite, Dalaiju možete dati izravnu Uputu ili Zadani zahtjev, a on će napisati što god želite—kako god želite to.

Veliki jezični model na vašem Linux stroju je vaš

Pokretanjem velikog jezičnog modela na vlastitom Linux uređaju, niste predmet nadzora ili povlačenja usluge. Možete ga koristiti kako god smatrate prikladnim bez straha od posljedica za kršenje korporativnih pravila o sadržaju.

Ako su vam računalni resursi mali, možete čak pokrenuti LLM lokalno na skromnom Raspberry Piju.