Korištenje lokalnog modela velikog jezika nije za svakoga, ali postoji nekoliko dobrih razloga zašto biste mogli pokušati.
Ključni zahvati
- Manje cenzure: lokalni LLM-ovi nude slobodu raspravljanja o temama koje potiču na razmišljanje bez ograničenja nametnutih javnim chatbotovima, omogućujući otvorenije razgovore.
- Bolja privatnost podataka: korištenjem lokalnog LLM-a, svi generirani podaci ostaju na vašem računalu, osiguravajući privatnost i sprječavajući pristup tvrtkama koje vode javne LLM-ove.
- Izvanmrežna upotreba: lokalni LLM-ovi omogućuju nesmetanu upotrebu u udaljenim ili izoliranim područjima bez pouzdanog pristupa internetu, pružajući vrijedan alat u takvim scenarijima.
Od dolaska ChatGPT-a u studenom 2022., pojam veliki jezični model (LLM) brzo je prešao iz nišnog pojma za AI štrebere u poštapalicu na svačijim usnama. Najveća privlačnost lokalnog LLM-a je mogućnost repliciranja sposobnosti chatbota kao što je ChatGPT na vašem računalu bez prtljage verzije u oblaku.
Postoje argumenti za i protiv postavljanja lokalnog LLM-a na vašem računalu. Prekinut ćemo hype i donijeti vam činjenice. Trebate li koristiti lokalni LLM?
Prednosti korištenja lokalnih LLM-ova
Zašto su ljudi toliko uzbuđeni oko postavljanja vlastitog veliki jezični modeli na njihovim računalima? Koje su neke praktične prednosti osim pompe i prava hvalisanja?
1. Manje cenzure
Kad su se ChatGPT i Bing AI prvi put pojavili na mreži, stvari koje su oba chatbota bila spremna reći i učiniti bile su fascinantne koliko i alarmantne. Bing AI ponašao se toplo i ljupko, kao da ima emocija. ChatGPT je bio spreman upotrijebiti psovke ako ste lijepo zamolili. U to vrijeme, oba chatbota bi vam čak pomogla da napravite bombu ako koristite prave upute. Ovo bi moglo zvučati kao sve nijanse pogrešnog, ali sposobnost učiniti bilo što simbolizirala je neograničene mogućnosti jezičnih modela koji su ih pokretali.
Danas oboje chatbotovi su tako strogo cenzurirani da vam neće pomoći ni da napišete izmišljeni kriminalistički roman s nasilnim scenama. Neki AI chatbotovi ne žele ni razgovarati o vjeri ili politici. Iako LLM-ovi koje možete postaviti lokalno nisu potpuno oslobođeni cenzure, mnogi od njih rado će raditi stvari koje potiču na razmišljanje koje chatbotovi za javnost neće raditi. Dakle, ako ne želite da vam robot drži predavanja o moralu dok raspravljate o temama od osobnog interesa, vođenje lokalnog LLM-a moglo bi biti pravi put.
2. Bolja privatnost podataka
Jedan od primarnih razloga zašto se ljudi odlučuju za lokalni LLM je osigurati da sve što se događa na njihovom računalu ostaje na njihovom računalu. Kada koristite lokalni LLM, to je kao da privatno razgovarate u svojoj dnevnoj sobi - nitko izvana ne može slušati. Bilo da eksperimentirate s podacima o svojoj kreditnoj kartici ili vodite osjetljive osobne razgovore s LLM-om, svi dobiveni podaci pohranjuju se samo na vašem računalu. Alternativa je korištenje javnih LLM-ova kao što je GPT-4, koji nadležnim tvrtkama daje pristup vašim informacijama za chat.
3. Izvanmrežno korištenje
Budući da je internet vrlo pristupačan i pristupačan, izvanmrežni pristup može se činiti kao trivijalan razlog za korištenje lokalnog LLM-a. Izvanmrežni pristup mogao bi postati posebno kritičan na udaljenim ili izoliranim lokacijama gdje je internetska usluga nepouzdana ili nedostupna. U takvim scenarijima lokalni LLM koji radi neovisno o internetskoj vezi postaje vitalan alat. Omogućuje vam da nastavite raditi što god želite bez prekida.
4. Ušteda troškova
Prosječna cijena pristupa sposobnom LLM-u kao što je GPT-4 ili Claude 2 je 20 USD mjesečno. Iako se to možda ne čini alarmantnom cijenom, još uvijek imate nekoliko dosadnih ograničenja za taj iznos. Na primjer, s GPT-4, kojem se pristupa putem ChatGPT-a, zaglavili ste s 50 poruka po ograničenju od tri sata. Ta ograničenja možete prijeći samo tako prelazak na ChatGPT Enterprise plan, što bi potencijalno moglo koštati tisuće dolara. S lokalnim LLM-om, nakon što postavite softver, nema mjesečne pretplate od 20 USD ili ponavljajućih troškova za plaćanje. To je kao da kupujete automobil umjesto da se oslanjate na usluge dijeljenja vožnje. U početku je skupo, ali s vremenom štedite novac.
5. Bolja prilagodba
Javno dostupni AI chatbotovi imaju ograničenu prilagodbu zbog zabrinutosti oko sigurnosti i cenzure. S lokalno hostiranim AI pomoćnikom, možete u potpunosti prilagoditi model svojim specifičnim potrebama. Možete uvježbati pomoćnika na vlasničkim podacima prilagođenim vašim slučajevima upotrebe, poboljšavajući relevantnost i točnost. Na primjer, odvjetnik bi mogao optimizirati svoju lokalnu umjetnu inteligenciju za stvaranje preciznijih pravnih uvida. Ključna prednost je kontrola nad prilagodbom za vaše jedinstvene zahtjeve.
Loše strane korištenja lokalnih LLM studija
Prije nego što se prebacite, morate uzeti u obzir neke nedostatke korištenja lokalnog LLM-a.
1. Intenzivno korištenje resursa
Da biste pokrenuli učinkovit lokalni LLM, trebat će vam vrhunski hardver. Razmislite o snažnim CPU-ima, puno RAM-a i vjerojatno namjenskom GPU-u. Ne očekujte da će prijenosno računalo s proračunom od 400 USD pružiti dobro iskustvo. Odzivi će biti bolno spori, posebno s većim AI modelima. To je poput pokretanja najsuvremenijih videoigara — potrebne su vam snažne specifikacije za optimalnu izvedbu. Možda ćete čak trebati specijalizirana rješenja za hlađenje. Suština je da lokalni LLM-ovi zahtijevaju ulaganje u vrhunski hardver kako bi dobili brzinu i odaziv u kojima uživate na LLM-ovima koji se temelje na webu (ili čak to poboljšali). Računalni zahtjevi s vaše strane bit će značajni u usporedbi s korištenjem usluga temeljenih na webu.
2. Sporiji odgovori i lošija izvedba
Uobičajeno ograničenje lokalnih LLM-ova je sporije vrijeme odziva. Točna brzina ovisi o specifičnom AI modelu i korištenom hardveru, ali većina postavki zaostaje za online uslugama. Nakon što dožive trenutne odgovore od ChatGPT-a, Barda i drugih, lokalni LLM-ovi mogu se osjećati nevjerojatno tromo. Riječi polako izlaze umjesto da se brzo vraćaju. To nije univerzalno točno jer neke lokalne implementacije postižu dobre performanse. No prosječni korisnici suočavaju se s naglim padom zbog brzog internetskog iskustva. Dakle, pripremite se za "kulturni šok" od brzih online sustava do sporijih lokalnih ekvivalenata.
Ukratko, osim ako ne postavljate apsolutnu vrhunsku postavku (govorimo o AMD Ryzen 5800X3D s Nvidia RTX 4090 i dovoljno RAM-a da potopite brod), ukupna izvedba vašeg lokalnog LLM-a neće se usporediti s mrežnim generativnim AI chatbotovima koji ste naviknut.
3. Složena postavka
Implementacija lokalnog LLM-a je složenija od puke prijave za web-baziranu AI uslugu. Uz internetsku vezu, vaš ChatGPT, Bard ili Bing AI račun mogao bi biti spreman za početak slanja upita za nekoliko minuta. Postavljanje potpunog lokalnog LLM skupa zahtijeva preuzimanje okvira, konfiguriranje infrastrukture i integraciju različitih komponenti. Za veće modele ovaj složeni proces može potrajati satima, čak i s alatima koji imaju za cilj pojednostaviti instalaciju. Neki najnoviji AI sustavi još uvijek zahtijevaju duboku tehničku stručnost da bi se pokrenuli lokalno. Dakle, za razliku od plug-and-play modela umjetne inteligencije temeljenih na webu, upravljanje vlastitom umjetnom inteligencijom uključuje značajna tehnička i vremenska ulaganja.
4. Ograničeno znanje
Mnogi lokalni LLM-ovi zaglavili su u prošlosti. Imaju ograničeno znanje o aktualnim događajima. Sjećate se kad ChatGPT nije mogao pristupiti internetu? Kada bi samo mogao dati odgovore na pitanja o događajima koji su se dogodili prije rujna 2021.? Da? Pa, slično ranim ChatGPT modelima, lokalno hostirani jezični modeli često se obučavaju samo na podacima prije određenog graničnog datuma. Kao rezultat toga, nemaju svijest o nedavnim događajima nakon tog trenutka.
