4 primjera koji pokazuju da ne možete vjerovati ZeroGPT-u i drugim alatima za otkrivanje umjetne inteligencije

AI chatbotovi su bez sumnje moćni i korisni alati. Međutim, sposobnost razlikovanja sadržaja koji je stvorio čovjek od sadržaja koji je stvorila umjetna inteligencija postaje istaknuto pitanje.

Za rješavanje ovog problema pojavili su se alati poput ZeroGPT-a. Osmišljeni su za razlikovanje AI i sadržaja koji stvaraju ljudi. Ali rade li?

Pogledajmo pobliže alate za otkrivanje umjetnom inteligencijom i vidimo mogu li razlikovati ljudski tekst od teksta generiranog umjetnom inteligencijom.

Kažu da je dokaz pudinga u jelu. Dakle, isprobajmo neke testove i vidimo koliko su ti alati učinkoviti. Nemoguće je testirati svaki alat, stoga testiramo jedan od najpopularnijih alata—ZeroGPT.

Što se tiče materijala, mislili smo da bi bilo prilično zabavno dati ChatGPT-u priliku da napiše uvod za ovaj članak i zatim ga usporediti s uvodom koji su "generirali ljudi":

Prvi test: Usporedba članka generiranog ljudskim djelovanjem i umjetnom inteligencijom. Uvod

Prvo što smo učinili bilo je natjerati ChatGPT da generira uvod. Unijeli smo naslov i nismo dali dodatne informacije. Napomene radi, za test smo koristili GPT-3.5.

Zatim smo kopirali tekst i zalijepili ga u ZeroGPT. Kao što vidite, rezultati nisu bili sjajni.

Neupadljiv početak, ali ilustrira koliko su AI chatbotovi učinkoviti. Da bismo dovršili test, pustili smo ZeroGPT da analizira nacrt uvoda koji su izradili ljudi.

Barem je ovaj dio ispravan. Sve u svemu, ZeroGPT nije uspio u ovoj rundi. Utvrđeno je da je barem dio uvoda generiranog umjetnom inteligencijom sumnjiv, ali nije istaknuo konkretne probleme.

Test dva: Lažno pozitivan problem

Kako upotreba ChatGPT-a i drugih AI alata raste, povećava se vjerojatnost da ćete znati ili čuti da je netko suočen s tvrdnjama da je njihov rad generirao AI. Ove su optužbe jedan od ozbiljnijih problema s ChatGPT-om i alatima za otkrivanje umjetne inteligencije poput ZeroGPT-a, jer ova vrsta pogreške može naštetiti ugledu i utjecati na život.

Do lažnih pozitivnih rezultata dolazi kada je sadržaj koji je stvorio čovjek netočno označen kao djelo umjetne inteligencije. Kao što pokazuje primjer u nastavku, problem se lako replicira. Zagriženi sam ribolovac pa sam odlučio napisati uvod u zamišljeni članak o ribolovu na Floridi. Zatim sam pustio ZeroGPT da analizira tekst — označio je da je tekst 100% generirao AI.

Da budem iskren, ciljao sam na ovaj rezultat. Držao sam generički tekst i koristio se "prodajnim" jezikom. Ali činjenica da je ovo napisao čovjek ostaje jednako važeća. Ovo nije neugodnost ili nešto na što se može samo slijegnuti ramenima. Pogreške poput ove mogu imati ozbiljne posljedice za pisce, studente i druge profesionalce koji stvaraju pisana djela.

Test tri: Testiranje ZeroGPT-a na fikciji

Za treći test koristit ćemo ChatGPT i zamoliti ga da napiše fikciju. Da bismo to učinili, izradili smo scenarij i potaknuli ChatGPT da napiše kratak uvod u izmišljenu priču.

Bili smo jednostavni i samo smo tražili da napišemo uvod za priču o dva stranca koji se sretnu na željezničkom peronu:

A evo i odgovora ZeroGPT-a:

Kao što je očito iz rezultata, ZeroGPT ne može razlikovati činjenice od fikcije kada se bavi fikcijom!

Test četiri: novinski članci

Postoji nešto uznemirujuće u tome što nas AI može informirati o tome što se događa u svijetu oko nas. Ovo nije uvijek nužno "lažna vijest", jer može biti relevantna i informativna, ali postoje definitivna etička zabrinutost u vezi s umjetnom inteligencijom.

Da budemo pošteni prema ZeroGPT-u, dobro se pokazao u ovom testu. Zamolili smo ChatGPT i Bing Chat da napišu novinske članke o nekoliko tema, a ZeroGPT je svaki put uspio. Primjer u nastavku pokazuje ispravno deklariranje članka generiranog putem Bing Chata kao 100% generiranog umjetnom inteligencijom.

Alat je tako dosljedno označavao svaki članak vijesti kao generiran umjetnom inteligencijom da smo ga odlučili testirati na lažnom članku vijesti koji smo napisali za tu svrhu.

Barem je identificirao neke od članaka kao što ih je stvorio čovjek, ali je više od 70% označio kao generirane umjetnom inteligencijom. Opet, ovdje moramo biti pošteni; ovo je bila prilično osnovna rekonstrukcija članka o Bingu i teško da je bila kvaliteta Pulitzerove nagrade.

Ali poanta ostaje važeća. Ovo je napisao čovjek pomoću istraživanja pronađenog na internetu.

Ne postoji samo jedan razlog iza nedostataka u alatima kao što je ZeroGPT. Međutim, jedan temeljni problem je učinkovitost generativnih AI chatbota. Oni predstavljaju nevjerojatno snažnu tehnologiju koja se brzo razvija i koja ih učinkovito čini pokretnom metom za alate za otkrivanje umjetne inteligencije.

AI chatbotovi neprestano poboljšavaju kvalitetu i "ljudskost" svojih rezultata, a to zadatak čini iznimno zahtjevnim. Međutim, bez obzira na poteškoće, AI strana jednadžbe mora donijeti prosudbu bez ljudskog nadzora.

Alati poput ZeroGPT-a koriste AI za donošenje odluka. Ali AI se ne probudi samo ujutro i zna što treba učiniti. Mora se trenirati, a tu tehnička strana jednadžbe postaje relevantna.

Pristranosti algoritama i podataka o obuci su neizbježne, s obzirom na samu veličinu veliki jezični modeli na kojima se ovi alati obučavaju. Ovo nije problem koji je ograničen na alate za otkrivanje umjetne inteligencije, iste pristranosti mogu uzrokovati generiranje AI chatbota netočni odgovori i AI halucinacije.

Međutim, te se pogreške manifestiraju kao netočne "AI oznake" u alatima za otkrivanje. Ovo teško da je idealno, ali je odraz trenutnog stanja AI tehnologije. Pristranosti svojstvene podacima o obuci mogu dovesti do lažno pozitivnih ili lažno negativnih rezultata.

Drugi čimbenik koji se mora uzeti u obzir je što čini sadržaj generiran umjetnom inteligencijom. Ako se sadržaj generiran umjetnom inteligencijom jednostavno preformulira, je li to sadržaj generiran ljudima ili umjetnom inteligencijom? Ovo predstavlja još jedan veliki izazov - zamagljivanje linija između to dvoje čini definiranje strojno stvorenog sadržaja gotovo nemogućim.

Pogled u budućnost AI detekcije

Ovo može zvučati kao da koristimo alate kao što je ZeroGPT. Ovo nije slučaj; suočavaju se s ogromnim izazovima, a tehnologija je jedva izašla iz pelena. Brzo usvajanje alata kao što je ChatGPT stvorilo je potražnju za otkrivanjem umjetne inteligencije, a tehnologiji treba dati priliku da sazrije i uči.

Ne može se očekivati ​​da će se ti alati sami suočiti s izazovima koje postavljaju chatbotovi. Ali oni mogu odigrati vrijednu ulogu u usklađenim i višestranim naporima da se suoče s izazovima umjetne inteligencije. Oni predstavljaju jedan dio veće slagalice koja uključuje etičke prakse umjetne inteligencije, ljudski nadzor te kontinuirano istraživanje i razvoj.

Izazovi s kojima se ti alati suočavaju zrcalne su slike izazova s ​​kojima se društvo suočava dok se borimo s dilemama povezanima s novim tehnološkim dobom.

AI ili ne AI? To je pitanje

Alati poput ZeroGPT-a su manjkavi, u to nema sumnje. Ali oni nisu bezvrijedni i predstavljaju važan korak dok pokušavamo upravljati i regulirati AI. Njihova točnost će se poboljšati, ali i sofisticiranost umjetne inteligencije za koju su obučeni da detektira. Negdje u sredini ove utrke u naoružanju, moramo pronaći ravnotežu koja je društvu ugodna.

Pitanje — AI ili ne AI? To je više od puke rasprave o tome je li nešto generirano umjetnom inteligencijom ili ne. To je pokazatelj većih pitanja s kojima se društvo suočava dok se prilagođavamo hrabrom novom svijetu umjetne inteligencije.

Za zapisnik, a prema ZeroGPT-u, 27,21% ovog zaključka generirala je umjetna inteligencija. Hmm.