Izradite vlastiti "Neuralne slike" s DeepStyle & Ubuntu

Oglas

Neuronske mreže mogu učiniti puno stvari. Mogu protumačiti slike, razumjeti naše glasove 6 Google Now značajke koje će promijeniti način pretraživanja Možda već upotrebljavate Google Now na svom Android uređaju, ali izvlačite li sve što možete? Poznavanje ovih malih značajki može donijeti veliku razliku. Čitaj više , i prevođenje razgovora Kako djeluje Skypeov Star Trek TranslatorNova značajka prevođenja Skypea nudi nešto o čemu su sanjali još od Star Trek - način bez napora za komunikaciju na više jezika. Čitaj više . Ali jeste li znali da se i oni mogu slikati?

Nedavni istraživački rad (pod nazivom „Neuralni algoritam umjetničkog stila„) Započeo je buku internetske rasprave s nekoliko upečatljivih vizualnih primjera. U osnovi rad govori o tehnici osposobljavanja duboka neuronska mreža Microsoft vs Google - Tko vodi utrku umjetne inteligencije?Istraživači umjetne inteligencije ostvaruju opipljiv napredak, a ljudi opet počinju ozbiljno govoriti o AI. Dva titana koji predvode utrku umjetne inteligencije su Google i Microsoft. Čitaj više

odvojiti umjetnički stil od strukture slike i kombinirati stil jedne slike sa strukturom druge. Zaključak svega ovoga je što možete trenirati ogromnu neurološku mrežu da pretvore fotografije u „neuronske“ slike "koje izgledaju kao da su ih naslikali poznati umjetnici -" digitalne krivotvorine ", tako da govoriti.

Evo nekoliko primjera iz članka. Prva slika je original. Kasnije slike nastaju u rezultatima, a slika s koje je stil uzorkovan prikazana je minijaturno.

Izvorni istraživači, nažalost, nisu objavili svoj kod. Međutim, neki su neustrašivi programeri kopirali svoje rezultate tijekom posljednjih nekoliko dana, a njihov je kôd dostupan, open source na Internetu. Sve što trebate za pokretanje je Linux stroj i malo strpljenja.

Danas ću vas provesti kako to učiniti i pokazati vam neke moje vlastite rezultate. To možete smatrati labavim nastavkom našeg Vodič za DeepDream Stvorite vlastite snove o umjetnoj groznici s Googleovim "DeepDream"Jeste li vidjeli škakljive slike kako izlaze iz DeepDream-a? Želite napraviti svoje? Ne tražite dalje! Čitaj više . Malo je komplicirano, ali svatko tko ima Linux uređaj može slijediti - ne treba iskustvo kodiranja.

Svjetlosnu sliku Picassa pretvorio sam u sliku Picassovog stila #DeepStyle! pic.twitter.com/cjkEoIhVcF

- James Blaha (@jamesblaha) 5. rujna 2015

Postavljanje softvera

Prvo, ako vam se ne žuri ili nemate Linux uređaj, još uvijek možete igrati s DeepStyleom koristeći DeepForger Twitter bot (pošaljite mu sliku i stil, a ona će s vremenom odgovoriti na željene rezultate). Ako želite brzo obraditi više slika (i s većom kontrolom nad rezultatima), pročitajte vodič.

Prvo provjerite imate li ažuriranu kopiju Ubuntu (14.04 je ono što sam koristio). Trebali biste imati barem nekoliko dodatnih svirki prostora na tvrdom disku. Više informacija potražite u našem vodiču na dual-boot Ubuntu uz Windows Umorite od Windowsa 8? Kako dualno dizati sustav Windows i UbuntuAko otkrijete da Windows 8 nije baš vaša šalica čaja i nemate izvediv put za ponovnu nadogradnju, možda bi bilo dobro dvostruko podići Linux kako biste imali alternativu ... Čitaj više . I trebat će vam korijenske povlastice, pa se obavezno potrudite prije nego što nastavite.

Osnovni alati

Desno od šišmiša, ovo je projekt otvorenog koda, i to ćemo htjeti imati Git instaliran. Git je onaj zlatni standard za softver za kontrolu verzija Što je Git i zašto biste trebali upotrebljavati kontrolu verzija ako ste programerKao web programeri, puno vremena radimo na lokalnim razvojnim mjestima, a zatim samo prenosimo sve kad završimo. To je u redu kada ste samo vi, a promjene su male, ... Čitaj više . Gotovo svaki projekt otvorenog koda o kojem vrijedi znati domaćin je na Githubu.

Da biste preuzeli i instalirali Git, samo otvorite terminal i upišite "sudo apt-get install git"I slažete se sa zahtjevima instalatora.

Sljedeće: idemo postavi neke alate za osnove potreban da bi softver radio.

Prvo instalirajte Lua. Ovo je jezik na kojem je alat napisan. Prilično je jednostavno. Samo upišite "sudo apt-get install lua5.2I slijedite postupak instalacije.

Drugo, doći ćemo Luarocks. Ovo je alat koji olakšava instalaciju drugih alata (zar ne volite Linux?). Za ovaj upišite "sudo apt-get install luarocks"I slijedite korake instalacije.

Treće, idemo instalirati Luajit. Ovo je upravo pravovremeni prevodilac za Lua koji će nam život učiniti malo jednostavnijim. Samo upišite "sudo apt-get install luajit.”

Zasada je dobro.

Ja sam bot koji stvara krivotvorine na vašim fotografijama u stilu poznatih slikara. Kliknite za upute ispod! pic.twitter.com/3MpThDNwRE

- Duboki krivotvoritelj (@DeepForger) 5. rujna 2015

okviri

Sljedeće korake instalirat ćemo Baklja, znanstveni okvir računalstva i strojnog učenja koji čini okosnicu aplikacije. Nažalost, ovaj se ne može instalirati pomoću apt-get (standardni Ubuntu upravitelj paketa).

Srećom, oni imaju jednoredni instalacijski program koji koristi neku magiju naredbenog retka. Vratite se na svoj terminal i unesite "kovrče -s https://raw.githubusercontent.com/torch/ezinstall/master/install-all | udariti“.

Kada završite, upišite "luajit -ltorch“. Na ovaj će se način pojaviti sučelje baklje i provjeriti je li sve ispravno instalirano.

Izlazite iz toga.

Sad ćemo instalirati loadcaffe - paket neuralne mreže. Jedinu ovisnost instalirajte tako da upišete "sudo apt-get install libprotobuf-dev protobuf-prevoditelj“. Tada sami možete instalirati paket koristeći "sudo luarocks instalirati loadcaffe ".

@Johnicholas Vaša krivotvorina, avec stila škole Rembrandta van Rijna. #Digitalna umjetnost#StyleNetpic.twitter.com/pf0sZxWkaT

- Duboki krivotvoritelj (@DeepForger) 7. rujna 2015

Dvostruka provjera zavisnosti

Na kraju, neke stvari ćemo preventivno ažurirati samo kako bismo osigurali da sve ide glatko.

Unesite "sudo luarocks instalirati sliku"Kako biste bili sigurni da je vaš paket slika ažuriran. Zatim unesite "luarocks instalirati nn"Koji će učiniti isto za vaš nn paket.

Instalacija dubokog stila

Dobro! U ovom smo trenutku spremni sami instalirati softver. Radi čistoće, stvorite novu mapu u vašem kućnom imeniku ("mkdir DeepStyle"). Zatim ga unesite pomoću "cd Deepstyle“. Sada upišite "kloni sudo git https://github.com/jcjohnson/neural-style.git".

Sljedeće, moramo preuzeti model. Napravite šalicu kave ili nešto slično, ovo će potrajati. Natrag na terminal i utipkajte „sudo sh modeli / download_models.sh“. Započet će dugačak, složeni postupak preuzimanja. Ako ne uspije zbog pogreške u dopuštanju, pokušajte sebi dati dozvole za čitanje i pisanje u odgovarajuće mape, koristeći chmod.

'44thats44oars naručila ovo #ProceduralArt#NeuralArt. pic.twitter.com/tbMH7gsvc8

- Duboki krivotvoritelj (@DeepForger) 6. rujna 2015

Korištenje dubokog stila

Ok, dobro je da krenemo. Upotreba softvera prilično je jednostavna.

Provjerite jeste li u Imenik DeepStyle / neuronskog stila u terminalu. Sada će vam trebati neke slike za rad. Preuzmite ih s Interneta (ili što već), a zatim ih kopirajte u Mapa DeepStyle / neuronskog stila pomoću preglednika datoteka.

Sada možete koristiti naredbeni redak za obradu pojedinačnih slika. Format je prilično jednostavan:

th neural_style.lua -style_image YOURPAINTINGHERE.jpg - content_image YOURPHOTOHERE.jpg -gpu -1

(Očigledno, trebat ćete zamijeniti komade u SVIMA CAPS imenima vaših datoteka).

Time će se pokrenuti neuronska mreža. Trajat će oko sat vremena, pljuštajući nove djelomično konvergirane slike svakih nekoliko minuta dok se ne završi. -gpu -1 zastava sprečava da pokuša pristup vašem GPU-u.

Nakon nekoliko sati pokušaja (i nekoliko puta zavirivanja u operativni sustav) nisam uspio dobiti Ubuntu i CUDA da se lijepo igraju sa svojim GPU-om (NVIDIA GTX 970). Ako imate više sreće s tim, poželjet ćete instalirati CUDA i cudann.torch (vidi github repo za više informacija). Ako ne, to je u redu - i dalje će raditi s vašim CPU-om; to će biti samo malo sporije

Ako imate bilo kakvih problema kako ovo sve raditi, samo me pitajte u komentarima, a ja ću dati sve od sebe da vam pomognem.

Rezultati

Evo nekoliko slika koje sam generirao u posljednjih nekoliko dana. Rezultati su pomiješani, ali mnogi od njih su prilično impresivni.

Kliknite ovdje za punu rezoluciju.

Ovo je moj prijatelj Zack na planinarskom putovanju u Yellowstone. Stil proizlazi iz apstraktne slike, koju je stvorio Theresa Paden. Bilo mi je znatiželjno vidjeti kako će sustav raditi koristeći sliku sa apsolutno nikakvom strukturom. Rezultati su prilično uredni i definitivno se mogu vidjeti sličnosti sa stilskom slikom.

Kliknite ovdje za punu rezoluciju.

Ovaj dolazi iz ljubaznosti jednog od mojih najdražih umjetnika, Charlesa Demutha (vidi: Tamjan nove crkve, i Slika 5. u zlatu). Zanimljivo je da je Demuth jedna od glavnih vizualnih inspiracija umjetnosti Tvrđava tima 2 Team Fortress 2: Besplatna igra Steam igra koju morate igratiJe li Team Fortress 2 samo brza igra za testiranje grafike i performansi ili je to vrijedi igrati više puta? Čitaj više , kao što vidite iz slike stila.

Nahranio sam je slikom Jersey Cityja koju sam našao na Wikimediji. Rezultati su... prilično dobri. Nije se pokupio oko ugla Demuthovog stila, ali je zasigurno pokupio mekan, teksturiran izgled i paletu boja.

Kliknite ovdje za punu rezoluciju.

Ovaj je pokušaj generiranja sintetičkog O'Keeffea, pomoću prilične svjetovne slike nekih cvjetova koje sam pronašao. Rezultati su, iskreno, spektakularni. Estetski, ovo je jedan od mojih najdražih rezultata. Bogatstvo boja i oblika O'Keeffea jasno se vidi. Slojeviti rubovi cvjetnih latica postaju rubovi lišća u pozadini. Cvjetovi se sami otapaju u bojama, postajući gotovo apstraktni.

Bilo bi dobro slikati kad bi to učinio čovjek. Vrlo sam kušan potrošiti nekoliko dana na verziju ove verzije veće razlučivosti i uramiti je.

Kliknite ovdje za punu rezoluciju.

Evo moje prijateljice Shannon u kostimu za Noć vještica, u Picassovom tisku. Zanimljivo je da je uređaj odlučio donji dio lica obojiti bijelim (slično kao u rasporedu u Picassovom komadu u boji). Nisam sigurna je li to bila slučajnost ili ne, ali rezultati su upečatljivi. Čini se da je također ispravno identificirala Shannonovu kosu na lijevoj strani i ponovno je nacrtala pomoću boje i crte s kose na slici. Ditto za svoj šešir.

Ovo je jedan od dijelova gdje počinju postajati jasna ograničenja tehnike. Da je Picasso zapravo slikao Shannon, izbacio bi joj strukturu lica i iscrtao crte lica kako bi postigao željeni učinak. Ovaj sustav ne razumije te vrste koncepata visoke razine i može oponašati samo površne aspekte stila, poput tamnih, kutnih linija i palete boja.

Kliknite ovdje za punu rezoluciju.

Prilično izraženo: slika Eiffelovog tornja i Van Goghove slike drugo Zvjezdana noć. Dobar je posao pretvoriti oblak u Van Gogh-ey stilu, unatoč nepostojanju oblaka na originalnoj slici. Također se dobro bavi prevođenjem scene iz dana u noć.

Nisam bila sigurna zašto je odlučila da vrh Fiffelove kule postane vatreni stup. Izgleda cool, ali nije stvarno opravdano iz ulaznih podataka. Tada sam shvatio da stilska slika ima trinaest dugih, okomitih žutih traka u sebi u obliku refleksija u vodi. To je priličan skup, s tako malo podataka o treningu. Jadnica je vjerojatno naučila da bilo koji okomiti kontrast mora biti jedno od tih odraza. Možete vidjeti više tuđih okomitih pruga u oblacima.

Kliknite ovdje za punu rezoluciju.

Ista Van Goghova slika, ali ovaj put sam joj dao nekoliko stvarnih zvijezda da slikaju. U ovom slučaju, stubovi dio maglice Eagle. Sviđaju mi ​​se rezultati - iako, još jednom, možete vidjeti njegovu opsesiju žutim prugama. Svaki okomiti dio stupa postaje svijetla, blještavo žuta linija. Jasno je da je uznemirio i zeleni, što se nije pojavilo u podacima sa treninga, i daje sve od sebe da biste ga se riješili u korist plave i crne.

Tehnologija

Neki su rezultati iz ovoga izuzetno uvjerljivi, mada tehnika ima jasna ograničenja. Neke slike imaju loš sastav, a sustav ima poteškoća s apstraktnijim umjetnicima poput Picassa - koji su voljeli iskriviti njegov predmet i raspršiti njegove značajke. Algoritam uzima svoje kutne crte i sukobljava boje, ali još uvijek je rob piksela vrijednosti slike. Ne shvaća da biste trebali odstupiti predaleko od izvornog materijala.

Ono što me uzbuđuje u svemu tome je što ne mislim da su ta ograničenja temeljna.

Pristup koji se ovdje koristi - osposobljavanje mreže na jednoj slici i pomoću nje za izgradnju druge - u osnovi je vrsta haka. Mreži pruža vrlo malo podataka za rad. Naprednija verzija ove aplikacije koristila bi mrežu koja ima podatke o mnogim slike, a možda čak i stvarne slike, kako bi joj dao puno konteksta oko slike koju pokušava "boja."

Duboko shvaćanje stila može postojati samo u širem kontekstu. Ne možete to dobiti iz jedne slike Dizajn arhitekture koja sustavu daje pristup širim podacima mogao bi mu omogućiti više "Ljudsko" razumijevanje slike i kako umjetnici predstavljaju različite elemente stvarnosti svijet. Takva mreža mogla bi stvoriti apstraktnije slike i bolje kompozicije. Takvi bi algoritmi prestali biti cool igračka (poput ove) i postali bi način proizvodnje stvarne, originalne umjetnosti.

Što je na neki način vrlo osebujna misao.

Izrada vlastitih slika

Ako dobijete razočaravajući rezultat, možete se malo poigrati s opcijama kako biste pokušali ostvariti uvjerljive rezultate. Potpuni popis nalazi se na Githubu. Važni su

• -sadržaj-težina-vrijednost Koliko treba težiti termin rekonstrukcije sadržaja. Zadano je 5e0.
• -style_weight-vrijednost: Koliku težinu dati slici stila. Zadano je 1e2.
• -style_scale - vrijednost: Koliki bi broj slikovnih zakrpa trebao sustav analizirati (veće postaje apstraktnije). Zadano je 1,0.

Nakon što sve postignete na zadovoljstvo, u komentarima objavite svoje najzanimljivije slike. Stvarno me zanima što vi smislite.

Slikovni krediti: slikar ljudskog mozga putem Shutterstoka