Pet pitanja o Microsoftovom "Project HoloLens"

Oglas

Microsoft je u srijedu ujutro pokazao projekt na kojem rade sedam godina, nazvane slušalice proširene stvarnosti Projekt HoloLens.

Vizija je ambiciozna: žele temeljno promijeniti način interakcije ljudi s računalima gradeći naočale koje mogu fluidno miješati virtualni i stvarni sadržaj zajedno u fizičkom prostoru korisnik. Ovako je tehnologija virtualne stvarnosti Zašto će tehnologija virtualne stvarnosti raznijeti svoj um za 5 godinaBudućnost virtualne stvarnosti uključuje praćenje glave, očiju i izraza, simulirani dodir i još mnogo toga. Ove nevjerojatne tehnologije bit će vam dostupne za 5 ili manje godina. Čitaj više , ali u osnovi moćniji. Nadalje, žele obaviti svu obradu lokalno na naočalama - bez računala, telefona, kabela. Čak su i lansirali posebnu verziju sustava Windows samo za novi hardver. Ovo je sljedeća faza tehnološke evolucije za sve one AR igre Aplikacije proširene stvarnosti: korisno ili jednostavno pretjerano? MakeUseOf TestoviU 2011. analitičari su predviđali porast mobilnih aplikacija Augmented Reality. Nova tehnologija bi promijenila način na koji komuniciramo s našim mobilnim uređajima. Bljesak naprijed dvije godine i deseci AR aplikacija popunjavaju sve ...

Čitaj više instalirali ste na telefon jednom i od tada se niste dirali.

Njihov je vremenski okvir čak ambiciozniji od njihovih ciljeva: ove proljeće žele isporučiti programe za programere, a potrošački proizvod „tijekom vremenskog okvira Windows 10“. Evo ga.

Sve to zvuči sjajno, ali priznajem u prilično visokom stupnju skepse.

Tehnologije koje Microsoft koristi imaju ozbiljne, temeljne izazove i do sada je Microsoft vrlo usko shvaćao kako ih je riješio (ili ako). Ako ih nisu riješili, onda im je vrlo važan cilj otpreme u roku od godinu dana. Posljednje što VR i AR trebaju je velika tvrtka koja isporučuje još jedan polupečeni proizvod poput Kinect-a. Sjetite se Projekt Natal demo iz 2009.?

Bez dodatnih prepucavanja, evo pet najvažnijih stvari koje želim znati o HoloLensu.

Je li ovo svjetlosni prikaz?

Da bismo razumjeli ovo, moramo malo dublje pogledati 3D i kako to funkcionira. Da bismo dobili osjećaj stvarnog, opipljivog 3D svijeta, naši mozgovi integriraju puno različitih vrsta informacija. Dobijamo dubinske signale o svijetu na tri osnovna načina:

• Stereo dubina - nesrazmjer onoga što vide oba naša oka. Lažirajući to, rade 3D filmovi
• Paralaksa pokreta - suptilni pokreti glave i trupa daju nam dodatnu dubinu za otkrivanje predmeta koji se nalaze dalje
• Optički fokus - kada se fokusiramo na nešto, leće naših očiju se fizički deformiraju dok ne dođu u fokus; predmeti u blizini polja zahtijevaju više izobličenja objektiva, što pruža dubinske informacije o onome što gledamo

Optički fokus lako je provjeriti sami: zatvorite jedno oko i podignite palac pred zid preko sobe. Zatim pomaknite fokus sa svoje sličice na površinu koja se nalazi iza njega. Kada gledate prošlost, vaš palac će se pomaknuti iz fokusa jer je leća vašeg oka sada manje deformirana i ne može pravilno sakupljati svjetlost koja dolazi iz njega.

VR slušalice poput Oculus Rift pružaju prva dva znaka vrlo precizno, ali ne i posljednju, što djeluje iznenađujuće dobro: naše su se oči potpuno opuštale jer optika fokusira slike kao kroz svjetlost koja dolazi od beskrajno daleko daleko. Nepostojanje optičkog signala fokus je nerealno, ali obično ne ometa. Još možete vrlo cool igračka iskustva 5 Oculus igrica Oculus Rift koja će vas iznevjeritiSada kada je druga generacija Oculus Rift razvojnog kompleta izašla i u rukama je programera širom svijeta, pogledajmo neke od najboljih stvari koje su dosad pogodile Rift. Čitaj više bez toga.

U proširenoj stvarnosti problem je drugačiji, jer morate miješati svjetlost iz stvarnih i virtualnih objekata. Svjetlost iz stvarnog svijeta prirodno će biti usredotočena na različite dubine. Virtualni će sadržaj, međutim, biti fokusiran na fiksni, umjetni razmak koji diktira optika - vjerojatno na beskonačnost. Virtualni objekti neće izgledati kao da su stvarno dio scene. Neće biti u fokusu kad gledate stvarne u istoj dubini i obrnuto. Nećete moći fluidno pomicati oko prizora dok ga držite u fokusu, kao i obično. Sukobni znakovi dubine bit će u najboljem slučaju zbunjujući, a u najgorem slučaju bolesni.

Da biste to riješili, treba vam nešto što se zove zaslon svjetlosnog polja. Prikazi svjetlosnog polja su zasloni koji koriste niz sićušnih leća za istodobno prikazivanje svjetla na više dubina. To omogućava korisniku da se prirodno usredotoči na zaslon, te (za proširenu stvarnost) rješava gore opisani problem.

No postoji problem: svjetlosno polje prikazuje u osnovi preslikavanje jednog dvodimenzionalnog zaslona na trodimenzionalno svjetlosno polje, što znači da je svaka "dubina" piksela "koji korisnik percipira (a postoji na određenoj žarišnoj dubini u sceni) zapravo se sastoji od svjetlosti iz mnogih piksela na izvorniku prikaz. Što je dubina dubine koju želite prikazati, to se morate odreći što više rezolucije.

Općenito, svjetlosna polja imaju otprilike osam puta smanjenje rezolucije kako bi se dobila odgovarajuća dubinska preciznost. Najbolji raspoloživi mikrodisplavi imaju rezoluciju od oko 1080p. Pod pretpostavkom da jedan mikro-prikazi vrhunskog zvuka pokreću svako oko, stvarna razlučivost Microsoftovih slušalica bila bi samo oko 500 x 500 piksela po oku, manje čak i od Oculus Rift DK1. Ako zaslon ima visoko vidno polje, virtualni će objekti biti neshvatljivi mrlje piksela. Ako se to ne dogodi, uranjanje će srazmjerno patiti. Mi to zapravo nikada ne možemo vidjeti kroz objektiv (samo računalne kreacije onoga što korisnik vidi), tako da nemamo pojma kakvo je stvarno korisničko iskustvo.

Moguće je da je Microsoft pronašao neko novo rješenje za ovaj problem kako bi omogućio upotrebu svjetlosnog prikaza bez kompromisa. Međutim, Microsoft je izrazito sitan u vezi sa tehnologijom prikaza, zbog čega sumnjam da nisu. Ovo je najbolje objašnjenje koje smo dosad dobili (od WIRED demo).

Da biste stvorili Project HoloLens slike, svjetlosne čestice odbijaju se oko milijuna puta u takozvanom svjetlosnom motoru uređaja. Zatim fotoni ulaze u dvije leće naočara, gdje se smještaju između slojeva plavog, zelenog i crvenog stakla prije nego što dođu do stražnjeg dijela vašeg oka.

Ovakav opis tehnologije mogao bi značiti praktički bilo što (premda, pošteno prema Microsoftu, hardver nije impresionirao WIRED, iako je članak bio detaljniji).

Nećemo znati više sigurno dok Microsoft ne počne objavljivati ​​tehničke specifikacije, vjerovatno već mjesecima. Daljnja napomena okupljanju dušika, je li zaista potrebno utopiti projekt u ovolikim marketinškim govorima? Namjenski procesor koji koriste za praćenje glave naziva se "holografski procesor", a slike se bez ikakvog razloga nazivaju "hologrami". Proizvod je u osnovi dovoljno cool da ga zapravo nije potrebno ovako pozlaćivati.

Je li praćenje dobro dovoljno?

Slušalice Project HoloLens na sebi imaju ugrađenu kameru s visokom FOV dubinom (poput Kinect-a), koja koristi za otkrivanje gdje se nalazi slušalice su u svemiru (pokušavajući usmjeriti sliku dubine koju vidi sa svojim modelom svijeta, sastavljenim iz prošle dubine slike). Evo njihovog aktivnog demo radne slušalice u akciji.

Praćenje je impresivno s obzirom da ne koristi markere ili druge varalice, ali čak ni u tom videozapisu (ispod jako kontrolirani uvjeti), možete vidjeti određenu količinu kolebanja: praćenje nije potpuno stabilno. To je za očekivati: ovakvo praćenje iznutra je vrlo teško.

Međutim, velika lekcija iz razni prototipi Oculus Rift Pogledajte nas isprobajte zaliv Oculus Rift Crescent na CES 2015Oculus Rift Crescent Bay potpuno je novi prototip koji pokazuje uzbudljiva poboljšanja u tehnologiji virtualne stvarnosti. Isprobavamo ga na CES 2015. Čitaj više je li tačnost praćenja jako važna. Praćenje nervoze je samo neugodno kad se radi o nekoliko objekata u stvarno stabilnom stvarnom svijetu, ali u scenama poput Marsove demonstracije koju su pokazali u svom konceptu videozapisa u kojem je gotovo sve što vidite virtualno, neprecizno praćenje može dovesti do nedostatka "prisutnosti" na virtualnoj sceni ili čak simulatora bolest. Može li Microsoft do kraja ove godine poslati datum praćenja do standardnog postava Oculus (točnost praćenja pod-milimetra i manje od 20 ms)?

Evo Michael Abrash, VR istraživač koji je radio i za Valve i za Oculus, govoreći o problemu

[Budući da generiranje virtualnih slika uvijek kasni, […], vrlo je teško dobiti virtualne i stvarne slike za registraciju dovoljno usko da ih oko ne primijeti. Na primjer, pretpostavimo da imate pravi Coke limenku koju želite pretvoriti u AR Pepsi limu tako što ćete crtati Pepsi logotip iznad Coke logotipa. Ako je potrebno nekoliko desetaka milisekundi da crtate logotip Pepsi-a, svaki put kada zakrenete glavu učinak će biti taj Čini se da će se Pepsi logotip pomaknuti za nekoliko stupnjeva u odnosu na limenku, a dio logotipa Coke postat će vidljiv; tada će se Pepsijev logotip zaustaviti na pravo mjesto kad se prestanete kretati. Ovo očito nije dovoljno dobro za tvrdi AR

Može li zaslon crtati crno?

Drugi problem, osim fokusne dubine i praćenja, odnosi se na crtanje tamnih boja. Dodavanje više svjetla prizoru relativno je jednostavno, koristeći razdjelnike snopa. Iznošenje svjetla mnogo je teže. Kako selektivno zatamnite dijelove stvarnog svijeta? Postavljanje selektivno prozirnog LCD zaslona neće ga smanjiti, jer blokiranje onoga što gledate ne može uvijek biti u korektnom fokusu. Optički alati za rješenje ovog problema, osim ako ih Microsoft nije izmislio potajno, jednostavno ne postoje.

To je važno, jer za mnoge aplikacije koje Microsoft prikazuje (poput gledanja Netflixa na vašem zidu) slušalice zaista trebaju mogućnost uklanjanja svjetla koje dolazi sa zida ili će u protivnom vaš film uvijek imati vidljivi štukaturni uzorak prekriven njime: bit će nemoguće je da slike blokiraju stvarne predmete u sceni, što korištenje slušalica jako ovisi o ambijentalnoj rasvjeti Uvjeti. Povratak Michael Abrash:

[S] o ništa slično se nije pojavilo u AR industriji ili literaturi, i sve dok se to ne dogodi, tvrdi AR, u SF smislu koji svi znamo i volimo, ne može dogoditi, osim u skoro mraku.

To ne znači da je AR nestao od stola, samo da će neko vrijeme biti mekan AR, zasnovan na aditivnom miješanju […] Opet, mislite proziran poput "Ghostbusters." Virtualne slike visokog intenziteta bez tamnih područja također će funkcionirati, posebno uz pomoć regionalnog ili globalnog zatamnjenja - jednostavno neće izgledati kao dio stvarnog svijet.

Što je sa okluzijom?

"Okluzija" je izraz za ono što se dogodi kad jedan objekt prođe ispred drugog i zaustavi vas da vidite što stoji iza njega. Da bi se virtualni krajolik osjećao poput opipljivog dijela svijeta, važno je da stvarni objekti začepe virtualne objekti: ako držite ruku ispred komada virtualne slike, to ne biste trebali moći vidjeti kroz ruka. Zbog korištenja dubinske kamere na slušalicama, to je zapravo moguće. Ali, ponovno pogledajte demo prikaz:

Općenito, pažljivo kontroliraju kutove fotoaparata kako bi izbjegli da stvarni predmeti prolaze ispred virtualnih. Međutim, kada demonstrator komunicira s Windows izbornikom, možete vidjeti da njezina ruka to uopće ne uključuje. Ako je to izvan dosega njihove tehnologije, to je vrlo loš znak za održivost njihovog potrošačkog proizvoda.

A govoreći o tom korisničkom sučelju ...

Je li ovo stvarno završno sučelje?

Izgleda da je korisničko sučelje koje je Microsoft pokazao u svojim demo videozapisima funkcionira pomoću neke kombinacije pogleda i ruku praćenje za kontrolu kursora u virtualnom prizoru, dok pomoću glasovnih kontrola za odabir između različitih opcije. To ima dvije glavne nedostatke: čini se da izgledate poput malog djeteta u Sjajnom koji razgovara prstom, ali što je još važnije, predstavlja i temeljnu grešku dizajnerske paradigme.

Povijesno su najbolja korisnička sučelja ona koja unose virtualnu intuiciju o svijetu u virtualni svijet. Miš je donio klik, povlačenje i prozore. Dodirno sučelje povuklo je za pomicanje i pomicanje za zumiranje. Obojica su bili kritični u tome što su računala učinila dostupnijima i korisnijima za opću populaciju - jer su u osnovi bili intuitivniji od onoga što se dogodilo prije.

VR i AR vam pružaju puno više slobode kao dizajner: elemente korisničkog sučelja možete smjestiti bilo gdje u 3D prostoru i navesti korisnike da prirodno komuniciraju s njima kao da su fizički objekti. Ogroman broj očitih metafora sugerira sam sebe. Dodirnite virtualni element UI da biste ga odabrali. Zakačite ga na njega i pomaknite ga. Izvucite je iz načina da biste je privremeno spremili. Stisnite ga da biste ga izbrisali. Možete zamisliti izgradnju korisničkog sučelja koje je toliko krajnje intuitivno da ne zahtijeva objašnjenje. Nešto što vaša baka može odmah pokupiti, jer je izgrađeno na temeljima osnovnih fizičkih intuicija koje svi grade tijekom života interakcije sa svijetom. Odvojite trenutak i poslušajte kako ova pametna osoba opisuje koja bi mogla biti sučelje.

Drugim riječima, čini mi se očitim (po meni) da bi trebao biti imerzivno korisničko sučelje barem intuitivno kao i dodirna sučelja koja je iPhone pionirao za 2D multitouch ekrane. Izgradnja sučelja oko manipulacije VR mišem korak je unatrag i izlaže bilo duboku tehnologiju nedostaci u tehnologiji praćenja ruku ili temeljno nerazumijevanje onoga što je zanimljivo u vezi s tim novim srednji. Bilo kako bilo, vrlo je loš znak da je ovaj proizvod više od kolosalnog, flop Kinect razmjera.

Nadamo se da Microsoft ima vremena dobiti povratne informacije o tome i obaviti bolji posao. Kao primjer, evo sučelja koje je dizajnirao jedan hobist za Oculus Rift DK2 i Leap Motion. Barem ovo bi trebao biti imerzivni sučelje koji je dizajnirala velika tvrtka.

Znak stvari koje tek dolaze

U cjelini sam izrazito skeptičan prema HoloLens projektu kao cjelini. Drago mi je da tvrtka s Microsoftovim resursima istražuje ovaj problem, ali brinem se da oni postoje pokušavajući žuriti s proizvodom bez rješavanja nekih kritičnih osnovnih tehničkih problema ili zabijati dobro korisničko sučelje paradigma. HoloLens je znak onoga što dolazi, ali to ne znači da će sam proizvod potrošačima pružiti dobro iskustvo.

Image Credit: ljubaznošću Microsofta