Indhold

• Begrænset strømbudget
• Båndbredde og højopløsninger
• Lav latenstid og displaypaneler
• Audio og sensorer
• Udviklere og software
• Pak ind

Vi dykker endelig dybt ind i revolutionen, som nogle måske siger det, med hardware- og softwareprodukter, der findes på markedet, og ressourcer, der strømmer ind for at anspore til nyskabelser. Vi er imidlertid mere end et år siden, da større produktlanceringer i dette rum er, og vi venter stadig på den dræber-applikation for at gøre virtual reality til en mainstream-succes. Mens vi venter, fortsætter nye udviklinger med at gøre virtual reality til en mere bæredygtig kommerciel mulighed, men der er stadig en række tekniske hindringer at overvinde, især i det mobile VR-rum.

Begrænset strømbudget

Den mest indlysende og godt diskuterede udfordring, som mobile virtual reality-applikationer står overfor, er det meget mere begrænsede strømbudget og termiske begrænsninger sammenlignet med dets desktop PC-ækvivalent. At køre intensive grafikapplikationer fra et batteri betyder, at komponenter med lavere effekt og effektiv brug af energi er nødvendige for at bevare batteriets levetid. Derudover betyder nærheden til behandling af hardware til bæreren, at det termiske budget heller ikke kan skubbes højere. Til sammenligning fungerer mobil typisk inden for en grænse på under 4 watt, mens en desktop VR GPU let kan forbruge 150 watt eller mere.

Det er bredt anerkendt, at mobil VR ikke kommer til at matche desktophardware for rå strøm, men det betyder ikke, at forbrugerne ikke kræver fordybende 3D-oplevelser i en skarp opløsning og med høje billedhastigheder.

Det er almindeligt anerkendt, at mobil VR ikke vil matche desktophardware for rå strøm, men det betyder ikke, at forbrugere ikke vil kræve fordybende 3D-oplevelser i en skarp opløsning og med høje billedhastigheder på trods af den mere begrænsede magt budget. Mellem at se 3D-video, udforske 360 ​​graders genskabede placeringer og endda spil, er der stadig masser af brugssager, der er egnede til mobil VR.

Når man ser tilbage på din typiske mobile SoC, skaber dette yderligere problemer, som mindre ofte værdsættes. Selvom mobile SoC'er kan pakke i et anstændigt octa-core CPU-arrangement og en vis bemærkelsesværdig GPU-strøm, er det ikke muligt at køre disse chips ved fuld hældning på grund af både det tidligere forbrug af strømforbrug og termiske begrænsninger. I virkeligheden ønsker CPU'en i en mobil VR-instans at køre i så lidt tid som muligt og frigøre GPU'en til at forbruge hovedparten af ​​det begrænsede strømbudget. Dette begrænser ikke kun de ressourcer, der er tilgængelige til spillogik, fysikberegninger og endda baggrundsmobilprocesser, men lægger også en byrde på væsentlige VR-opgaver, såsom opkald til stereoskopisk gengivelse.

Branchen arbejder allerede med løsninger til dette, som ikke kun gælder for mobil. Multiview-gengivelse understøttes i OpenGL 3.0 og ES 3.0 og blev udviklet af bidragydere fra Oculus, Qualcomm, Nvidia, Google, Epic, ARM og Sony. Multiview muliggør stereoskopisk gengivelse med kun et enkelt opkald snarere end et for hvert synspunkt, hvilket reducerer CPU-kravene og formindsker også GPU-vertexjobbet. Denne teknologi kan forbedre ydelsen med mellem 40 og 50 procent. På mobilområdet understøttes Multiview allerede af et antal ARM Mali- og Qualcomm Adreno-enheder.

En anden innovation, der forventes at vises i kommende mobile VR-produkter, er favoriseret gengivelse. Anvendt i forbindelse med øje-sporingsteknologi letter den eftertragtede gengivelse belastningen på en GPU ved kun at gengive brugerens nøjagtige fokuspunkt i fuld opløsning og reducere opløsningen af ​​objekter i den perifere vision. Komplementerer det menneskelige synssystem pænt og kan reducere GPU-belastningen markant og derved spare strøm og / eller frigøre mere strøm til andre CPU- eller GPU-opgaver.

Båndbredde og højopløsninger

Mens behandlingsstyrken er begrænset i mobile VR-situationer, overholdes platformen stadig de samme krav som andre virtual reality-platforme, herunder kravene til skærmpaneler med lav latens, høj opløsning. Selv dem, der har set VR-skærme, der kan prale af en QHD (2560 x 1440) -opløsning eller Rift-headsetets opløsning på 1080 × 1200 pr. Øje, vil sandsynligvis have været lidt undervurderet af billedets klarhed. Aliasering er især problematisk, i betragtning af at vores øjne er så tæt på skærmen, med kanter der forekommer særlig ru eller taggete under bevægelse.

Mens behandlingsstyrken er begrænset i mobile VR-situationer, overholdes platformen stadig de samme krav som andre virtual reality-platforme, herunder kravene til skærmpaneler med lav latens, høj opløsning.

Brute force-løsningen er at øge skærmopløsningen, hvor 4K er den næste logiske progression. Dog skal enheder opretholde en høj opdateringshastighed uanset opløsning, hvor 60Hz betragtes som det minimale, men 90 eller endda 120Hz er meget mere at foretrække. Dette lægger en stor belastning på systemhukommelsen med overalt fra to til otte gange mere end dagens enheder. Hukommelsesbåndbredde er allerede mere begrænset i mobil VR end i desktop-produkter, der bruger hurtigere dedikeret grafikhukommelse snarere end en delt pool.

Mulige løsninger til at spare på grafisk båndbredde inkluderer brugen af ​​komprimeringsteknologier, såsom ARM og AMD's Adaptive Scalable Texture Compression (ASTC) -standard eller det tabsfri Ericsson Texture Compression-format, som begge er officielle udvidelser af OpenGL og OpenGL ES. ASTC understøttes også i hardware i ARMs seneste Mali GPU'er, Nvidias Kepler og Maxwell Tegra SoC'er og Intels seneste integrerede GPU'er og kan spare på mere end 50 procent båndbredde i nogle scenarier versus brugen af ​​ukomprimerede strukturer.

Brug af teksturkomprimering kan reducere den båndbredde, latenstid og hukommelse, der kræves af 3D-applikationer, i høj grad. Kilde - ARM.

Andre teknikker kan også implementeres.Brug af tessellation kan skabe en mere detaljeret geometri ud fra enklere objekter, omend ved at kræve nogle andre betydelige GPU-ressourcer. Udskudt gengivelse og fremad Pixel Kill kan undgå gengivelse af lukkede pixels, mens Binning / Tiling-arkitekturer kan bruges til at opdele billedet i mindre gitter eller fliser, der hver gengives separat, som alle kan gemme på båndbredde.

Alternativt eller fortrinsvis yderligere, kan udviklere ofre for billedkvalitet for at reducere stress på systembåndbredde. Geometri-densitet kan ofres eller mere aggressiv udskæring bruges til at reducere belastningen, og opløsning af toppunktdata kan sænkes til 16-bit ned fra den traditionelt anvendte 32-bit nøjagtighed. Mange af disse teknikker bruges allerede i forskellige mobile pakker, og sammen kan de hjælpe med at reducere belastningen på båndbredde.

Ikke kun er hukommelse en stor begrænsning i det mobile VR-rum, men det er også en ret stor forbruger af strøm, ofte lig med forbruget af CPU eller GPU. Ved at spare på hukommelse båndbredde og brug, bør bærbare virtual reality-løsninger have længere batterilevetid.

Lav latenstid og displaypaneler

Apropos latensproblemer, indtil videre har vi kun set VR-headset, der sportslige OLED-skærmpaneler, og det skyldes hovedsageligt hurtige pixelskiftetider på under et millisekund. Historisk set har LCD været forbundet med ghosting-problemer med meget hurtige opdateringshastigheder, hvilket gør dem temmelig uegnede til VR. Imidlertid er LCD-paneler med meget høj opløsning stadig billigere at fremstille end OLED-ækvivalenter, så skift til denne teknologi kan hjælpe med at bringe prisen på VR-headset ned til mere overkommelige niveauer.

Bevægelse til foton latenstid skal være under 20ms. Dette inkluderer registrering og behandling af bevægelse, behandling af grafik og lyd og opdatering af skærmen.

Skærme er en særlig vigtig del i den samlede latenstid i et virtual reality-system, hvilket ofte gør forskellen mellem en tilsyneladende og en underparis oplevelse. I et ideelt system bør bevægelse-til-foton-latenstid - den tid, det tager mellem at flytte dit hoved og displayet svare - være mindre end 20 millisekunder. Det er klart, at en 50ms-skærm ikke er god her. Ideelt skal panelerne være under 5ms for også at kunne rumme sensor og behandlings latency.

I øjeblikket er der en omkostningsydelse, der udveksler, der favoriserer OLED, men dette kan snart ændre sig. LCD-paneler med understøttelse af højere opdateringshastigheder og lave svart / hvid-responstider, der gør brug af banebrydende teknikker, såsom blinkende baglygter, kunne passe godt til regningen. Japan Display viste netop et sådant panel sidste år, og vi kan måske se andre producenter annoncerer lignende teknologier også.

Audio og sensorer

Mens meget af de almindelige virtual reality-emner drejer sig om billedkvalitet, kræver fordybende VR også høj opløsning, rumligt nøjagtig 3D-lyd og sensorer med lav latens. På det mobile område skal alt dette gøres inden for det samme begrænsede strømbudget, der påvirker CPU, GPU og hukommelse, hvilket giver yderligere udfordringer.

Vi har tidligere berørt sensorlatensproblemerne, hvor en bevægelse skal registreres og behandles som en del af under 20ms bevægelse-til-foton-latenstidsgrænsen. Når vi overvejer, at VR-headset bruger 6 grader af bevægelse - rotation og gab i hver af X-, Y- og Z-aksen - plus nye teknologier, såsom øjensporing, er der en betydelig mængde konstante data at indsamle og behandle, alt sammen med minimal latens.

Løsninger til at holde denne latenstid så lav som muligt stort set kræver en ende-til-ende tilgang, hvor både hardware og software er i stand til at udføre disse opgaver parallelt. Heldigvis for mobile enheder er brugen af ​​dedikerede laveffekt-sensorprocessorer og altid-til-teknologi meget almindelig, og disse kører med relativt lav strøm.

For lyd er 3D-position en teknik, der længe bruges til spil og sådan, men brugen af ​​en headrelateret overførselsfunktion (HRTF) og konvolveringsrevervbearbejdning, som er nødvendig til realistisk lydkildepositionering, er ret processorintensive opgaver. Selvom disse kan udføres på CPU'en, kan en dedikeret digital signalprocessor (DSD) udføre disse typer processer meget mere effektivt, både med hensyn til behandlingstid og også strøm.

Ved at kombinere disse funktioner med de grafik- og displaykrav, vi allerede har nævnt, er det klart, at brugen af ​​flere specialiserede processorer er den mest effektive måde at imødekomme disse behov. Vi har set Qualcomm udgøre meget af den heterogene beregningsmulighed for dets flagskib og de seneste midterste lag Snapdragon-mobile platforme, som kombinerer en række forskellige behandlingsenheder i en enkelt pakke med funktioner, der egner sig godt til at imødekomme mange af disse mobile VR-behov. Vi vil sandsynligvis se typen af ​​pakker strøm i et antal mobile VR-produkter, inklusive fristående bærbar hardware.

Udviklere og software

Endelig er ingen af ​​disse hardwareudviklinger meget god uden softwarepakker, spilmotorer og SDK'er til støtte for udviklere. Vi kan trods alt ikke have enhver udvikler til at opfinde hjulet til hver applikation igen. At holde udviklingsomkostningerne lave og hastighederne så hurtigt som muligt er nøglen, hvis vi ser en lang række applikationer.

SDK'er er især vigtige for implementering af nøgle VR-behandlingsopgaver, såsom asynkron timewarp, linse forvrængning korrektion og stereoskopisk gengivelse. For ikke at nævne styring af energi, termisk behandling og behandling i heterogene hardwareopsætninger.

Heldigvis tilbyder alle de største producenter af hardwareplatforme SDK'er til udviklere, selvom markedet er et ret fragmenteret, hvilket resulterer i en mangel på support på tværs af platforme. For eksempel har Google sin VR SDK til Android og en dedikeret SDK til den populære Unity-motor, mens Oculus har sin mobile SDK bygget sammen med Samsung til Gear VR. Det er vigtigt, at Khronos-koncernen for nylig afslørede sit OpenXR-initiativ, der sigter mod at tilvejebringe en API til at dække alle de store platforme på både enheds- og applikationsniveau-lag for at gøre det lettere at udvikle tværplatforme. OpenXR kunne se support i sin første virtual reality-enhed engang før 2018.

Pak ind

På trods af nogle problemer er teknologi under udvikling, og til en vis grad allerede her, der gør mobil virtual reality anvendelig til en række applikationer. Mobile VR har også en række fordele, der simpelthen ikke finder anvendelse på desktopækvivalenter, hvilket fortsat vil gøre det til en platform, der er værdig til investering og intriger. Bærbarhedsfaktoren gør mobil VR til en overbevisende platform til multimedieoplevelser og endda let spil uden behov for ledninger, der er tilsluttet en mere kraftfuld pc.

Desuden gør antallet af mobile enheder på markedet, der i stigende grad er udstyret med virtual reality-kapaciteter, det til den valgte platform for at nå den største målgruppe. Hvis virtual reality skal blive en mainstream platform, har den brug for brugere, og mobil er den største brugerbase, som man kan tappe på.