Indhold
Hype til virtuel virkelighed er bestemt død i de sidste par år på grund af en kombination af dyre hardware, ujævn ydeevne og bevægelsessygdom og mangel på brugerindhold. Branchen sidder i øjeblikket inde i lidt af et kylling vs. æg-scenarie, hvor manglen på forbrugere afskrækker investering i avanceret indhold. Mere kraftfuld og omkostningseffektiv VR-hardware til masserne er nødvendig for at bryde dødvandet.
Arm ser efter at overvinde nogle af disse teknologiske forhindringer med sin første displayprocessor nogensinde (DPU) designet specielt til VR: Mali-D77. Kort sagt, Mali-D77 overfører almindelige VR-behandlingsopgaver fra GPU'en, hvilket frigør ressourcer til højere billedhastigheder og hjælper også med at reducere bevægelsessyge.
Inde i armen Mali-D77
Meget af Mali-D77 er baseret på 2017's Mali-D71 til flagskibs smartphones og andre avancerede applikationer. Det har den samme komprimeringsdekoder, lagskalering, HDR-understøttelse og farvestyringsenheder. Imidlertid er det nye design optimeret til at understøtte 3K-opløsninger ved 120fps, med understøttelse af 4K-opløsninger på op til 90fps.
De største ændringer kommer i form af to splinternye hardwareaccelerationsenheder til VR-applikationer. Mali-D77 understøtter linjekorrektion og asynkron timewarp i hardware i stedet for at køre disse algoritmer på GPU. Arm estimerer, at dette kan frigøre ca. 15 procent af GPU-ressourcerne, hvilket kan bruges til at øge billedhastigheden. Flytning af denne belastning til DPU giver også 40 procent båndbreddebesparelse og 180 mW strøm pr. VR-lag. Pæn.
Linsekorrektion er påkrævet i VR-headset for at kompensere for lyskurvaturen på headsetets linser. Barrel Distortion anvendes på hver gengivet ramme for at udligne Pincushion Distortion-effekten af linserne. Tænk på dette som overkompensering eller "omvendt forvrængning", så linseforvrængningen faktisk ender med at vise det rigtige billede. Traditionelt gøres dette på GPU, hvilket tager ekstra cykler og tid. Mali-D77 gør det hele på DPU.
Derudover udfører Mali-D77 kromatisk aberrationskorrektion ved hjælp af en lignende omvendt forvrængningsmetode. Med dette anvendt vises billedfarver korrekt på tværs af hele objektivet, inklusive i hjørnerne, hvor farveseparationsforvrængning kan forekomme.
Hvad er asynkron timewarp?
Linsekorrektion er temmelig selvforklarende, men asynkron timewarp er lidt mere involveret. Her bruger Arm skærmprocessoren til at rotere, skæve og fordreje billeder for at kompensere for brugerens bevægelser, mens den mindsker enhver GPU eller anden displaypipeline-forsinkelse.
Med den nuværende generation af hardware opdateres X, Y, Z-aksens bevægelsessporing synkroniseret med GPU'en, fordi GPU skal gengive ændringen i visningen, hver gang du flytter. Med Asynchronous Timewarp opdateres de to ikke længere sammen. Du kan flytte dit hoved ind mellem GPU-rammeopdateringer, og Mali-D77 kan fordreje den aktuelle ramme, så den passer til din hovedbevægelse.
Dette er en subtil effekt, da den kun varer i en brøkdel af et sekund imellem de gengivne rammer og ikke udrydder behovet for hurtig billedhastighed gengivelse. Imidlertid øger det i væsentlig grad fluiditeten og glatningen af bevægelse og bevægelse, da opdateringer kan forekomme endnu hyppigere end GPU-rammen. Afbrydelsen mellem din krop bevæger sig og at se en visuel opdatering er den førende årsag til bevægelsessygdom i VR, så Mali-D77 kan hjælpe meget i denne henseende.
X, Y, Z-aksens bevægelsesdata føres direkte til Mali-D77 fra CPU'en, idet de fuldstændigt omgår GPU-trinnet. Dette er en meget anden måde at gøre ting på, og som sådan kræves det, at udviklere bruger et nyt sæt udviklingsværktøjer og teknikker. Dette er uden tvivl den største hindring med D77. Heldigvis arbejder Arm ingeniører tæt med initiativer som OpenXR, så vi kunne se en API-meddelelse for forenklet udvikler support i fremtiden.
Samlet set er Arm Mali-D77 en intelligent og logisk progression af den heterogene computereide til at hjælpe med at løse nogle af virtual reality's største hardwareproblemer. Der er stadig andre forhindringer i den trådløse kommunikations-, tracking- og omkostningsdel af VR, der er tilbage at løse, før mainstream-vedtagelse kan genovervejes, men Mali-D77 hjælper med at knække nogle af ydeevneproblemerne.
