Indhold
- Sådan fungerer neurale netværk
- Neurale netværk inde i din smartphone
- AI kunne forme fremtiden for fotografering
Foruden beregningsfotografering, højkvalitets kamerahardware og billedsignalprocessorer styres avanceret mobilfotografering i stigende grad af maskinlæringsalgoritmer - også kendt som kunstig intelligens (AI). Denne fotograferingsteknik lover at forbedre kvaliteten i skubbet mod DSLR-lignende kvalitet, mens den tilbyder kreative nye måder at optage og redigere billeder og video på.
Nøglen til maskinlæring er brugen af neurale netværk. Dette er en type algoritme, der ofte sammenlignes med den menneskelige hjerne. Denne sammenligning er trukket ud fra et neuralt netværks evne til at blive trænet gennem brug af data til at genkende mønstre, hvilket gør det muligt at fremstille meget nøjagtige klassifikationer for komplekse datatyper som lyd og billeder.
Når det kommer til fotografering, har evnen til at observere, lære, generere og klassificere en bred vifte af applikationer. Disse applikationer kan omfatte funktioner, som bygger på computertekniske fotografiteknikker til forbedring af efterbehandlingsalgoritmer, software i realtid bokeh med 4K-video eller endda fuldstændigt at udskifte farverne på det tøj, du har på.
Sådan fungerer neurale netværk
Neurale netværk er et enormt komplekst emne, så vi vil kun dække det grundlæggende her. For mere avanceret læsning, se vejledninger her og her.
Neurale netværk består af knudepunkter, som er en betegnelse for, hvor nogle beregninger udføres. Hver knudepunkt kombinerer et input med en vægt, der forstærker eller dæmper betydningen af den bestemte knude. Flere noder fungerer ofte parallelt og skaber et lag af noder, der udfører en større opgave. Dette kan f.eks. Være funktionsdetektion inden for et billede. Flere noder og lag kan sammenfattes og videreføres til andre noder og lag, hvilket danner et dybere netværk med mere kraftfulde funktioner.
Outputet fra hvert knudepunkt og lag skaleres som en sandsynlighedsfunktion. Ved at se på mange forskellige funktioner og attributter, kan et neuralt netværk bedømme input som en sandsynlighedsmatch mod alle de forventede potentielle output. Sådan afgør algoritmer til billeddetektering, om et billede ligner mere en kat eller en appelsin, men du skal fortælle det, hvad det skal se efter først.
Neurale netværk er ikke programmeret helt som traditionelle computeralgoritmer. I stedet trænes de på datasæt, såsom billeder, lydfiler osv. Vægtene på hver knude justeres gradvist over tid via en feedbacksløjfe, baseret på hvor godt netværket gjorde det med at matche input til de rigtige output. Denne gradvise "indlæring" af reglerne tager betydelig forberedelse, tid og computerkraft, men giver fænomenalt nøjagtige resultater.
Neurale netværk inde i din smartphone
Neurale netværk kan køre på en række hardwarekomponenter, herunder CPU- og GPU-dele, der er almindelige i en række computerenheder, inklusive din smartphone. Nogle neurale netværk kan imidlertid kræve mere behandlingskraft, end disse hardwarekomponenter kan give, og dedikeret hardware kan give den nødvendige nødvendige behandling.
Inde i Qualcomm® Snapdragon ™ 855 mobilplatform finder du for eksempel den nyeste Qualcomm® Hexagon ™ 690 digital signalprocessor (DSP), der kan prale af forbedrede Vector-behandlingsenheder og en ny Tensor Accelerator specielt til maskinindlæringsopgaver. Andre Snapdragon Mobile Platforms har også Hexagon DSP-komponenten med forskellige muligheder. Når det er sagt, er neurale net ikke begrænset til kun at køre på DSP på Snapdragon og andre mobile platforme. Den anvendte processor afhænger af arbejdsbyrden.
Qualcomm Snapdragon 855-maskinlæringsforbedringer sammenlignet med den foregående generation
Qualcomm Technologies åbner sine DSP- og maskinlæringsfunktioner for tredjepartsudviklere gennem sin Qualcomm® Neural Processing SDK. Dette gør det muligt for apps at køre neurale net på tværs af en hvilken som helst hardwarekerner inden i en Snapdragon Mobile Platform. F.eks. Bruger Google Pixel-smartphones ind i Hexagon DSP og sin egen Visual Core for at fremskynde dens imponerende HDR + fotograferingsfunktion. Qualcomm Technologies arbejder med softwareleverandører som Arcsoft, Elevoc, Polar, Loom, Mobius, Morpho og mere, og understøtter funktioner, der spænder fra video bokeh til oprettelse af avatar ved hjælp af maskinlæring, der kører på DSP.
AI kunne forme fremtiden for fotografering
Nu ved vi, hvordan neurale netværk fungerer, det vigtige spørgsmål er, hvad det kunne gøre for os og vores fotografier?
Neurale netværk bruges til at forbedre en række almindelige fotografealgoritmer. For eksempel kan støj forbedres med træning for at tilbyde overlegen billedoprydning tilpasset det specifikke kamera eller type skud. Ligeledes kunne et neuralt net ved lavt lys detektere lyse og mørke dele af billedet, hvilket giver mulighed for lys- og farveforbedringer i bestemte dele af scenen.
Tilfælde med mere avanceret brug er i stigende grad almindelige i smartphone-fotografering. Superopløsningszoomer bruger neurale net til at kombinere flere billeder i et enkelt højopløsningsbillede til overlegen digital zoom. Neurale net kan også trænes til nøjagtigt at sy flere fotoeksponeringer sammen til forbedret HDR og natbilleder.
AI-fotografering kan omfatte superopløsningszoom, real-time bokeh og forbedret billedkvalitet.
Video kan også drage fordel af brugen af denne teknologi. Objektdetektion i realtid er designet til at give apps mulighed for at introducere bokeh-effekter af software direkte i videoen, mens du optager. Tilsvarende teknikker understøtter også realtidsbytte og fjernelse af genstande. Dette inkluderer at udskifte baggrunden i en video, ændre eller fjerne farver og endda udskifte tøj eller overlægge digitale avatarer direkte i din video.
Kraften ved neurale netværk og AI-fotografering spænder fra kvalitetsforbedringer til at hjælpe med at lukke kløften på DSLR til kraftfulde kreative værktøjer, der hjælper med at gøre produktionen af unikt indhold til en leg. Uanset hvad er det en magtfuld teknologi, der er grundlæggende for fremtidige forbedringer på vej til mobilfotografering.
Næste: Google Pixel 3 XL international gave!
Indhold sponsoreret af Qualcomm Technologies, Inc.
Qualcomm Snapdragon, Qualcomm Hexagon, Qualcomm Adreno, Qualcomm Spectra, Qualcomm AI Engine og Qualcomm Kryo er produkter fra Qualcomm Technologies, Inc. og / eller dets datterselskaber.
