Kako deluje Googlov nočni pogled in zakaj je tako dober

Ko preberete vso hvale vredno Googlovo novo funkcijo fotografiranja pri šibki svetlobi Night Sight za telefone Pixel, bi vam bilo odpuščeno, če mislite, da je Google pravkar izumil barvni film. Dejansko nočni načini snemanja niso novi in ​​številne osnovne tehnologije segajo v preteklost. Toda Google je naredil neverjetno delo, ko je združil svojo moč v računalniškem slikanju s svojo neprimerljivo močjo v strojnem učenju, da je zmogljivost potisnil mimo vsega, kar je bilo prej viđeno v mobilni napravi. Ogledali si bomo zgodovino fotografiranja z več slikami pri šibki svetlobi, kako jo Google verjetno uporablja, in ugibali o tem, kaj AI prinaša zabavi.

Izziv fotografije pri šibki svetlobi

Vse kamere se spopadajo s prizori ob šibki svetlobi. Brez dovolj fotonov na slikovno piko s prizorišča lahko na sliki zlahka prevladuje šum. Če zaklop pustite dlje odprt, da zbere dovolj svetlobe, da ustvari uporabno sliko, se poveča tudi količina hrupa. Morda še huje, težko je tudi ohraniti ostrino slike brez stabilnega stativa. Povečanje ojačanja (ISO) bo sliko posvetlilo, hkrati pa poveča tudi šum.

Večji slikovni piki, ki jih običajno najdemo v večjih senzorjih, so tradicionalna strategija za reševanje težave. Na žalost so senzorji telefonskih kamer majhni, zaradi česar nastanejo majhne fotografije (slikovne pike), ki dobro delujejo v lepi razsvetljavi, vendar hitro propadejo, ko se svetloba zmanjša.

To omogoča oblikovalcem fotoaparatov dve možnosti za izboljšanje slik pri šibki svetlobi. Prva je uporaba več slik, ki se nato združijo v eno, tišjo različico. Zgodnja uporaba tega v dodatku za mobilne naprave je bil način SRAW dodatka DxO ONE za iPhone. Štiri slike RAW je združil, da je ustvaril eno izboljšano različico. Drugi je uporaba pametne naknadne obdelave (pri nedavnih različicah, ki jo pogosto poganja strojno učenje) za zmanjšanje hrupa in izboljšanje predmeta. Googlov Night Sight uporablja oba.

Multi-Image, Single-Capture

Do zdaj smo že vajeni, da telefoni in kamere združujejo več slik v eno, predvsem za izboljšanje dinamičnega razpona. Ne glede na to, ali gre za tradicionalni niz osvetlitev, kot ga uporablja večina podjetij, ali Googlov HDR +, ki uporablja več kratkotrajnih slik, je lahko rezultat vrhunska končna slika - če lahko artefakti, ki nastanejo pri združevanju več slik gibljive scene, zmanjšati. Običajno to naredimo tako, da izberemo osnovni okvir, ki najbolje predstavlja sceno, in nato vanj združimo uporabne dele drugih okvirjev, da izboljšamo sliko. Tudi Huawei, Google in drugi so pri ustvarjanju uporabili isti pristop telefoto posnetki z boljšo ločljivostjo . Pred kratkim smo ugotovili, kako pomembna je izbira pravilnega osnovnega okvira, saj je Apple svoj snafu 'BeautyGate' razložil kot napako, kjer je bil iz zajetega zaporedja izbran napačen osnovni okvir.

Zato je smiselno le, da je Google v bistvu združil te načine zajemanja več slik, da bi ustvaril boljše slike pri šibki svetlobi. S tem gradi na vrsti pametnih novosti na področju slikanja. Verjetno je, da je aplikacija za Android Marca Levoya GlejInTheDark in njegov članek o ekstremnem slikanju z uporabo mobilnih telefonov iz leta 2015 sta bila vzrok tega prizadevanja. Levoy je bil pionir računalniškega slikanja na Stanfordu, zdaj pa je ugledni inženir, ki se ukvarja s tehnologijo kamer za Google. SeeInTheDark (nadaljevanje njegove prejšnje aplikacije SynthCam iOS) je uporabljal standardni telefon za kopičenje okvirjev, izogibanje vsakemu okvirju, da se ujema z nabrano sliko, nato pa je izvedel različne korake za zmanjšanje šuma in izboljšanje slike, da je ustvaril izjemno končno šibko svetlobo. slike. Leta 2017 je Googlov inženir Florian Kanz na nekaterih od teh konceptov zasnoval, kako pokazati telefon bi lahko uporabili za ustvarjanje slik profesionalne kakovosti tudi pri zelo šibki svetlobi.

Zlaganje več slik pri šibki svetlobi je dobro znana tehnika

Fotografi že od začetka digitalne fotografije nalagajo več sličic, da bi izboljšali zmogljivost pri šibki svetlobi (in sumim, da so nekateri to storili tudi s filmom). V mojem primeru sem to začel delati ročno in kasneje uporabil izvrstno orodje, imenovano Image Stacker. Ker so bili zgodnji DSLR-ji neuporabni pri visokih ISO-jih, je bil edini način za odlične nočne posnetke, da posnamete več okvirjev in jih zložite. Nekatere klasične posnetke, kot so zvezdne steze, je bilo sprva najbolje ujeti tako. Dandanes praksa ni zelo pogosta pri DSLR in brezzrcalnih fotoaparatih, saj imajo sedanji modeli odlične zmogljivosti hrupa z visoko ISO in dolgo izpostavljenostjo. Na svojem Nikonu D850 lahko zaklopko pustim odprto 10 ali 20 minut in še vedno dobim nekaj zelo uporabnih posnetkov.

Zato je smiselno, da bi jim proizvajalci telefonov sledili z uporabo podobne tehnologije. Za razliko od potrpežljivih fotografov, ki snemajo zvezdne steze s stojalom, si povprečen uporabnik telefona želi takojšnje zadovoljstvo in skoraj nikoli ne bo uporabil stativa. Telefon ima zato dodatne izzive, da zajemanje šibke svetlobe poteka dokaj hitro in tudi zmanjša zamegljenost zaradi tresenja fotoaparata - in v idealnem primeru celo zaradi gibanja motiva. Tudi optična stabilizacija slike, ki jo najdemo pri mnogih vrhunskih telefonih, ima svoje meje.

Nisem prepričan, kateri proizvajalec telefonov je najprej uporabil zajem več slik za izboljšanje šibke svetlobe, toda prvi, ki sem ga uporabil, je Huawei Mate 10 Pro. Njegov način Night Shot posname serijo slik v 4-5 sekundah, nato pa jih združi v eno končno fotografijo. Ker Huawei omogoča predogled v realnem času aktiven, lahko vidimo, da v tem času uporablja več različnih osvetlitev, kar v bistvu ustvari več slik v oklepajih.

Levoy v svojem prispevku o izvirnem HDR + navaja, da je več osvetlitev težje poravnati (zato HDR + uporablja veliko enako izpostavljenih okvirjev), zato je verjetno, da Googlov Night Sight, kot je SeeInTheDark, uporablja tudi vrsto okvirjev z enako izpostavljenostjo. Vendar Google (vsaj v različici aplikacije pred izdajo) ne pušča slike v realnem času na zaslonu telefona, zato je to samo špekulacija z moje strani. Samsung je pri Galaxy S9 in S9 + uporabil drugačno taktiko z glavno lečo z dvojno zaslonko. Za izboljšanje kakovosti slike lahko preklopi na impresivno f / 1,5 pri šibki svetlobi.

Primerjava zmogljivosti fotoaparata Huawei in Googla pri šibki svetlobi

Pixla 3 ali Mate 20 še nimam, imam pa dostop do Mate 10 Pro z Night Shot in Pixel 2 s pred izdajo različice Night Sight. Zato sem se odločil, da se primerjam. V seriji testov je Google očitno izkazal Huawei z nižjim šumom in ostrejšimi slikami. Tu je eno ponazoritveno zaporedje:

Slikanje v dnevni svetlobi s Huawei Mate 10 Pro

Slikanje v dnevni svetlobi z Google Pixel 2

Brez načina nočnega posnetka je tukaj tisto, kar lahko fotografirate isti prizor v bližnji temi z Mate 10 Pro. Izbral je 6-sekundni čas zaklopa, ki je prikazan v zamegljenosti.

Različica, posneta v bližnji temi z uporabo Night Shot na Huawei Mate 10 Pro. Podatki EXIF ​​kažejo ISO3200 in 3 sekunde celotnega časa osvetlitve.

Ista scena z uporabo (pred izdajo) Night Sight na Pixlu 2. Natančnejša barva in nekoliko ostrejša. Podatki EXIF ​​kažejo ISO5962 in 1 / 4s za čas zaklopa (verjetno za vsak od mnogih okvirjev). Obe sliki sta bili za uporabo v spletu ponovno stisnjeni v manjšo skupno velikost.

Je strojno učenje del skrivne omake Night Sight?

Glede na to, kako dolgo je bilo nalaganje slik in koliko proizvajalcev fotoaparatov in telefonov je uporabljalo njegovo različico, se je pošteno vprašati, zakaj se zdi, da je Googlov Night Sight toliko boljši kot karkoli drugega. Prvič, tudi tehnologija v originalnem papirju Levoyja je zelo zapletena, zato bi morala leta, ki jih mora Google še naprej izboljševati, imeti dostojno prednost pri vseh drugih. Google pa je tudi dejal, da Night Sight s pomočjo strojnega učenja določa ustrezne barve prizora na podlagi vsebine.

To je precej kul zvok, a tudi dokaj nejasno. Ni jasno, ali segmentira posamezne predmete, tako da ve, da morajo biti enakomerne barve, ali primerno obarva dobro znane predmete ali globalno prepozna vrsto scene tako, kot to počnejo inteligentni algoritmi za samodejno osvetlitev, in se odloči, kako naj bodo takšni prizori na splošno videti (na primer zeleno listje, bel sneg in modro nebo). Prepričan sem, da bomo, ko bo uvedena končna različica in bodo fotografi dobili več izkušenj s to zmogljivostjo, izvedeli več o tej uporabi strojnega učenja.

Drug kraj, kjer bi vam strojno učenje lahko prišlo prav, je začetni izračun izpostavljenosti. Osnovna tehnologija HDR +, na kateri temelji Night Sight, kot je dokumentirano v Googlovem prispevku SIGGRAPH, se opira na ročno označen nabor podatkov iz tisoč vzorčnih prizorov, ki mu pomagajo določiti pravilno izpostavljenost uporabi. To bi se zdelo področje, kjer bi lahko strojno učenje prineslo nekaj izboljšav, zlasti pri razširitvi izračuna osvetlitve na razmere zelo šibke svetlobe, kjer so predmeti na prizorišču hrupni in jih je težko zaznati. Tudi Google je bil eksperimentiranje z uporabo nevronskih mrež za izboljšanje kakovosti slike v telefonu , zato ne bi bilo presenetljivo, če bi začeli opazovati nekatere te tehnike.

Ne glede na kombinacijo teh tehnik, ki jih je uporabil Google, je rezultat zagotovo najboljši način kamere s šibko svetlobo na trgu danes. Zanimivo bo, ko bo družina Huawei P20 predstavila, ali je zmogla svojo lastno možnost Night Shot približati tistemu, kar je storil Google.