AMD PEPS: naujas neuroninių tekstūrų glaudinimo kelias

Įsivaizduokite tekstūrą kaip melodiją. Paprastos koordinatės niūniuoja motyvą. Dabar įsivaizduokite, kad ši melodija iš naujo aranžuojama pagal ciklinę Lisajaus kreivę, todėl joje atsiranda gerokai daugiau harmonikų. Iš esmės būtent tai siūlo AMD pozicinio kodavimo projekcinis mėginių ėmimas, arba PEPS.

Naujas požiūris į pozicinį kodavimą

Tradicinis neuroninis tekstūrų glaudinimas remiasi implicitinėmis neuroninėmis reprezentacijomis, arba INR. Į daugiasluoksnį perceptroną pateikiamos mažo matmens tekstūros koordinatės, o tinklas išmoksta atkurti vaizdo detales naudodamas itin mažai atminties. Pozicinis kodavimas čia yra esminis elementas: jis pakelia koordinates į aukštesnio matmens sinusoidinę erdvę, kad MLP galėtų modeliuoti smulkias detales.

PEPS šį pakėlimą interpretuoja kitaip. Užuot kiekvieną sinusoidinį įterpinį vertinęs kaip atskirą vektorių, AMD metodas šiuos įterpinius atvaizduoja į taškus Lisajaus kreivėse, o tada ima koduotuvo arba tinklo mėginius tuose projektuotuose taškuose. Rezultatas yra išplėstas informacijos daugdaris, su kuriuo gali dirbti INR. Praktikoje tai reiškia, kad modelis gali perteikti turtingesnį tekstūrų turinį nekeisdamas paties tinklo pagrindo.

Silpnoji vieta yra kaina. Daugiau mėginių reiškia daugiau skaičiavimų ir didesnį atminties srautą. AMD bandymai su 9070 XT GPU aiškiai parodo šį kompromisą skaičiais: trijų kanalų 1024 x 1024 tekstūrai sugeneruoti baziniam metodui prireikė 4,32 milisekundės. Grid-PEPS šį laiką padidino iki 5,47 milisekundės. Optimizuotas variantas, pavadintas Grid-PinkPEPS, sumažino papildomą delsą iki 4,86 milisekundės, tačiau bazinio metodo vis tiek neaplenkė. Papildomi ciklai atsiranda dėl papildomų projekcijų ir intensyvesnių atminties prieigų, kurių reikalauja PEPS.

Ši skaičiavimo našta nėra lemiama kliūtis. Tai projektavimo pasirinkimas. Jei svarbiausia yra didžiausias glaudinimo efektyvumas ir mažesnė saugyklos apkrova, PEPS suteikia naują valdymo svertą. Jei prioritetas yra mažos delsos realaus laiko atvaizdavimas, bent kol kas gali būti patrauklesni lengvesni koduotuvai.

Dar vienas įdomus aspektas: šis metodas neapsiriboja spalvinėmis tekstūromis. PEPS galima taikyti pasirašyto atstumo laukams, arba SDF, kurie yra daugelio šiuolaikinių geometrijos ir tūrinio atvaizdavimo sprendimų pagrindas. SDF dažnai reikalauja didelės raiškos tinklų, ryjančių VRAM. Kompaktiška, išraiškinga INR, išsauganti tikslumą, galėtų apčiuopiamai sumažinti atminties spaudimą scenose, kurioms kitu atveju reikėtų milžiniškų tekstūrų ir geometrijos buferių.

Ar PEPS pamatysite kitame Radeon tvarkyklės leidime? Ne iš karto. Tyrimo straipsnis buvo pristatytas I3D konferencijoje ir parodė daug žadančias technines idėjas, tačiau pramonės diegimas paprastai atsilieka nuo mokslinių tyrimų. Nvidia jau yra pateikusi viešų įrankių ir demonstracijų, susijusių su neuroninių tekstūrų darbo eigomis, tačiau nė vienas masinis žaidimas dar nėra išleistas su visa neuroninio tekstūrų glaudinimo sistema. AMD vieša medžiaga tebėra eksperimentinė ir be vartotojams skirto prekės ženklo; savo publikacijose bendrovė vis dar naudoja bendrinius terminus, o ne komercinį pavadinimą.

Verta nepamiršti ir platesnio konteksto. Pramonė vis dar sunkiai juda per tai, ką kai kas vadina RAM apokalipse. Dešimtmečio vidurio vaizdo plokštės su 8 gigabaitais atminties vis dar dažnos, todėl bet kuri technologija, mažinanti atminties naudojimą be drastiškų aparatinės įrangos reikalavimų, turi aiškią praktinę vertę. PEPS patenka tiesiai į šią sritį: išraiškingesnis glaudinimas mainais į didesnę skaičiavimo kainą, o tai gali būti naudingas kompromisas studijoms ir varikliams, gebantiems paskirstyti CPU ir GPU apkrovą.

Galiausiai PEPS atrodo kaip elegantiškas eksperimentas, turintis praktinių pasekmių. Jis pastumia ribas, kaip galima naudoti pozicinį kodavimą, pasitelkdamas šiek tiek geometrijos ir šiek tiek signalų apdorojimo, kad INR gautų daugiau erdvės veikti. Tikėtina, kad sulauksime daugiau straipsnių, daugiau optimizacijų ir lėto, atsargaus perėjimo iš laboratorinių demonstracijų į įrankius bei žaidimų variklius. Kol kas PEPS yra intriguojantis tarpinis taškas kelyje į efektyvesnes turinio kūrimo sistemas, o ne galutinė vartotojams skirta funkcija.