U petak su istraživači iz NVIDIA najavio Magic3D - model umjetne inteligencije koji može generirati 3D modele iz tekstualnih opisa. Nakon unosa traga, kao što je "Plava otrovna žaba koja sjedi na lopočima", Magic3D generira 40D mrežasti model s teksturom u boji za otprilike XNUMX minuta. Uz izmjene, dobiveni model može se koristiti u video igrama ili umjetničkim scenama u CGI formatu.
U svom znanstvenom članku NVIDIA vidi Magic3D kao odgovor na DreamFusion, model pretvaranja teksta u 3D koji su Googleovi istraživači najavili u rujnu. Baš kao što DreamFusion koristi model teksta u sliku za stvaranje 2D slike koja se zatim optimizira u volumetrijske NeRF (Neural radiance field) podatke, Magic3D koristi proces u dva koraka koji uzima grubi model stvoren u niskoj rezoluciji i optimizira ga za veću rezoluciju. Prema autorima članka, rezultirajuća Magic3D metoda može generirati trodimenzionalne objekte dvostruko brže od DreamFusiona.
Magic3D također može izvoditi on-the-fly uređivanje 3D mreža. Uz 3D model niske rezolucije i osnovni opis alata, možete promijeniti tekst da biste promijenili rezultirajući model. Magic3D također pokazuje očuvanje istog zapleta tijekom nekoliko generacija (koncept koji se često naziva koherencijom) i primjenu stila 2D slike (kao što je kubistička slika) na 3D model.
NVIDIA nije izdala nikakav Magic3D kod sa svojim istraživačkim radom.
Mogućnost generiranja 3D iz teksta čini se prirodnom evolucijom u modernim difuzijskim modelima, koji koriste neuronske mreže za sintetiziranje novog sadržaja nakon intenzivne obuke na nizu podataka. Tek 2022. godine vidjeli smo pojavu snažnih modela teksta u sliku kao što su DALL-E i Stable Diffusion, kao i rudimentarnih generatora teksta u video iz Googlea i Mete.
Što se tiče Magic3D-a, istraživači koji stoje iza njega nadaju se da će svima omogućiti stvaranje 3D modela bez potrebe za posebnom obukom. Nakon što se usavrši, rezultirajuća tehnologija mogla bi ubrzati razvoj videoigara (i virtualne stvarnosti), a na kraju bi se mogla koristiti u specijalnim efektima za film i televiziju. Na kraju svog članka pišu: "Nadamo se da s Magic3D možemo demokratizirati 3D sintezu i otključati svačiji kreativni potencijal u stvaranju 3D sadržaja."
Možete pomoći Ukrajini u borbi protiv ruskih osvajača. Najbolji način da to učinite je donirati sredstva Oružanim snagama Ukrajine putem Savelife ili putem službene stranice NBU.
Pročitajte također:
- U Švedskoj su naučili kako printati mikroelektroniku na 3D printerima
- Prašina se može koristiti za 3D printanje na Marsu