San Franciscos asuv tehisintellekti idufirma Luma AI teatas eelmisel nädalal oma uue ja võimsa tehisintellekti süsteemi Dream Machine väljatoomisest, mis suudab lihtsatest tekstikirjeldustest genereerida kõrgekvaliteedilisi videoid. Kui tahad mõne oma pildi liikuma panna, siis saab ka selle ette sööta, lisades kirjelduse, mis liikumist tahad näha.
See tehnoloogia avab enneolematu võimaluse toota ka päris võhikutel originaalset videomaterjali erakordse kiiruse ja ulatusega. Parim aga on see, et erinevalt bnäiteks OpenAI Sora teenusest on Luma Dream Machine kõigile kättesaadav juba täna ja teatud ulatuses isegi tasuta (ehkki siis peab kaua ootama ja praegu saab luua vaid kümme klippi päevas ja 30 kuus).
Dream Machine laseb kasutajatel sisestada kirjeldava teksti samamoodi, nagu suheldakse mõne vestlusrobotiga, nagu ChatGPT. Näiteks "Karjatatavad lehmad liiguvad aeglaselt üle idüllilise heinamaa, kaamera jälgib neid kõrvalt sujuvalt liikudes." - selle näite pakkus Luma ise välja, mida see teebki, kui endal on mõtted otsas.
Praegu umbes kümne minutiga luuakse realistlik viiesekundiline videoklipp, mis vastab täpselt kirjeldusele. Varajased beetatestijad on juba kiitnud süsteemi võimet väga täpselt renderdada määratud objekte, tegelasi, tegevusi ja keskkondi, säilitades samas sujuva liikumise ja sidusa jutustuse.
Arvutimaailma esimestes testides esines muidugi ka praaki: inimeste käed tunduvad endiselt pildi- ja videogeneraatoritele üsna raske pähkel olevat. Küll eksitakse sellega, kuidas inimeste liigesed liiguvad, küll läheb sassi sõrmede arv. Kuid loodusvaateid ja lihtsamaid liikumisi teeb tõesti masin lausa jahmatavalt tõetruult. Eks peabki mitu korda proovima, kui tahad paremat tulemust saada.
Dream Machine’i konkureerivad süsteemid nagu OpenAI Sora ja Kuaishou Kling on näidanud samuti väga muljetavaldavaid võimeid, kuid need on praegu kättesaadavad vaid valitud partneritele ja profivideograafidele.
Avatud lähenemine võib anda Luma AI-le turul edumaa, luues oma platvormi ümber suurema loomeinimeste ja arendajate kogukonna.
Valdkond on muidugi alles alles algusjärgus ning isegi kõige arenenumad süsteemid nagu Dream Machine, Sora ja Kling võivad teatud sisenditega hätta jääda või toota veidraid väljundeid. Samuti on juba Luma puhul tekkinud suured probleemid tohutu arvutusvõimsuse ja treeningandmetega, mida tipptasemel mudelite ehitamiseks vaja on. teenuse väljatuleku järel oli see mitu päeva tõsiselt üle koormatud ja kasutajate tellimused pandi tundidepikkusse ootejärjekorda. Muidugi saab valida ka tasulise teenuse ja pääseda eelisjärjekorda. Hind algab 24 dollarist kuus.
Kuna tööriistad nagu Dream Machine muudavad realistliku videomaterjali loomise lihtsamaks kui kunagi varem, tõstatavad need ka hulgaliselt keerulisi eetilisi ja juriidilisi küsimusi, mis on alles lahendamisel. Kuritarvitamise potentsiaal on märkimisväärne, alates deepfake'ide ja väärinfo loomisest kuni intellektuaalomandi õiguste rikkumiseni.
Arvutimaailmal on oma tehisaru poolt loodud modell (kasutatud mudel Realistic Vision, LoRa, Stable Diffusion, ChatGPT tekstianalüüs jne), mis astub üles erinevate lugude illustreerijana. Proovisime siis Luma teenusega seda ka liikuma panna.
Algne foto on selline:
Mida siis modell tegema peaks? Kirja sai pandud, et ta pöördub ekraani poole ja hakkab midagi arvutisse sisestama - tüüpiline stseen arvutiteema jaoks.
Ooteaeg on praegu päris pikk, videoklipp valmis ligi kahe tunniga. Eks ka meie siin anname hagu tulle, ülekoormus uute huvilistega aina suureneb.
Tehisintellekti loodud filmid on seega nüüd vaid mõne hiireklõpsu kaugusel ja stseenide piiriks on vaid fantaasia. Pane siga lendama või kala jalgrattaga sõitma ning butafooriat pole enam vaja. Inimeste tegemised vajavad masinal veel õppimist, eriti nägude liikuma panek, aga loodus ja tehnika kulgevad päris sujuvalt. Eriti siis, kui oma pilti ette ei anna ja lased vaid masina enda fantaasial lennata:
This is wild.
Luma AI just dropped Dream Machine that generates AI video from text and image.
Unlike Sora, it's open to public today.
The quality is insane.
1. @KakuDroppic.twitter.com/2nimleuKY4
— Min Choi (@minchoi) June 12, 2024
Muide, neid paariminutilisi klippe saab Lumas ka pikendada, valides klipi alt nupu "Extend". Siis mõeldakse mingi hulk liikumist juurde.
Kui teha nüüd Lumaga videoklipp ilma pilti ette andmata sama kirjeldusega, siis saab tulemuseks sellise klipi: