Új Tom és Jerry történetek – AI
Kutatók mesterséges intelligenciát (AI) tanítottak meg a klasszikus Tom és Jerry rajzfilmsorozat összes epizódjának elemzésére, amelynek eredményeként az MI képes új, saját epizódokat generálni. Az MI által létrehozott epizódok hűen tükrözik az eredeti sorozat stílusát és humorát, ugyanakkor új történeteket és jeleneteket kínálnak, amelyek korábban nem szerepeltek a sorozatban.
A Test-Time Training on Video Streams című tanulmányban a szerzők egy új megközelítést mutatnak be a gépi tanulási modellek teljesítményének javítására videóadatokon. A hagyományos tesztelési idő alatti tanulás (Test-Time Training, TTT) során a modell minden egyes tesztpéldány előtt önfelügyelt feladatokon, például rekonstrukción keresztül finomhangolódik. A szerzők ezt a módszert kiterjesztik a streaming környezetre, ahol a videókeretek időrendi sorrendben érkeznek.
Az általuk javasolt online TTT módszer lényege, hogy a modell minden új keret előtt a korábbi keretek kis ablakán és a jelenlegi kereten keresztül finomhangolódik. Ez a megközelítés jelentős teljesítményjavulást eredményezett négy különböző feladaton, három valós adatbázison, beleértve az instance és panoptikus szegmentációt, valamint a színezést. Meglepő módon az online TTT felülmúlta az offline változatot is, amely az egész tesztvideó összes keretét felhasználja, függetlenül az időrendi sorrendtől. Ez a megállapítás kihívást jelent a korábbi, szintetikus videókon végzett kutatások eredményeire.
A tanulmány bevezeti a lokalitás fogalmát, amely az online TTT előnyét formalizálja az offline változattal szemben, és elemzi annak szerepét a bias-variance kompromisszum alapján. A kutatók négy alkalmazást vizsgáltak meg három valós adatbázison: instance és panoptikus szegmentáció a COCO-Videos adatbázison, szemantikus szegmentáció a KITTI-STEP városi vezetési videókon, valamint színezés a COCO-Videos és a Lumière testvérek fekete-fehér filmjein.
