?? OpenAI?? ??? ???? ??? ??? ????? ??? ??(Sora)? ?? ???? ????? ?? ?? ???? ???? ?? ???? ????? ???? ???? ???? ???? ?????. ?? ?????? ???? ?? ???? ???? ???? ??? ??? ?????.
?? ??? ????? ???? ?? ?? ??? ?? ?????? ????. ??? ??? ???? ?? ?? ??? ?? ? ??, ?? ???? ??? ??? ???? ?? ?? ??? ? ? ???? ? ???? ??? ?? ??? ??? ?? ?? ? ????? ??????.
(Video generation models as world simulators by OpenAI)
Video generation models as world simulators
OpenAI? ??? ???? ?? ??? ?? ?? ??? ?????, ?? ??? ??, ???, ?? ??? ???? ???? ?? ???? ??? ??? ?? ??(Text-conditional diffusion models)? ????? ???. ?? ? ??? Sora? ?? 1? ??? ???? ??? ? ??? OpenAI? ?? ??? ??? ?? ??? ???? ?? ??? ??? ?? ?????(general purpose simulators)? ???? ? ?? ??? ?? ?? ????? ???.
OpenAI? ??? ?? ???? 2??? ????? (1) ?? ??? ??? ???? ??? ?? ?? ??? ???? ?? ??? ???? ???? ??? (2) Sora? ??? ??? ?? ??? ??? ??? ??? ????. ?? ??? ??? ?? ??? ??? ???? ???? ??? ????.
(?? ?? ??? ????? ? ??? ??? ????? ??????)
?? ?? ??? ??? ?? ?? ??? ?? ???? ?? ??? ?? ??? ??? ???? ??? ??? ????. Sora? ?? ???? ?? ???, ?? 1? ??? ??? ????? ??? ??, ?? ?? ? ???? ???? ???? ??? ? ????.
1. Turning visual data into patches
OpenAI? ??? ??? ???? ?? ??? ?? ?????? ??(generalist capabilities)? ???? ??? ?? ???? ??? ?????. LLM?? ??? ??? ??? ??, ?? ? ??? ???? ????? Sora?? ??? ??(Patches)? ????. ? ??? ??? ??? ???? ????? ?? ??? ???? ? ???? ?? ???? ????? ?? ??????.
OpenAI? ??? ?? ?????, ?? ???? ?? ???? ??? ?? ??(a lower-dimensional latent space)?? ??? ?? ??? ??(spacetime patches)? ??? ???? ???? ??? ???? ??? ?????.
2. Video compression network
OpenAI? ?? ???? ??? ??? ????? ????? ? ????? ?? ???? ???? ?? ???, ????? ??? ???? ??(a latent representation)? ?????. ??? ? ??? ?? ?? ??? ???? ??? ? ???? ?? ??? ??? ?? ??? ?? ???? ???? ??? ??(a corresponding decoder model)? ??????.
3. Spacetime latent patches
??? ?? ???? ????, ????? ??(transformer tokens) ??? ?? ??? ?? ???? ?????. ???? ?? ???? ?????? ??? ? ??? ?????? ?????. ?? ??? ??? ?? ??? ??? ???, ??, ?? ??? ???? ???? ??? ? ????. ?? ??? ???? ???? ??? ??? ??? ???? ???? ??? ???? ??? ???? ? ????.
4. Scaling transformers for video generation
Sora? ?? ??? ??? ????? ?? ???? ??? ???? ??? “???” ??? ????? ?????. ?? ??? ???? ???? ??? ???? ????? ???, ??? ????? ????? ????? ??? ??????. ?? ???? ????? ???? ?? ??? ??? ??(fixed seeds and inputs)? ?? ??? ??? ??? ???, ?? ??? ???? ?? ?? ??? ???? ?????. (?? ???? ???? ???)
5. Variable durations, resolutions, aspect ratios
??? ? ??? ??? ?? ?? ?? ??? ????? ???? ?? ??? ????? ???? ?????? ? ?? ?? ??? ???? ???? ? ?? ??? ?? ? ????.
(1) ??? ???
Sora? ?????? 1920x1080p, 1080×1920 ? ? ??? ?? ???? ???? ? ????. ?? ?? ??? ????? ?? ?? ??? ?? ???? ??? ? ????. ?? ??? ??? ?? ???? ???? ?? ? ?? ??? ???? ??? ??????? ??? ? ????.
(?? ?? ????? ??? ??? ?? ?? ? ??? ??? ?????)
(2) ??? ???? ? ??
?? ?? ???? ?????? ??? ?? ??? ?? ??? ??? ? ????? ???? ?????? ??? ?? ??? ??? ??? ?? ???? ? ? ????. ???? ???? ??? ??(??)? ???? ?????? ??? ???? ???? ??? ??? ??? ?? ?? ???? ???????.
(?? ????? ???)
6. Prompting with images and videos
??? ?? ???? ???? ?? ?? ???? ????? ???? ?? ????. ? ??? ?? ??? ??? ??(looping) ??? ??, ??? ??? ?????, ?? ??? ???? ???? ? ??? ??? ? ??? ?? ??? ??? ? ????.
(1) Animating DALL·E images
??? ???? ????? ???? ????? ???? ??? ? ???, ??? DALL-E 231 ? DALL-E 330 ???? ???? ??? ??? ?????.
(?????? ??? ???? ??? 8? ?? ???? ?????)
(2) Extending generated videos
??? ???? ???? ?? ?? ?? ??? ??? ??? ???? ??? ??? ?? ????. ??? ? ?????? ???? ?? ??? ??? ??? ? ??? ????? ? ?? ???? ?? ??? ???? ?? ??? ???? ?????.
(3) Video-to-video editing
??? ?????? ???? ???? ???? ??? ??? ??????, SDEdit32? Sora? ?????. ? ??? ?? Sora? ??? ???? ???? ??? ?? ??? ??? ? ????.
(4) Connecting videos
??? ???? ? ?? ??? ??? ????? ???? ??? ?? ??? ?? ??? ?? ??? ?? ???? ??? ??? ? ? ????.
(????? ? ??? ?? ??????. 2?? ?? ??? ?? ??? ???? ??? ???? ????? ?????? ????? ?????? ????? ?? ???? ??? ??? ?? Sora? ??? ???? ??????? ??????. ?? ????? ? ? ???? ? ? ??? ??????)
(?? ???? ??? ??? ?? ?? ??? ??? ????? ???? ???? ??? ????? ?????. ??? ??? ???? ?? ???? ??? ??? ??? ?? ???!!)
7. Image generation capabilities
??? ??? ???? ??? ? ?? ?? ???? ??? ??? ????? ??? ??????. ? ??? ?? ??? ??, ??, ??? ?? ??? ?? ???? ?????? ? ????. ??? ??? 3D, ???? ?? ?? ?? ??(any explicit inductive biases) ??? ??? ?? ???? ?????.
? ?? ??? ?? ??? ??? ????.
1>3D consistency
??? ???? ???? ???? ?? ??? ?? ??? 3?? ???? ???? ???? ???.
2>Long-range coherence and object permanence
??? ?? ?? ?? ???? ?? ??? ?? ????? ???? ?? ????? ???? ? ????. ?? ?? ??, ??, ??? ????? ???? ??? ???? ???? ??? ? ????.
3>Interacting with the world.
??? ??? ??? ??? ?? ?? ??? ?????? ? ??? ?? ?? ??? ???? ??? ?? ? ??? ?? ???? ??? ???? ?? ? ?? ??? ?? ? ????.
4>Simulating digital worlds.
??? ??? ??? ?? ???? ????? ?????? ? ????. Minecraft?? ????? ???? ??? ??? ? ?? ??? ???? ???? ? ????.
8. Discussion
???? ??? ??????? ?? ??? ???? ????. ?? ?? ??? ??? ?? ?? ???? ????? ???? ???? ????? ????. ??? ?? ?? ?? ?? ?? ???? ???? ????. ??? ???? ???? ??? ?? ??? ????? ??? ?? ??? ?? ???? ?? ??? ?? ???? ???? ????.
?? ??? ??? ??? ??? ??? ???? ??? ??? ? ??? ??? ? ?? ???? ??, ??, ??? ?? ??? ?????? ??? ?? ??? ???? ?? ?????.
???? ?? ??? ?? ???? ?? ???? ???? ?????. ????? ???? ???? ??? ?? ???? ??? ? ?? ????? ?? ??? ????? ??? ??? ??? ?? ?????. ??? OpenAI? AI ???? ??? ???? ??? ???? ??? ??? ??? ???? ??? ???? ??? ???? ???? ???.
??? ? ? ??? ????? ?? ??? AI ????? ??????? ???? ?? ??? ?? ??? ??? ???? ???? ????? ?? ??? ??? ?????. ?? ?? ??????!!
???? ???
1. ??? AI ???X(Clova X) ?? ???
2. ?? ????(Gemini) ??? ??(ft. ?? ????)
3. ???? ???? AI ??? ??(??????X)
4. Sora : OpenAI ?? ??, ???? ??? ?? ??
5. ?? ???? 1.5 ?? ?? ?? ? Gemini API ??
6. AI?? ??? ??(Moat)? ???
7. ?? ?? AI ?? Sora(??) ?? ??? ?? ??
8. OpenAI CTO, Sora ?? WSJ ???(?? ??, ?? ?)
답글 남기기