[业界新闻]OpenAI的Sora视频生成模型也能用来渲染视频游戏 [复制链接]

　　OpenAI新推出的首个视频生成模型-视频生成模型索拉（Sora）可以完成一些真正令人印象深刻的影片生成壮举。不过，至少从今天晚上发表的一篇技术论文来看，这个模型比OpenAI最初想象的还要厉害。 r_^
]5C\  
wXeJjE%j:3  
　　这篇题为《作为世界模拟器的视频生成模型》（Video generation models as world simulators）的论文由多位OpenAI研究人员共同撰写，揭开了Sora架构关键方面的神秘面纱--例如，Sora可以生成任意分辨率和长宽比（最高1080p）的视频。根据论文所述，Sora能够执行一系列图像和视频编辑任务，从创建循环视频、向前或向后延伸视频到更改现有视频的背景。 Hg]iZ,8?  

wuqB['3  
　　但最吸引笔者的还是Sora"模拟数字世界"的能力，OpenAI的合著者如是说。在一次实验中，OpenAI将Sora放到Minecraft上，让它在控制玩家的同时渲染世界及其动态（包括物理）。 B`%%,SLJ  
Q`h@-6N  
　　Sora在Minecraft中控制一名玩家，并渲染视频游戏世界，请注意，颗粒感是由视频到GIF的转换工具造成的，而不是Sora。图片来源：OpenAIOpenAI o2y #Yk  
fxD|
_  
　　那么，Sora是如何做到这一点的呢？正如NVIDIA高级研究员Jim Fan（通过Quartz）所说，与其说Sora是一个创意引擎，不如说它是一个"数据驱动的物理引擎"。它不仅能生成单张照片或视频，还能确定环境中每个物体的物理特性，并根据这些计算结果渲染照片或视频（或交互式3D世界，视情况而定）。 f,+ONV]5Tt  
<
~5$<L4  
　　合著者写道："这些功能表明，继续扩展视频模型是开发物理和数字世界以及其中的物体、动物和人的高能力模拟器的一条大有可为的途径。" h
_t<J
l  
!E/%Hv1  
　　现在，Sora在视频游戏领域也有其通常的局限性。该模型无法准确模拟玻璃碎裂等基本互动的物理过程。即使在可以建模的互动中，Sora也经常出现不一致的情况，例如在渲染一个人吃汉堡时，却无法渲染汉堡上的咬痕。 7:)$oH  
ra\2BS)X  
　　不过，如果我没看错的话，Sora似乎可以为更逼真（甚至可能是逼真）的程序生成游戏铺平道路。这既令人兴奋，又令人恐惧（考虑到Deepfake的影响）--这也许就是为什么OpenAI选择暂时将Sora关在一个非常有限的访问程序后面的原因。 y?s#pSX;N