巨人网
产经 科技 企业 数据 峰会 快讯 商业

谷歌DeepMind新成果:CAT4D让普通视频秒变动态3D场景

2025-01-04来源:ITBEAR编辑:瑞雪

近日,科技界迎来了一项创新突破,谷歌DeepMind携手哥伦比亚大学及加州大学圣地亚哥分校的研究团队,成功研发出一款名为CAT4D的人工智能系统。该系统能够将常规视频转化为栩栩如生的动态3D场景,极大地降低了3D内容创作的复杂性与成本,为众多行业开辟了全新的可能性。

CAT4D的工作原理基于先进的扩散模型,它能够从单一视角的视频中生成多视角视图,并构建出可互动的3D场景。用户只需简单操作,即可从任意角度观赏视频中的主体,体验仿佛身临其境的视觉盛宴。以下是CAT4D技术的演示图片:

传统上,要实现类似的3D效果,通常需要多台摄像机同步录制同一场景,过程繁琐且成本高昂。而CAT4D的出现,彻底颠覆了这一现状,它仅需普通的视频素材,便能轻松完成转换。这一技术革新有望在游戏开发、电影制作、增强现实等多个领域引发深刻的变革。

在研发过程中,DeepMind团队面临了数据稀缺的挑战。为了克服这一难题,他们巧妙地结合了真实世界的镜头与计算机生成的内容,形成了包括静态场景多视图图像、单视角视频及合成4D数据在内的丰富训练数据集。通过扩散模型的学习,系统能够在特定时刻从特定角度精准地生成图像。

尽管目前CAT4D系统生成的3D场景长度尚不及原始素材,但其成像质量已远超同类系统,展现出了卓越的性能。这一技术的广泛应用前景令人瞩目。游戏开发者可以利用CAT4D快速创建逼真的虚拟环境,提升游戏体验;电影制作人则能借此技术丰富视觉效果,为观众带来前所未有的观影感受;而AR开发者也能将CAT4D融入工作流程,推动增强现实技术的进一步发展。