巨人网
产经 科技 企业 数据 峰会 快讯

百度又放大招!视觉生成模型 Hallo2 或将落地数字人等场景

2024-10-26来源:InfoQ编辑:瑞雪

作者 | 华卫

近日,百度联合复旦大学等发布 Hallo2,一个可以生成长达数小时且分辨率为 4K 的人物动画的视觉模型。Hallo2 目前已经在 GitHub 平台开源,供全球开发者免费使用和研究,预计将促进视频生成技术的广泛应用和发展。( 项目地址:https://fudan-generative-vision.github.io/hallo2/#/)

Hallo2 发布后,在海外引发了不小的震动。有人惊叹视频生成的长度和分辨率,也有老用户从 Hallo 第一代模型就被圈粉,还有对 Hallo2 开源模型和代码的认可。

Hallo2 备受关注,很重要一个原因是百度和复旦的研究团队解决了人像视频生成一个很大的痛点:如何提升视频生成的时长和质量。

一直以来,生成高质量的人物动画需要耗费大量的时间和人力成本。而百度与复旦联合发布的 Hallo2 的出现,有望彻底改变这一现状,为数字人、电影制作、虚拟助手、游戏开发等领域带来革命性的变化。

Hallo2 是能够实现长达一小时、4K 分辨率的音频驱动人像动画生成模型。通过创新的图像块丢弃、噪声增强和时间对齐等技术,Hallo2 解决了长时视频生成中的外观漂移和视觉不一致问题,支持灵活的语音与文本控制,生成质量达到业内领先水平。

Hallo2 继承了前代 Hallo 模型的创新框架,继续采用基于扩散的生成模型和分层音频驱动视觉合成模块,提高了音频与视觉输出之间的同步精度,并经过改进使得各部分的协同作用更加高效,增强了生成动画的质量和真实感。Hallo2 不仅在图像和视频的质量方面有了显著提升,而且大幅增加了动作的丰富性和多样性。

有行业专家表示,Hallo2 的出现,标志着音频驱动的肖像图像动画技术迈入了新的发展阶段。百度基于长期的视觉技术积累,正在瞄准行业痛点进行针对性研究和场景落地,不仅为开发者提供了强大的工具,也为未来各种应用场景下的动画形象创作带来了新的可能性。

中美经济工作组举行第六次会议
10月25日,中国财政部副部长廖岷在美国华盛顿出席世界银行/国际货币基金组织年会期间,与美国财政部副部长尚博共同主持召开中美经济工作组第六次会议。双方就两国宏观经济形势与政策,应对全球性挑战、包括共同合作帮助…

2024-10-26

《消费者报告》出炉:超半数美国人想试驾电动汽车
从调查结果获悉,清洁能源汽车备受关注,近期到访过汽车经销商的三分之一消费者(34%)表示希望获得混合动力、插电式混合动力或电动汽车的相关信息。尽管有部分消费者(28%)对经销商提供的清洁车辆信息表示非…

2024-10-26

联影医疗:募集资金投入进度与工程投入占比现不同版本,普华永道为审计机构
需要先说明的是,2021-2023年,联影医疗在建工程科目所披露的项目明细中,均未包括项目名称为高端医疗影像设备产业化基金项目(即医疗影像设备项目)的募投项目。 据联影医疗签署日为2022年12月7日的公告…

2024-10-26