火山引擎在近期举办的视频云技术大会上，推出了一项针对大模型训练视频预处理的创新方案。该方案已被应用于豆包视频生成模型，显示出其在实际应用中的潜力。
火山引擎总裁谭待在会上表示，随着AIGC和多模态技术的发展，用户体验正在发生深刻变化。火山引擎视频云正积极探索AI大模型与视频技术的结合，旨在为企业解决技术、处理链路和业务增长层面的问题。
抖音集团视频架构负责人王悦指出，大模型厂商在视频预处理过程中面临多重挑战，包括庞大的数据集带来的计算和处理成本问题，视频样本质量的不一致，处理链路的复杂性，以及多种异构算力资源的调度和部署难题。
为了应对这些挑战，火山引擎依托自研的多媒体处理框架BMF，发布了这项大模型训练视频预处理方案。该方案能够充分利用Intel的CPU、GPU等不同资源，有效降低模型训练的算力成本。同时，通过算法和工程的优化，实现了对海量视频数据的高质量预处理，提升了模型训练效率。
火山引擎还发布了BMF lite版本，这是一个移动端后处理解决方案，支持端侧大模型接入和算子加速，更加轻量且通用。
豆包视频生成模型PixelDance于9月24日面世，采用DiT架构，并通过创新的扩散模型训练方法，解决了多主体运动复杂交互和多镜头切换的内容一致性难题。目前，该模型已通过火山引擎向企业开放邀测。
