​字节推出 InfinityStar 框架，视频生成速度提升至 58 秒！

近日，字节跳动宣布推出全新 InfinityStar 框架，该框架显著提升了视频生成效率，将生成5秒720p 视频的时间缩短至仅58秒。这一创新不仅提高了生成速度，还通过统一的架构支持多种视觉生成任务，包括图像生成、文本生成视频、视频续写等功能。

InfinityStar 框架的设计基于对视频数据本质的深入理解。与传统模型将视频视为一个统一的3D 数据块不同，InfinityStar 采用了一种时空金字塔模型，显式地将空间尺度与时间维度分开。这一设计使得模型在处理视频时，能够更有效地解耦外观信息与动态运动信息，极大地提高了生成质量。

为了进一步提高生成效率，InfinityStar 引入了知识继承策略，利用一个经过预训练的变分自编码器（VAE）作为基础。通过这种方式，新模型能够快速学习到高质量的视频特征，大大缩短了训练时间和计算资源消耗。

实验表明，InfinityStar 在生成视频时，保持了优良的视觉质量，同时实现了超高的生成速度。该框架的推出，标志着视觉生成技术的一次重要进步，也为未来的长视频生成和多样化任务处理奠定了基础。

github:https://github.com/FoundationVision/InfinityStar

划重点:

- 🚀 InfinityStar 框架将720p 视频生成时间缩短至58秒，显著提高效率。

- 🏗️ 采用时空金字塔模型，实现外观与运动信息的有效解耦，提高生成质量。

- 📈 引入知识继承策略，利用预训练模型加速学习，降低计算成本。