Tora是一个创新的面向轨迹的扩散变换器（DiT）框架，它整合了文本、视觉和轨迹条件，用于视频生成。Tora由轨迹提取器（TE）、空间-时间扩散变换器和运动引导融合器（MGF）组成。TE将任意轨迹编码成具有层次性的时空运动补丁，MGF将这些运动补丁集成到DiT块中，以生成遵循轨迹的连贯视频。Tora的设计完全符合DiT的可扩展性，允许精确控制视频内容的动态，包括不同的持续时间、宽高比和分辨率。

产品亮点：

• 轨迹控制视频生成：Tora能够根据给定的轨迹条件生成视频。

• 多条件集成：同时处理文本、视觉和轨迹信息，提高视频生成的准确性和多样性。

• 3D视频压缩网络：使用3D视频压缩网络编码轨迹，保留连续帧之间的运动信息。

• 运动引导融合器：利用自适应归一化层将多级运动条件无缝注入DiT块中。

产品介绍：Tora通过其独特的架构，为视频生成领域带来了新的突破。它不仅能够生成高质量的视频内容，还能够精确控制视频中的运动轨迹，使其符合用户的特定需求。

技术方法：

• 轨迹提取器（TE）：使用3D运动VAE将轨迹向量嵌入到与视频补丁相同的潜在空间中，有效保留连续帧之间的运动信息。

• 空间-时间DiT：处理视频数据的空间-时间维度，生成连贯的视频内容。

• 运动引导融合器（MGF）：利用自适应归一化层将提取的多层次运动特征注入到DiT块中，确保生成的视频始终遵循预定义的轨迹。

行业应用：

• 电影制作：在电影制作中生成具有特定运动轨迹的视频片段。

• 游戏开发：为游戏创建动态背景和动画，提供更加真实的游戏体验。

• 虚拟现实：在虚拟现实应用中生成符合用户动作的视频内容。

• 安全监控：分析监控视频中的运动轨迹，提高安全监控的效率。

技术优势：

• 高运动保真度：Tora在实现高运动保真度方面表现出色，能够精确模拟现实世界中的运动。

• 多样化模拟：能够细致模拟物理世界的动态变化。

• 可扩展性：与DiT的可扩展性相一致，支持高分辨率、运动可控的视频生成。

Tora作为一个面向轨迹的DiT框架，为视频生成领域提供了一个强大的工具，它不仅能够提升视频内容的质量，还能够根据轨迹条件精确控制视频中的运动轨迹。通过Tora，用户可以轻松创建具有复杂运动和动态变化的视频内容。