FancyVideo

合成运动丰富且时间一致的视频仍然是人工智能领域的一项挑战，尤其是在处理较长的持续时间时。现有的文本到视频 (T2V) 模型通常采用空间交叉注意进行文本控制，等效地指导不同帧的生成而无需特定于帧的文本指导。因此，模型理解提示中传达的时间逻辑并生成具有连贯运动的视频的能力受到限制。为了解决这一限制，我们引入了 FancyVideo ，这是一种创新的视频生成器，它通过精心设计的跨帧文本指导模块 (CTGM) 改进了现有的文本控制机制。具体而言，CTGM 分别在交叉注意的开始、中间和结束时结合了时间信息注入器 (TII)、时间亲和力细化器 (TAR) 和时间特征增强器 (TFB)，以实现特定于帧的文本指导。