SkyReels V2:开启无限长度电影生成新纪元
嘿,各位影视爱好者和科技达人!今天咱们要聊聊一个超厉害的玩意儿——SkyReels V2,这可是个能生成无限长度电影的神奇模型。你能想象吗?以后再也不用愁电影不够长啦,想让故事怎么发展就怎么发展!
一、SkyReels V2登场
看,这就是SkyReels V2的标志,是不是感觉科技感满满?就像一扇通往未来影视世界的大门。
在这个项目的仓库里,咱们能找到无限长度电影生成模型的权重和推理代码。这就好比是给咱们提供了一套打造梦幻电影的神奇工具包,只要你有想法,就能用它创造出独一无二的影视佳作。
二、最新消息大揭秘
2025年4月21日:惊喜大放送
哇塞,这一天可不得了!SkyReels-V2系列模型的推理代码和模型权重闪亮登场啦,就像一群超级英雄集体亮相,瞬间吸引了无数人的目光。同时,还有视频字幕模型SkyCaptioner-V1也跟着一起和大家见面了。这就好比是给电影制作配上了一位贴心的解说员,让电影的故事更加清晰易懂。
2025年4月3日:开源新突破
这天,SkyReels-A2也来凑热闹了。这可是一个开源的可控视频生成框架,它就像一个神奇的魔法盒,能把任意的视觉元素组合在一起。想象一下,你可以随心所欲地把各种奇思妙想变成现实中的视频画面,是不是超酷?
三、精彩演示先睹为快
来,咱们一起看看这几个精彩的演示视频。画面里,一个个30秒的视频就像一颗颗璀璨的宝石,闪耀着SkyReels-V2扩散强制模型的魅力。你瞧,那些画面栩栩如生,仿佛把你带到了另一个世界。说不定,这里面就藏着你未来电影的灵感呢!
四、未来计划展望
已完成的成就
-
技术报告:这就像是一本神秘的秘籍,里面详细记载了SkyReels V2的各种奥秘。只要你有耐心去研读,就能掌握其中的精髓。 -
14B和1.3B模型系列的检查点:这些检查点就像是游戏里的存档点,让模型的训练和使用更加稳定可靠。有了它们,咱们在制作电影的道路上就能少走很多弯路。 -
单GPU和多GPU推理代码:不管你是只有一块显卡的“小玩家”,还是拥有多块显卡的“大土豪”,都能轻松使用SkyReels V2进行推理。这就好比是给不同装备的战士都配备了合适的武器,让大家都能在影视创作的战场上大显身手。 -
视频字幕模型SkyCaptioner-V1:前面咱们也提到过,它就像电影的贴心解说员,能让观众更好地理解电影的故事。有了它,即使是无声的电影也能传递出丰富的情感。 -
提示增强器:这个东西就像是一个灵感小助手,能帮助你想出更棒的创意和提示,让生成的电影更加精彩。
未完成的目标
不过呢,SkyReels V2还有一些小目标等着去实现。比如说,和Diffusers的集成,这就像是给模型穿上了一件更强大的铠甲,让它的功能更加完善。还有5B模型系列的检查点、相机导演模型的检查点以及步骤和指导蒸馏模型的检查点,这些就像是未来的宝藏,等着开发者们去挖掘。相信在不久的将来,这些目标都会一一实现,SkyReels V2也会变得更加强大!
五、快速上手教程
安装步骤
首先,咱们得把这个神奇的仓库克隆到自己的电脑上。就像从远方把宝藏运回家一样,只需要在命令行里输入下面这行代码:
git clone https://github.com/SkyworkAI/SkyReels-V2
cd SkyReels-V2
然后,安装一下所需的依赖。这里要注意哦,测试环境用的是Python 3.10.12,所以最好也用这个版本,这样就不会出什么岔子啦。安装依赖也很简单,只需要输入:
pip install -r requirements.txt
模型下载
接下来,就是下载模型啦。咱们可以从Hugging Face这个大宝藏库里下载所需的模型。这里有好多不同类型和版本的模型,就像一个装满各种美味糖果的糖果店,让人眼花缭乱。
类型 | 模型变体 | 推荐高度/宽度/帧数 | 链接 |
---|---|---|---|
扩散强制 | 1.3B – 540P | 544 * 960 * 97f | 🤗 Huggingface 🤖 ModelScope |
扩散强制 | 5B – 540P | 544 * 960 * 97f | 即将推出 |
扩散强制 | 5B – 720P | 720 * 1280 * 121f | 即将推出 |
扩散强制 | 14B – 540P | 544 * 960 * 97f | 🤗 Huggingface 🤖 ModelScope |
扩散强制 | 14B – 720P | 720 * 1280 * 121f | 即将推出 |
文本到视频 | 1.3B – 540P | 544 * 960 * 97f | 即将推出 |
文本到视频 | 5B – 540P | 544 * 960 * 97f | 即将推出 |
文本到视频 | 5B – 720P | 720 * 1280 * 121f | 即将推出 |
文本到视频 | 14B – 540P | 544 * 960 * 97f | 🤗 Huggingface 🤖 ModelScope |
文本到视频 | 14B – 720P | 720 * 1280 * 121f | 🤗 Huggingface 🤖 ModelScope |
图像到视频 | 1.3B – 540P | 544 * 960 * 97f | 🤗 Huggingface 🤖 ModelScope |
图像到视频 | 5B – 540P | 544 * 960 * 97f | 即将推出 |
图像到视频 | 5B – 720P | 720 * 1280 * 121f | 即将推出 |
图像到视频 | 14B – 540P | 544 * 960 * 97f | 🤗 Huggingface 🤖 ModelScope |
图像到视频 | 14B – 720P | 720 * 1280 * 121f | 即将推出 |
相机导演 | 5B – 540P | 544 * 960 * 97f | 即将推出 |
相机导演 | 5B – 720P | 720 * 1280 * 121f | 即将推出 |
相机导演 | 14B – 720P | 720 * 1280 * 121f | 即将推出 |
下载完模型后,别忘了在生成命令里设置好模型的路径,这样模型才能乖乖听话,按照你的要求生成电影。
单GPU推理
扩散强制模型
扩散强制模型可是个厉害的家伙,它能让咱们生成无限长度的视频。而且,它支持文本到视频(T2V)和图像到视频(I2V)这两种任务,还能在同步和异步两种模式下进行推理。就像一个全能的影视魔法师,能满足你的各种需求。
下面是一个同步推理的例子:
model_id=Skywork/SkyReels-V2-DF-14B-540P
# 同步推理
python3 generate_video_df.py \
--model_id ${model_id} \
--resolution 540P \
--ar_step 0 \
--base_num_frames 97 \
--num_frames 257 \
--overlap_history 17 \
--prompt "A graceful white swan with a curved neck and delicate feathers swimming in a serene lake at dawn, its reflection perfectly mirrored in the still water as mist rises from the surface, with the swan occasionally dipping its head into the water to feed." \
--addnoise_condition 20 \
--offload
这里有几个小注意事项哦。如果你想进行图像到视频(I2V)的任务,就得在命令里加上 --image ${image_path}
,而且最好用包含第一帧图像描述的文本到视频(T2V)提示。要是你想用异步推理,就把 --ar_step
设置为 5,同时推荐把 --causal_block_size
设置为 5。另外,要是想减少显存占用,可以降低 --base_num_frames
,不过这样可能会让视频质量稍微下降一点,就像稍微降低一下游戏画质一样。
文本到视频和图像到视频模型
咱们再来看看文本到视频和图像到视频模型的推理命令。下面是一个文本到视频生成的例子:
# 运行文本到视频生成
model_id=Skywork/SkyReels-V2-T2V-14B-540P
python3 generate_video.py \
--model_id ${model_id} \
--resolution 540P \
--num_frames 97 \
--guidance_scale 6.0 \
--shift 8.0 \
--fps 24 \
--prompt "A serene lake surrounded by towering mountains, with a few swans gracefully gliding across the water and sunlight dancing on the surface." \
--offload
要是用图像到视频(I2V)模型,就得用 --image ${image_path}
参数提供输入图像,而且推荐把 --guidance_scale
设置为 5.0,--shift
设置为 3.0。
六、总结与展望
怎么样,SkyReels V2是不是超级厉害?它就像一个充满无限可能的影视创作魔法世界,等待着咱们去探索和发现。虽然现在还有一些小目标没有实现,但相信在开发者们的努力下,SkyReels V2一定会变得越来越强大,为咱们带来更多精彩的影视体验。说不定以后,每个人都能成为自己电影的导演,用SkyReels V2创造出属于自己的梦幻电影!
所以,各位小伙伴们,赶紧行动起来吧,一起加入到这个充满创意和乐趣的影视创作之旅中!说不定下一个惊艳世界的电影,就是你用SkyReels V2制作出来的呢!加油哦!