SD-webui Animatediff使用(AI生成动画的一种方法)

最后更新于 17 天前 1856 次阅读


由于作者更新,网上大部分教程已过时失效,所以我决定根据官方说明写一篇简易入门教程

限于本人水平,如果你有能力,建议自行参阅作者本人的说明,本篇文档仅根据本人使用经验编写

Read the stable diffusion animatediff official English user turtial guide here.

下载:

1.使用绘世启动器,在版本管理——安装新拓展中搜索animatediff安装sd-webui-animatediff即可

2.通过官方说明安装,在此不做说明

使用准备:

作者的模型仓库下载以下模型并按要求操作:

1.在motion_module下载v3及以后的模型,sd1.5下载含有sd15的模型,sdxl下载sdxl的模型,

下载完成后放入“\extensions\sd-webui-animatediff\model”文件夹

2.在lora下载任意lora模型放入“\models\Lora”以备使用

3.有使用controlnet需求的在controlnet下载相应的controlnet模型放入“\models\ControlNet”以备使用

开始使用

以下为基于sd1.5的使用说明,限于本人硬件水平,sdxl的用户请自行结合实际情况和官方说明文档使用

1.编写标准的提示词

比如:

正面提示词

1girl,(loli:0.8),(solo:1.1),looking at viewer,brown hair,outdoor,depth of field,(((low twintails:1.3))),((hair flower:1.2)),ahoge,(hairband:1.1),hairflower,hairclip,((pleated skirt:1.2)),((layered skirt:1.2)),(dress:1.1),((white shirt:1.2)),petals,flower,sidelocks,short hair,bangs,blush,blue skirt,sleeves past wrists,green eyes,bangs,((light smile:1.1)),long sleeves,hair between eyes,blue skirt,small breasts,open clothes,cardigan,red neckerchief,neckerchief,((white loose socks:1.2)),masterpiece,(official wallpaper:1.1),<lora:mm_sd15_v2_lora_ZoomOut:1>,

负面提示词

(worst quality, low quality:1.4),(fuze:1.4),(worst quality:1.1),(low quality:1.4),((grayscale)),badhandv4,(missing fingers:1.1),(more fingers:1.1),EasyNegative,(bad hands:1.1),((poorly drawn hands:1.1)),fused fingers,malformed limbs,too many fingers,mutated hands,extra limb,((mosaic:1.1)),((mosaic_censoring:1.1)),BadDream,lowres,text,error,extra digit,fewer digits,jpeg artifacts,deformed,leg rings,cropped,signature,watermark,username,(fat:1.2),

注意:在编写完正面提示词后,请添加一个作者提供的镜头Lora,比如示例提示词中的<lora:mm_sd15_v2_lora_ZoomOut:1>,

2.编辑参数

根据显卡性能适当调整输出的分辨率和迭代步数,达不到8GB显存的用户强烈建议512*512以下,因为使用共享显存会夸张地延长生成需要的时间

animatediff参数:

点击启用

模型:根据你选用的stablediffusion大模型选择对应的作者提供的动画模型

闭环(RP选项)

该选项将决定生成的动画循环的程度,从左到右依次增强,选择A模型将积极使第一帧与最后一帧相同,从而使生成的动画循环播放而不显得突兀

帧插值(酌情使用,需要安装deform,新手使用该插件容易破坏环境,在此不做说明)

总帧数:就是总共生成多少帧,如果你使用了视频,则是匹配到视频的第几帧

帧率:每秒播放多少帧

循环数量:gif循环播放多少次

上下文单批数量:依次处理的帧数量,sd1.5建议设置为16,sdxl建议设置为8(作者说明)

步幅、重叠和帧插值(以下摘自作者原文,我的建议是建议保持默认参数)

  1. Stride — Max motion stride as a power of 2 (default: 1).
    1. Due to the limitation of the infinite context generator, this parameter is effective only when Number of frames > Context batch size, including when ControlNet is enabled and the source video frame number > Context batch size and Number of frames is 0.
    2. "Absolutely no closed loop" is only possible when Stride is 1.
    3. For each 1 <= 2i <= Stride, the infinite context generator will try to make frames 2i apart temporal consistent. For example, if Stride is 4 and Number of frames is 8, it will make the following frames temporal consistent:
      • Stride == 1: [0, 1, 2, 3, 4, 5, 6, 7]
      • Stride == 2: [0, 2, 4, 6], [1, 3, 5, 7]
      • Stride == 4: [0, 4], [1, 5], [2, 6], [3, 7]
  2. Overlap — Number of frames to overlap in context. If overlap is -1 (default): your overlap will be Context batch size // 4.
    1. Due to the limitation of the infinite context generator, this parameter is effective only when Number of frames > Context batch size, including when ControlNet is enabled and the source video frame number > Context batch size and Number of frames is 0.
  3. Interp X — Replace each input frame with X interpolated output frames.

生成效果: