纺织工,纺织工 — Comfyui初体验

中秋节,今年的中秋节哪里都没去,就在家呆着。也正因为如此,终于有时间研究了一下comfyui这个东西。

第一次看到这个东西是在腾讯的cnb的网站首页上,基本第一页铺满了comfyui相关的内容。

之前也曾折腾过不少ai相关的东西,局限于自己的硬件环境,太多的东西可远观而不可亵玩焉。这10g的显存跑点东西的确也捉襟见肘,当到处都在鼓吹几十块钱的成本做个漫剧能挣几千的时候,也该来体验下这漫剧到底是怎么玩的了。

comfyui本质上是个工作流引擎,图形化的工作流引擎。介绍完了,更多的内容可以参考官网内容。

当然,晚上也有不少的封装版本,所谓的封装就是继承了python的运行环境,省去了各种部署步骤的繁琐。前几天看到秋叶comfyui 的整合包,想着也能省事一回,就直接下载了这个安装包。

相对来说的确是方便了不少:

comfyui本身也继承了一些工作流,需要注意的是,对接comfyui官方服务器接口的工作流是收费的。

实际生成效果感觉也能说的过去:

即梦:

comfyui 本地模型 Minimax H3:

上面的几个视频用来替换了findu.co 官网的背景视频。

收费的好处就是性能会好很多,基于confyui线上的视频处理模型生成视频效率明显会高很多,例如似水流年提供的创意 老虎追人的这个视频。

还有基于导演工作流生成的视频,勉强能玩,就是显卡性能太差,耗时太长了。

人物的还原度相对来说比较一般,另外,测试音频以及一些资源缺的也比较多。所以实际的效果并不是十分理想,当然,最重要的还是分辨率问题,有钱的话用付费云节点自然会更快更更好。

至于怎么实现工作流,其实就是不断的拖组件,连线,跟纺织工差不多,如果自己不想连,可以直接让ai来实现工作流,自己微调就可以了,毕竟ai万能的时代,没有必要什么东西都自己搞。

显存不足,导致占用了大量的共享内存,好在物理内存相对来说还算是充足。

当然,基于minimax也可以实现动作模拟,原视频:

即梦ai的收费复刻效果:

minimax h3的本地化效果(第一段音轨没有复制,每次生成5s,需要多次生成进行合并):

原图参考,就是头图。

生成效率的确是个大问题,还有一点就是显卡性能导致有时候会卡死,当然,这个卡死我也不知道是真死了还是假死,反正就是没反应了。如果要体验建议至少500G的空闲磁盘空间,目前我在用的各种模型文件占用260G磁盘空间。

下载模型可以考虑使用迅雷,速度还是不错的:

至于怎么提高速度,简单粗暴换显卡,啥?你问多少钱?

也不是很贵对吧?对个der啊 ,对!?

想当个新时代的纺织工也没那么容易,毕竟这『纺车』也挺贵的!