纺织工,纺织工 — Comfyui初体验
中秋节,今年的中秋节哪里都没去,就在家呆着。也正因为如此,终于有时间研究了一下comfyui这个东西。
第一次看到这个东西是在腾讯的cnb的网站首页上,基本第一页铺满了comfyui相关的内容。
之前也曾折腾过不少ai相关的东西,局限于自己的硬件环境,太多的东西可远观而不可亵玩焉。这10g的显存跑点东西的确也捉襟见肘,当到处都在鼓吹几十块钱的成本做个漫剧能挣几千的时候,也该来体验下这漫剧到底是怎么玩的了。
comfyui本质上是个工作流引擎,图形化的工作流引擎。介绍完了,更多的内容可以参考官网内容。
当然,晚上也有不少的封装版本,所谓的封装就是继承了python的运行环境,省去了各种部署步骤的繁琐。前几天看到秋叶comfyui 的整合包,想着也能省事一回,就直接下载了这个安装包。
相对来说的确是方便了不少:
comfyui本身也继承了一些工作流,需要注意的是,对接comfyui官方服务器接口的工作流是收费的。
实际生成效果感觉也能说的过去:
即梦:
comfyui 本地模型 Minimax H3:
上面的几个视频用来替换了findu.co 官网的背景视频。
收费的好处就是性能会好很多,基于confyui线上的视频处理模型生成视频效率明显会高很多,例如似水流年提供的创意 老虎追人的这个视频。
还有基于导演工作流生成的视频,勉强能玩,就是显卡性能太差,耗时太长了。
人物的还原度相对来说比较一般,另外,测试音频以及一些资源缺的也比较多。所以实际的效果并不是十分理想,当然,最重要的还是分辨率问题,有钱的话用付费云节点自然会更快更更好。
至于怎么实现工作流,其实就是不断的拖组件,连线,跟纺织工差不多,如果自己不想连,可以直接让ai来实现工作流,自己微调就可以了,毕竟ai万能的时代,没有必要什么东西都自己搞。
显存不足,导致占用了大量的共享内存,好在物理内存相对来说还算是充足。
当然,基于minimax也可以实现动作模拟,原视频:
即梦ai的收费复刻效果:
minimax h3的本地化效果(第一段音轨没有复制,每次生成5s,需要多次生成进行合并):
原图参考,就是头图。
生成效率的确是个大问题,还有一点就是显卡性能导致有时候会卡死,当然,这个卡死我也不知道是真死了还是假死,反正就是没反应了。如果要体验建议至少500G的空闲磁盘空间,目前我在用的各种模型文件占用260G磁盘空间。
下载模型可以考虑使用迅雷,速度还是不错的:
至于怎么提高速度,简单粗暴换显卡,啥?你问多少钱?
也不是很贵对吧?对个der啊 ,对!?
想当个新时代的纺织工也没那么容易,毕竟这『纺车』也挺贵的!