粤ICP备17114055号
微信扫码
添加专属顾问
支持私有化部署
我要投稿
在多次社区的Comfyui共学中发现, comfyui工作流的门槛确实过高. 让很多人理解“潜空间”, “Vae”, “LoRA”, “controlnet”等一系列概念非常困难, 更别说基于理解做一个工作流了.
这次英伟达整了个花活, 让大家看到了打破这个门槛的可能性: 通过画图提示词, 自动生成匹配的comfyUI工作流!
英伟达将其命名为ComfyGen (comfy生成器)! 当然目前仅支持文生图模型.
在英伟达发布的内容中, 他们称: “ComfyGen可以生成高质量的图并泛化到其他领域 (如下图). ”
并且他们很自豪的宣称:“下图这么优秀的图, 完全是comfyGen基于SDXL规模的模型画的, 还没有用flux呢!”
当然, 作为学术性研究论文, 肯定不会很草率的下结论.
英伟达团队做了对比测试:
下图中分别为
1) SDXL原生
2) 两个微调模型 (用过的同学会很熟悉
3) 两个人搭的工作流
4) 两个不同的comfyGen制作的图 (后文原理部分中会说明这两者的区别)
可以看到效果基本一致, 甚至确实更符合人类对提示词的判断和理解.
同时他们还做了和C站上人类写的提示词作对比:
很显然, ComfyGen的效果略胜一筹.
不过由于项目未开源, 无法体验实际效果. 但是如果真的效果如英伟达发布所说, 那是相当惊艳了.
ComfyGen 基于大型语言模型（LLM)，为用户输入的特定提示词自动定制和优化生成Comfyui工作流。
工作流中会组合多个专门的组件，如改进的输入处理、精细的解码器和超分辨率模块，显著提高生成图像的质量和细节。
ComfyGen 的核心在于其能够根据用户的具体需求，选择最适合的工作流组件，从而实现更高质量和更精确对齐的图像输出。
这里英伟达制作了一个表格, 表格里记录了工作流画图的分类, 并基于美学和人类偏好的预测给他们的结果打分. 让他们让LLM选择最能匹配新提示词并且得分最高的工作流.
训练时, 同样把表格中的得分, 提示词和工作流作为训练内容. 推理时, 依旧让LLM通过提示词和高得分来预测一个最合适的工作流.
这份研究为很多agent的开发带来了新的思路, 不仅局限于comfyui, 同时对LLM本身的工作流的自动生成也将产生深远的影响.
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2025-04-30
逆向提示工程：让 AI 更聪明的技巧
2025-04-29
以学前场景为例的Prompt应用技巧设计｜谷歌Prompt Engineer
2025-04-27
AI 绘画中后期处理类提示词全解析：解锁作品的进阶魅力
2025-04-27
全网最火的 AI 提示词，让刘强东王兴也成了「兄弟」（含超全提示词）
2025-04-26
DeepSeek的10大隐藏提示词
2025-04-24
5个视角提示词，让你的AI作品秒变大片！
2025-04-21
Manus可以输出15万字的内容，是精品还是垃圾？
2025-04-20
Claude 官方AI编程教程：最低级设计和最高级的技巧
2025-02-01
2024-09-18
2025-01-08
2024-08-23
2025-01-17
2024-07-26
2024-12-26
2024-08-23
2024-07-02
2024-10-17
2025-04-21
2025-03-31
2025-03-29
2025-03-17
2025-02-06
2025-01-10
2024-12-25
2024-11-20
回到顶部