我要投稿

提示词生成comfyui工作流来了! (英伟达整花活, 把comfyui的门槛打下来!

发布日期：2024-10-22 06:16:43 浏览次数： 3257

作者：WayToAGI Agent探索

微信搜一搜，关注“WayToAGI Agent探索”

在多次社区的Comfyui共学中发现, comfyui工作流的门槛确实过高. 让很多人理解“潜空间”, “Vae”, “LoRA”, “controlnet”等一系列概念非常困难, 更别说基于理解做一个工作流了.

这次英伟达整了个花活, 让大家看到了打破这个门槛的可能性: 通过画图提示词, 自动生成匹配的comfyUI工作流!

英伟达将其命名为ComfyGen (comfy生成器)! 当然目前仅支持文生图模型.

在英伟达发布的内容中, 他们称: “ComfyGen可以生成高质量的图并泛化到其他领域 (如下图). ”

并且他们很自豪的宣称:“下图这么优秀的图, 完全是comfyGen基于SDXL规模的模型画的, 还没有用flux呢!”

当然, 作为学术性研究论文, 肯定不会很草率的下结论.

英伟达团队做了对比测试:

下图中分别为

1) SDXL原生

2) 两个微调模型 (用过的同学会很熟悉

3) 两个人搭的工作流

4) 两个不同的comfyGen制作的图 (后文原理部分中会说明这两者的区别)

可以看到效果基本一致, 甚至确实更符合人类对提示词的判断和理解.

同时他们还做了和C站上人类写的提示词作对比:

很显然, ComfyGen的效果略胜一筹.

不过由于项目未开源, 无法体验实际效果. 但是如果真的效果如英伟达发布所说, 那是相当惊艳了.

原理

ComfyGen 基于大型语言模型（LLM)，为用户输入的特定提示词自动定制和优化生成Comfyui工作流。

工作流中会组合多个专门的组件，如改进的输入处理、精细的解码器和超分辨率模块，显著提高生成图像的质量和细节。

ComfyGen 的核心在于其能够根据用户的具体需求，选择最适合的工作流组件，从而实现更高质量和更精确对齐的图像输出。

ComfyGen-IC对比ComfyGen-FT

这里英伟达制作了一个表格, 表格里记录了工作流画图的分类, 并基于美学和人类偏好的预测给他们的结果打分. 让他们让LLM选择最能匹配新提示词并且得分最高的工作流.
训练时, 同样把表格中的得分, 提示词和工作流作为训练内容. 推理时, 依旧让LLM通过提示词和高得分来预测一个最合适的工作流.

这份研究为很多agent的开发带来了新的思路, 不仅局限于comfyui, 同时对LLM本身的工作流的自动生成也将产生深远的影响.

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-05-02

Codex 从入门到精通

2026-04-28

别再写 Prompt 了：Spec Mode 才是下一代 AI 编程范式

2026-04-25

我逆向了 329 条 GPT-Image2 提示词模板，全部开源！

2026-04-22

一招搞定：让 Cursor、Trae、VS Code 共享同一套 AI 技能库

2026-04-21

GPT Image 2 提示词图库开源站点来了

2026-04-20

50个 Claude Code 日常使用技巧与最佳实践

2026-04-19

Claude Design的提示词被扒出来了，我在里面发现了Anthropic最真实的设计哲学

2026-04-18

Opus 4.7 落地了，聊聊我摸出来的使用技巧

联系获取

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

龙虾Token焦虑自救指南

2026-02-26

Anthropic 黑客松冠军项目 Everything Claude Code 完整上手攻略

2026-02-24

Agent Skills 终极指南：从零到精通

2026-02-04

2026 Claude Skills 全岗位合集（新增篇）：6类全新岗位，18个高价值Agent Skill，告别无效加班

2026-03-07

别再裸用 Claude Code，这 20 个隐藏命令，太爽了

2026-03-18

OpenAI 发布 Codex 最佳实践指南：AI 编程工作流首次曝光

2026-03-13

从0到1搭好你的运维技能库：分享20个ClawHub20个Skills

2026-02-24

技能即资产：从临时Prompt到可复用Skill的AI工程范式进化

2026-02-28

AI 原生研发范式：从“代码中心”到“文档驱动”的演进

2026-02-04

GPT Image 2 提示词图库开源站点来了

2026-04-21

大家都在问

AI 工程化实战：如何像设计函数参数一样设计 System Prompt？

2026-04-14

Google说只有5%的人真正会用AI，他们做对了什么？

2026-02-28

Prompt caching 技术是如何实现 1 折的推理成本优化的？

2026-02-12

几句话就能复刻一个付费Skill，Skills商店还能卖什么？

2026-02-12

从 Prompt 到 Skills：如何把业务流程切开，塞进AI的“技能槽”里？

2026-02-08

Prompt 的本质是“思维压缩包”：如何从结果中反推创作者的认知模型？

2026-02-05

当AI能替你干活，什么能力决定你不可替代？

2026-02-05

Skills 真能取代 MCP 和 Prompts 吗？

2026-01-23

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS Skill 提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB Palantir Glean Openclaw