我要投稿

微软开源PromptWizard，摔碎了提示工程师的饭碗~

发布日期：2025-01-09 06:11:47 浏览次数： 1982 作者：PaperAgent

PromptWizard (PW) 旨在自动化和简化提示优化。它将 LLM 的迭代反馈与高效的探索和改进技术相结合，在几分钟内创建高效的prompts。

PW的核心是其自我进化和自适应机制，LLM 会同时迭代生成、评论和改进提示和示例。此过程通过反馈和综合确保持续改进，实现针对特定任务的整体优化。

PromptWizard 经过 45 多项任务的严格评估，涵盖了一般挑战和特定领域挑战。与最先进的技术（包括 Instinct、InstructZero、APE、PromptBreeder、EvoPrompt、DSPy、APO 和 PromptAgent）对比，PW 在准确性、效率和适应性方面始终优于竞争对手。

PromptWizard三个关键组件

PromptWizard 概述

反馈驱动改进： PW 的核心是利用迭代反馈循环，LLM 在其中生成、批评和改进自己的提示和示例。这种持续改进机制确保每次迭代都比上一次更好，从而产生高效的提示和示例。
多种示例的联合优化与合成： PW 生成的合成示例不仅稳健多样，而且具有任务感知能力。通过同时优化提示和示例，确保它们协同工作，有效满足特定任务要求。
自生成思维链 (CoT) 步骤：结合 CoT 推理可提高模型的解决问题能力。通过使用选定的少量样本，PW 为每个示例生成详细的推理链，从而促进细致入微、循序渐进的问题解决方法。

PromptWizard 的工作原理

PromptWizard 从用户输入开始：问题描述、初始提示指令和一些作为当前任务基础的训练示例。

它的输出是一套经过精炼、优化的提示指令，并搭配精心挑选的上下文小样本示例。这些输出包含详细的推理链、任务意图和专家资料，将类人推理与人工智能的响应联系起来。

第一阶段：完善提示指令

第一阶段侧重于完善提示的任务说明。PromptWizard 生成多个候选说明，使用 LLM 的反馈对其进行评估，并迭代地综合改进版本。此过程平衡了探索（尝试各种想法）和利用（完善最有希望的想法）。

例如，如果初始指令产生的结果不是最优的，PW 会结合反馈来识别其缺点并生成改进版本。经过三到五次迭代，此迭代周期可确保指令收敛到最优状态。

提示指令的细化

第二阶段：指令与示例的联合优化

将第一阶段得到的精炼提示与精心挑选的示例相结合，共同优化。通过批判与综合机制，PromptWizard 确保提示与示例保持一致，同时综合新示例以提升任务表现。

这种结构化方法使 PromptWizard 具有高度的通用性，可以适应从解决数学问题到生成创意内容等各种任务。

指令与示例的联合优化

https://github.com/microsoft/PromptWizardhttps://www.microsoft.com/en-us/research/blog/promptwizard-the-future-of-prompt-optimization-through-feedback-driven-self-evolving-prompts/