PromptWizard简介

• PromptWizard是微软发布的一个全新的、全自动的离散提示优化框架，它通过自我演化、自我适应的机制实现。

• 通过反馈驱动的批评与合成过程，在探索与利用之间取得了有效平衡，迭代地改进提示指令和上下文示例，以生成针对特定任务的人类可读提示。

• 该框架在45个任务中表现出色，即使在训练数据有限、小型LLMs和不同LLM架构的情况下也能实现优越的性能。

PromptWizard解决的问题

1. 手动提示工程的局限性

解决方案： PromptWizard通过自动化的提示优化来解决手动提示工程的耗时和领域特定性问题。它利用自我演化机制，使得LLM生成、批评和提炼自己的提示和示例，通过迭代反馈和合成不断改进。

1. 现有优化策略的不足

解决方案： 现有的连续和离散提示优化方法要么需要额外的神经网络训练，要么在探索提示空间时缺乏反馈机制。PromptWizard通过引入反馈驱动的批评和合成过程，克服了这些方法的随机性和效率低下问题。

1. 特定任务提示的生成

解决方案：PromptWizard通过迭代细化提示指令和上下文示例，生成符合任务需求的特定提示，提高了模型性能和解释性。

PromptWizard架构流程

• 问题描述与初始提示指令

  PromptWizard首先接收一个问题描述和初始提示指令。例如，在数学问题求解任务中，初始提示可能是：“让我们逐步思考以找到这个数学问题的解决方案。”

• 生成指令变体

  基于问题描述和初始提示指令，PromptWizard使用预定义的认知启发式或思考风格生成提示变体。这些启发式指导LLM创建问题的不同视角，确保提示指令的多样性。

• 性能评估

  接下来，PromptWizard使用评分机制评估生成的变异提示的性能。评分基于每个提示在一小批训练示例上的表现。评分机制可以是传统的指标，如F1分数，也可以是LLM作为评估者。

• 反馈与提炼

  选择表现最佳的变异提示后，PromptWizard通过其批评组件引入独特的反馈机制。批评审查提示成功和失败的地方，提供针对性的反馈，以便有重点地改进提示。

• 合成和优化

  最后，PromptWizard的合成组件使用批评的反馈来提炼最佳提示。它根据反馈重新表述和增强指令，产生更具体于任务的优化提示。

• 识别多样化示例

  PromptWizard接下来关注识别一组多样化的候选示例，以增强提示的有效性。通过从数据集中提取候选示例，并使用评分机制评估当前提示的有效性，将它们分类为正面和负面示例。

• 顺序优化

  与大多数现有提示优化方法不同，PromptWizard采用顺序优化方法，同时优化提示指令和少量示例。通过批评和合成过程，PromptWizard动态地增强提示质量和任务性能。

• 自生成推理和验证

  在优化提示和少量示例后，PromptWizard通过整合链式思考（CoT）推理进一步提升模型性能。PromptWizard为每个选定的少量示例自动生成详细的推理链，并使用LLM检查示例的连贯性和相关性。

• 任务意图与专家角色整合

  为了提高任务性能，PromptWizard将任务意图和专家角色整合到提示中。这确保了模型在特定领域的任务中保持相关性，并引导模型应用相关的方法。

三种方式提升prompt质量

1. 没有训练数据，也不希望在prompt中使用上下文示例

2. 没有训练数据，但希望在prompt中使用上下文示例，这里分两步走

3. 生成合成数据

4. 使用合成数据优化prompt

5. 有训练数据，希望在prompt中使用上下文示例，让模型自己生成、评价和改进提示词及生成示例，通过不断反馈来提高输出质量。