N个promptPilot的数据集，验证一个提示词，效果就是稳！

有粉丝留言问我promptPilot真有说的那么好吗？就像程序员常挂到嘴边的一句话，Talk is cheap, show me your code 今天就跟大家演示一下,Talk is cheap, show me your prompt。先说一下要解决的痛点，通常在准备写一篇文章的时候需要从各大平台找一些相关文章的资料，然后通过工具或者脚本把文章内容爬取下来，爬取下来的内容什么格式的都有，有些工具会把平台的标头、侧边栏、尾部导航栏、甚至一些广告都抓取下来。

这就涉及到使用AI去做一些数据清洗，那么就需要写一个提示词来提取文章内容。但是你发现直接让AI生成的提示词是没办法满足你的需求，这个时候promptPilot就可以帮助到你。

我使用的promptPilot的批量评测功能，目的是为了通过N多个测试用例集去验证优化后的提示词效果，通过调试——评测——评分——再调试——再评分，这样一个流程，最终保证提示词生成的模型回答符合你的预期。

准备工作

1. 1. 注册一个promptPilot账号，新用户订阅享受0元购，购买链接https://www.volcengine.com/activity/ark?previewMode=on
2. 2. 提前整理一个excel表格，把需要验证的数据写入到表格中，表格中的数据就是promptPilot对应的变量内容。我这里提前准备好了一个文章测试集数据，从一些不同的网站中（CSDN、博客园、medium）爬取下来的。

1. 3. 准备一个用AI已经优化过的结构化提示词，我先贴在这里这样的提示词网上一大堆

prompt = f"""
        你是一个专业的内容提取专家。请根据给定的标题，从提供的内容中提取出与标题最相关的部分。

        ## 核心任务
        1. **深度分析标题**：识别标题中的核心主题、关键词、技术术语、产品名称等
        2. **全面内容扫描**：逐段分析内容，识别与标题相关的所有信息
        3. **智能关联判断**：不仅提取直接相关内容，还要包含间接相关、背景信息、对比分析等
        4. **完整性保证**：确保提取的内容能够完整地支撑和解释标题主题

        ## 内容提取原则
        ### 宽泛性原则
        - 采用宽泛的相关性判断标准，宁可多提取也不要遗漏重要信息
        - 包含与标题主题相关的所有讨论、观点、经验分享
        - 保留作者的个人见解、使用体验、对比评价
        - 包含相关的技术细节、使用场景、代码块、问题解决方案

        ### 上下文完整性
        - 提取完整的段落，不要截断句子或段落
        - 保持论述的逻辑连贯性和完整性
        - 包含必要的背景信息和铺垫内容
        - 保留结论性和总结性的内容

        ### 多维度相关性
        - **直接相关**：明确提到标题中的关键词或主题
        - **功能相关**：讨论相关功能、特性、使用方法
        - **对比相关**：与标题主题进行对比的其他产品或方案
        - **经验相关**：使用经验、问题解决、心得体会
        - **背景相关**：行业背景、发展历程、市场情况

        ## 图片链接处理规则
        - **完整保留原则**：所有与相关内容共存的图片链接必须完整保留
        - **位置保持原则**：图片链接必须保持在原文中的确切位置
        - **格式兼容原则**：支持所有图片格式和引用方式：
          * Markdown格式：![alt text](image_url)
          * HTML格式：<img src="image_url" alt="alt text">
          * 直接URL：https://example.com/image.jpg
          * 相对路径：./images/pic.png
        - **上下文关联原则**：图片与其说明文字、标题、段落内容必须作为整体保留

        ## 质量控制标准
        ### 内容丰富度
        - 提取的内容应该占原文的60-80%（对于高度相关的文章）
        - 包含足够的细节和具体信息
        - 保留作者的观点表达和情感色彩

        ### 逻辑完整性
        - 保持文章的论述逻辑
        - 包含问题提出、分析过程、解决方案、结论总结
        - 维持时间顺序和因果关系

        ### 信息价值
        - 优先保留独特见解和个人经验
        - 包含具体的数据、案例、操作步骤
        - 保留对读者有参考价值的信息

        ## 输入信息
        标题: {title}
        
        原始内容:
        {content}

        ## 输出要求
        请以JSON格式返回结果，包含以下字段：
        - title: 原始标题
        - extracted_content: 提取的与标题相关的内容（必须丰富完整，包含所有相关段落和图片）

        ## 特别注意
        - **宽泛提取策略**：当不确定某段内容是否相关时，倾向于包含而非排除
        - **完整性优先**：保持段落完整性，不要截断重要信息
        - **上下文保持**：图片链接必须与其说明文字保持在同一段落中
        - **质量标准**：提取内容应占原文60-80%，确保信息充分且有价值
        - **逻辑连贯**：保持文章的论述逻辑和时间顺序
        - **格式保持**：维持原始的段落结构、列表格式、代码块等
        """

这个提示词是通过claude4.0生成的，从结构和专业性上来看已经很不错了，角色、工作流程、限制条件、输入信息、输出信息、输出格式、要求等等。接下来看看通过这个提示词提取出来的内容效果。

优化前的提取内容效果

出现了标签、平台头部信息、顶部导航栏、底部导航栏(售后、调研、业务咨询、参考资料)等等一些和文章内容不相关的元素

批量评测

promptPilot的批量评测功能真的可以帮你节省不少时间，你只需把准备好的批量数据集导入进来，剩下的交给平台就好，然后再等待评分结果

评分标准

内容提取出来的效果是否符合你的预期，需要定一个标准，比如：

• • 提取的内容需要和标题高度相关
• • 提取内容不能有遗漏
• • 格式需要符合markdown文本
• • 元素完整性表格、图片、代码块不能有遗漏

从评分效果来看提示词需要优化的空间在哪里

优化提示词

promptPilot提供了优化提示词前后的文本对比，方便用户快速查看两个文本之间的差异

优化后的提取内容效果

找了其中一篇比较长的测试内容，里面的内容比较丰富有表格、有代码块、有图片

看一下返回的markdown预览效果

基本上去除了所有不需要的元素最重要的是保留了原始内容和标题的一致性。

看到这里相信你已经清楚这个提示词优化后的价值所在，promptPilot的价值所在，它到底好不好相信你自己心中已有答案。

不要相信自己的感觉，最终通过数据来说话，如果你的样本数据足够多，我相信这个提示词会优化的更加精准，当所有评分80%的都给出5分的时候，这个提示词真的可以卖钱，因为它是通过N多个测试数据集验证后总结出来的，它值这个钱