强化你的AI开发：Microsoft Power CAT Copilot Studio Kit 深入解析

https://github.com/microsoft/Power-CAT-Copilot-Studio-Kit

    在当前的AI技术浪潮中，微软的Copilot Studio已经成为业界翘楚。为了进一步提升开发者和创作者的体验，微软推出了Power CAT Copilot Studio Kit (下文简称为Copilot Kit)。本文将深入解析该工具包的核心功能，帮助你更好地利用它进行定制化开发与测试。

Copilot Kit 能力概述

    Power CAT Copilot Studio Kit 是一个全方位的工具包，旨在增强Microsoft Copilot Studio的功能。这个工具包帮助创作者测试定制化的copilots（共同开发者），使用大型语言模型验证AI生成的内容，并提供汇总的关键性能指标（KPI）的跟踪能力（即将上线）。

测试能力

    Copilot Kit 是一个用户友好的应用程序，使开发者能够配置copilots和测试集。它提供了诸如Excel导入导出等本地功能，便于批量创建和更新。

    通过针对Copilot Studio API（Direct Line）运行独立测试，开发者可以评估copilot的响应是否符合预期结果。为了进一步丰富结果，还可以从Azure Application Insights和Dataverse中获取更多数据点，对对话记录进行分析，以获取触发的主题名称、意图识别评分等详细信息。对于AI生成的非确定性答案，使用AI Builder提示将生成的答案与示例答案或验证指令进行比较。

    目前，该工具支持以下类型的测试：

• 精确匹配响应：验证响应是否与预期完全一致。

• 附件匹配：检查响应中包含的附件是否符合预期。

• 主题匹配：需要Dataverse数据补充，以识别触发的主题。

• 生成性答案：需要AI Builder进行响应分析，并通过Azure Application Insights获取答案生成的详细原因。

Copilot 关键性能指标（KPI）

    即将推出的功能将允许开发者在不解析复杂对话记录的情况下，汇总和保留来自定制copilot的关键性能指标。

GitHub 仓库和资源

    Copilot Kit 在 GitHub 上有一个专门的仓库，包含了所有组件的源代码、发布信息、问题记录和待办事项。

设置说明和文档

    对于想要快速上手的开发者，详细的文档提供了从安装到运行测试的完整指导：

• 先决条件：安装所需的前置条件。

• 安装说明：如何安装和配置工具包。

• 配置用户和团队：设置用户角色和团队权限。

• 配置copilots：创建和设定copilots的具体功能。

• 配置测试：建立和组织测试用例。

• 运行测试：执行不同类型的测试。

• 分析测试结果：深度解析通过测试得到的数据。

• 故障排除：常见问题及其解决方法。

选配功能

    此外，还有几个选配功能可以根据需要启用：

• 用户身份验证支持：增强安全性。

• Application Insights 支持：通过Azure Application Insights获取更详细的分析数据。

已知限制

    截至最新版本，Copilot Kit 尚不支持多轮对话功能。