AI生成的测试数据不准确？试试这个MCP

推荐语

AI生成测试数据频频出错？MCP来拯救你的测试工作！

核心内容：
1. AI在密码强度测试中生成数据长度不准确的问题
2. 数字问题背后，大模型数学能力的普遍短板
3. 解决方案：编写MCP工具封装，让大模型调用生成准确测试数据

杨芳贤

53A创始人/腾讯云(TVP)最具价值专家

昨天我在测试一个用户注册功能，这个功能对于密码强度的要求如下：

“密码长度8-16位，需要包含大写、小写、数字和特殊符号。”

这个小需求对于有经验的测试来说简直不能再简单了，算是功能测试入门级别的hello world问题。我让DeepSeek帮我编写测试用例，它分析地挺完善，正确使用了等价类划分和边界值分析，生成的测试用例也很规范：

但是，仔细一看，我发现了一个大问题：DeepSeek生成的测试数据不对！他嘴上说着要生成一个长度为7位的字符串，但实际上生成的字符串长度是8位！而且这个问题在所有测试用例中出现了不止一次。

DeepSeek为什么会犯这么低级的错误，难道是AI降智了？

其实这不单单是DS的问题，而是目前所有大模型普遍存在的短板：数学能力差！别看各种新模型在数学评测中不停刷榜，实际上在解决看似极其简单的数学问题，比如数数字问题上总会不断翻车。大家还记得之前全网热议的“Strawberry有几个r”的问题吗？在这一问题上，各家知名大模型几乎都数错了，可见这个问题的广泛性。

为什么智商绝顶的大模型在数数字问题上却比不过2岁小孩？

从原理上解释，这是给大模型输入文本时进行的Tokenization处理所带来的问题。Tokenization，即是将文本处理为Token的过程，即“分词”，这里分好的“词”并不直接对应我们“人类视角”的【单词/短语/词组】，而是“大模型视角”的【Token】。也就是说，“大模型视角”下的文本与我们“人类视角”并不一样：

以Strawberry为例，它会被分词器被拆分为【“str”, “aw”, “berry”】，导致AI对于这个问题的回答是“两个r”了，因为对于它们来说，这三者均是作为一个整体存在的，而不是从字母维度切分的。

以上是对于大模型为什么数不清数字的原理解释。同样也是由于这个原因，当大模型被要求生成指定长度的字符串时，实际生成的字符串长度会有点偏差。可是这就给我们的在工作中使用AI生成测试用例带来了困难，这个问题该怎么解决呢？

记住这个思路：遇到数学问题，让大模型直接用工具来解决。比如，对于简单的数学运算问题，我们可以让大模型直接使用计算器，或者编写代码然后运行代码获得结果。对于生成指定的字符串问题，也可以编写一个小工具，然后封装成MCP，让大模型调用MCP提供的工具来生成满足特定要求的测试数据。

这个工具的代码逻辑比较简单：首先我编写了一个函数generate_string，用于生成作为测试数据的随机字符串，确保满足指定长度且包含所有指定类型的字符。然后我使用python 的FastMCP来把这个工具封装成了一个简单的MCP server，名称为TestDataServer，使用SSE通信模式，运行在本地的9000端口上。

from mcp.server.fastmcp import FastMCPimport randommcp = FastMCP(name="TestDataServer",    description="专门用于生成测试数据的工具",              port = 9000)
@mcp.tool()def generate_string(length: int, include_types:  list[str]) -> str:    """    生成作为测试数据的随机字符串，确保满足指定长度且包含所有指定类型的字符。    该函数通过保证每种指定字符类型至少出现一次，最终结果经过随机打乱，确保字符分布均匀。    参数:        length (int):             - 要生成的字符串总长度
        include_types (list[str]):             - 指定需要包含的字符类型，支持以下选项：                * 'lower'    : 小写字母 (a-z)                * 'upper'    : 大写字母 (A-Z)                * 'digit'    : 数字 (0-9)                * 'chinese'  : 常用汉字                * 'space'    : 空格字符                * 'special'  : 特殊符号 (!@#$%^&*()_+-=[]{}|;:\",./<>?)
    返回:        str: 符合要求的随机字符串
    异常:        ValueError:             - 当include_types为空列表时触发            - 包含未定义的字符类型时触发（有效类型：lower/upper/digit/chinese/space/special）            - 当length小于指定类型种类数时触发（如指定3种不同类型但length=2）
    示例:         length = 8, include_types = ['lower', 'digit']        'a3b9cd52'  # 保证至少包含一个小写字母和一个数字，总长度8
         length = 5, include_types = ['chinese', 'special', 'space'])        '码_ ！好'   # 包含至少一个中文、一个特殊符号和一个空格，总长度5

    """        # 此处省略具体的实现
if __name__ == "__main__":    #启动MCP server    mcp.run(transport='sse')

运行main函数，这个server就启动起来了：

测试一下，在浏览器导航栏输入http://127.0.0.1:9000/sse，看到如下内容说明服务器可以正常接受连接：

接下来就可以在支持MCP的客户端中配置这个自定义的MCP服务器了。这里我选择Cherry Studio, 配置如下：

配置好了之后打开右上角的绿色开关，然后切换到“工具”页可以看到，generate_string已经被正常解析为一个可供大模型使用的MCP工具了：

在server运行期间就可以使用这个工具了。在Cherry Studio聊天页面，选择支持工具调用的大模型，然后在下方工具栏选择TestDataServer MCP, 就可以向AI提问了（提示词中特别说明一下让AI使用MCP生成测试数据）：

AI生成了9条测试用例，并成功地调用了9次MCP，生成的测试数据长度都是正确的，包含的类型也是符合要求的：

以上这个MCP server的功能还是比较简单的，只有一个工具generate_string，之后我们还可以自由扩展其他功能，生成其他各种各样的测试数据，基本思路就是大模型只负责描述数据格式，让工具来生成最终的测试数据，这样生成的测试数据都能确保是符合要求的。

PS: 这个案例中我使用的是DeepSeek-Chat，生成的答案非常简洁明确，效果很好。之前我还使用过深度思考版的Qwen3解决这个问题, 效果却不好，对于这么简单的问题却让Qwen3陷入了过度思考中，思考过程过于冗长复杂，最后也没能正确使用工具。如果大家遇到了这样的问题，可以试试换个模型。