支持私有化部署
AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


两句话,让Claude Code+Kimi K2 跑了3小时爬完17个竞品网站、做了一份深度市场数据分析报告

发布日期:2025-07-15 12:23:29 浏览次数: 1582
作者:饼干哥哥AGI

微信搜一搜,关注“饼干哥哥AGI”

推荐语

AI双雄联手,17个竞品网站3小时搞定市场分析,开源模型也能玩转商业决策!

核心内容:
1. Claude Code+Kimi K2组合实现自动化竞品数据采集与分析全流程
2. "品类格子"分析框架:从数据采集到可视化呈现的战略分析工具
3. 开源大模型在商业场景中的成本优势与实战表现验证

杨芳贤
53AI创始人/腾讯云(TVP)最具价值专家

前两天 Kimi K2 发布,这次好像不一样,带来的是 Agent级别的开源大模型

注意关键词:

  • 「Agent 级别」意味着规划、工具调用、编程能力强,背后是1 T 参数 MoE“巨无霸”
  • 「开源」意味着便宜,不严谨的对比了一下,在 Claude Code 里,成本是 Claude Opus4 的 1/25 到 1/33

不是,这两方向真的能同时存在吗?

我决定把它放到我的垂直领域——数据分析场景下做复杂分析,看看表现如何。

正好我在做手机配件市场的竞品数据分析, 就直接拿Claude Code+Kimi 来跑完整落地的数据分析流程:数据采集、分析建模、复杂图表生成、再形成一份可以直接拿去给老板汇报的、带交互图表的HTML报告。

一、 方法论先行:“品类格子”分析框架

做市场分析,我们有一个非常落地的分析框架,叫“品类格子” ,专门用来回答诸如“我们的产品跟竞品比,差距在哪?”“下一个爆款该往哪个价格段打?”的战略问题。


品类格子,简单来说,就是把市场按“品类 x 价位段”画成一个棋盘,然后看你和你的竞争对手们,分别在哪些格子里落子,哪些格子还是空白。

“品类格子”的逻辑非常清晰,以终为始:

  1. 1. 最终目标 (Why):为公司找到市场机会点,指导产品开发、定价和竞争策略。
  2. 2. 核心洞察 (What):通过对比自家和整个市场的“品类格子”,看清我们在哪些品类、哪些价位段是强势区弱势区,以及哪里是机会空白区
Image
  1. 3. 实现路径 (How)
  • 品类归一:不同品牌对同一品类的叫法五花八门(比如“Charger”和“Power Adapter”),需要用AI把它们统一成标准品类。
  • 价位段划分:根据所有产品的价格分布,合理地划分出几个标准价位段。
  • 数据采集:爬取自家和所有核心竞品网站的产品数据。
  • 数据处理
  • 可视化分析:绘制“品类格子”热力图、品牌定位散点图等,直观展示竞争格局。
  • 策略建议:基于可视化洞察,给出可落地的业务建议。


这个框架,就是我们指挥AI干活的“作战地图”。

Image

二、工具准备

Claude Code 安装

见教程:再见 Cursor,从0到1用上Claude Code后,惊呼这才是生产力工具|保姆级教程

Kimi K2 API获取与配置

  • 前往Kimi开放平台申请API Key

https://platform.moonshot.cn/console/api-keys ,去这里创建你的api

新注册用户默认有免费赠送15元额度,创建好API Key 等待下一步使用

Image


在 claude code 中使用 k2

方法一,最简单的方式,就是用这个项目提供的方法https://github.com/LLM-Red-Team/kimi-cc

复制上一步创建好的API key,打开终端粘贴就可以了⬇️

bash -c "$(curl -fsSL https://raw.githubusercontent.com/LLM-Red-Team/kimi-cc/refs/heads/main/install.sh)"


方法二,

配置环境变量来实现,复制以下命令到命令行,回车:

# 告诉claude将所有通常指向 api.anthropic.com 的 API 调用重定向到 Moonshot AI 的兼容端点
export ANTHROPIC_BASE_URL=https://api.moonshot.cn/anthropic
export ANTHROPIC_AUTH_TOKEN=你的kimiAPIkey
claude

最终进入 Cladue Code 后看到如图界面,即可!

Image


Playwright MCP 安装

Playwright 是一个可以通过代码编程的方式控制浏览器的工具。

而 Playwright MCP就可以直接让 AI 控制浏览器了,相关文章:

用Cursor「自动开发」Playwright网页自动化脚本,并打包成api给工作流调用

用 Playwright MCP 让 AI 改它自己写的屎山代码

在这里,是来解决数据采集问题的。

在终端里手动安装:

claude mcp add playwright -s user -- npx @playwright/mcp@latest

更绝的是,可以直接提需求让 AI 给你装

帮我安装 playwright MCP
Image
Image

不论哪个方式,最终输入指令/mcp,确保看到以下界面,才算是安装完成。

Image


三、 Step 1: Playwright MCP,一句话搞定全网数据采集

数据采集,是所有分析的起点,也是过去最耗时、最繁琐的环节。但现在,Claude Code的出现,让这件事变得异常简单。

Playwright MCP能直接操作浏览器去浏览和抓取网页内容。

但采集之前,我们也得知道要采集什么,可以让 AI 先根据我们的分析方法给我们一个数据字段要求.csv

Image


先让 Claude Code 跑一个网站的 数据采集试试水:

请你调用 playwright mcp工具,@playwright 启动一个浏览器,对网站 https://www.mous.co/ 
  进行访问,采集这个品牌的数据,需要的数据字段要求看:数据字段要求.csv  
  不需要把所有产品都抓下来,但要求包含所有品类category_original,然后每个品类抓 top热门产品,总共至少20 
  个产品;把采集到的数据保存到 csv 文件中。注意不是让你写一个 playwright 脚本,而是调用 playwright 
  mcp工具来完成需求。前面你已经安装好了,如果没找到这个工具就先启动服务。

老实说,有点被震撼到了,这个视频展示了 Claude Code 是怎么根据我们一句话很丝滑的自己规划步骤、访问网站、定位元素、抓取数据、保存成CSV文件:

Image

采集到的结果表。

Image


说实话,刚开始设想这个案例的时候我是担心的,因为实在太复杂了,我上次人工做的时候花了 3 天,但没想到前面这个需求Claude Code + Kimi K2这么轻松就给完成了。


信心大增!于是,我直接把17个竞品网站的URL列表丢给它,让它一口气全爬完。

Image


为了防止AI在执行过程中反复问我要权限,打断流程,我开启了Claude Code的“狂飙模式”

claude --dangerously-skip-permissions

这行命令能一次性授予AI所有权限,实现真正的“无人值守”自动化。


即可一次性提前授予 Claude Code 所有权限,后续不再弹出授权询问,实现“无人值守”操作。

Image

看到这个Bypassing Permissions就说明设置好了。

Image


当时已经是晚上 1 点多了,我设置完AI 后,我就去睡了。

第二天起床的时候,第二次震惊!CC真的就跑了 2 个小时,消耗 28.2k token,网站就给抓完了。

Image
Image

要知道,这些是不同独立站,而不是标准结构的电商平台,无法写一个通用的 python 脚本去爬,ai 工作流也不行。

此时,我只花了 5 分钟讲清楚我要什么。

所以这里可以看出来,大部分原先工作流的场景,甚至是 RPA 的场景都会被这样的 Agent Coding 替代


三、 Step 2-4: 一次性完成数据分析与报告生成

数据准备好了,接下来就是数据分析师的主场。

过去,我和AI协作是小心翼翼的,让它干一步,我检查一步,生怕它“发疯”乱搞。但鉴于Claude Code和它背后的Kimi K2在第一步表现如此惊艳,于是我有个很大胆的想法:让 AI 一次性帮我完成多个数据分析步骤的执行,但具体要什么还是得说清楚的:

这是我要做的Claude Code+数据分析场景:市场竞品分析。
```
业务背景是:
公司中,做什么产品,往往受产品结构限制,而产品结构是公司的「战略」,例如我们常见的畅销品、利润品等
更具体的,产品结构可以通过「品类格子」来量化:按不同品类、不同价格段划分的多象限矩阵

此时,再基于多竞品的数据,能形成整个市场的「品类格子」
通过把自己公司和市场的对比,就能看出来可以看出公司当前哪些价位段、哪些品类上比较强势,哪些还比较弱,进而得出产品策略

Claude Code方案:
➕playwright mcp 爬虫,把自家网站和竞品网站的产品信息爬下来,形成 csv
基于 csv 做品类格子矩阵:
1️⃣ 因为不同公司的品类定义不同,可以利用 AI 做品类划分
2️⃣ 对价位段做标准划分
可视化:做市场品类格子象限图,标出自家公司的产品
最终得出结论,给出业务建议
```
方案中的 1 爬虫已经完成了 ,数据放在了文件夹`各品牌产品数据`
现在需要你完成 2.品类格子矩阵分析和 3.可视化、4. 结论建议
注意不能直接用 AI 做分析,而是要决定好分析方法后写 python 脚本来完成分析,最后把可视化和结论建议做成 html
这个过程的文件都要保存到文件夹`数据分析-kimi`中

最终数据分析报告 html 要求:
1. 数据说明与数据分析方法简述
2. 市场总览、品牌竞争分析
3. 品类分析 ➡️ 品类竞争格局
4. 价位段分布 ➡️ 品牌平均价格对比雷达图
5. 「品类格子」分析
- 品牌市场定位分析:覆盖品类数-平均价 散点图,气泡大小代表产品数
- 市场竞争度:手机配件品类-价位段 分布热力图
- 各品牌在不同品类的产品数 分布热力图
3-5 每个小节都要有数据分析小结论结论
6. 分析结论与建议
汇总前面的小结论,形成整体建议:
- 市场进入机会
- 产品组合优化
- 定价策略
- 竞争策略
以及其他你认为有价值的分析与结论。

这个Prompt非常长,也非常具体,几乎就是一份完整的数据分析需求文档(SOP)。我把对最终报告的所有期望,包括图表类型、分析维度、结论结构,全都清晰地告诉了它。

结果,Kimi K2完全没让我失望。它不仅理解了我的复杂需求,还真的就一步到位,生成了一大堆过程文件和最终的HTML报告。

Image
Image

报告整体不错,但还有点小问题,例如这里:可视化图表都 看不到

Image

但实际上是有的,分布在了不同的 html 里

Image

于是我让它修复:把各 html 的图嵌入到最终报告 html 里

最终报告market_analysis_report.html中看不到图表,我看各种图表分散在不同 
  html,需要把它们都嵌入到最终报告里,确保最终报告什么都包含。

包括底下文字也看不清。但经过1-2轮简单的微调,一份高质量、专业化的市场分析报告就出炉了。


最终报告长这样:

四、 成果复盘:一份“专业级”的市场洞察报告

让我们来看看最终的成果。这份由AI主导生成的报告,从专业数据分析师的角度看,质量相当高:

  • 结构完整:从市场总览、品牌竞争、品类分析,到价位段分布、核心的“品类格子”分析,再到最终的结论建议,逻辑层次非常清晰。
  • 专业级可视化,兼具深度与美感:Kimi生成的一系列交互式图表(品牌定位气泡图、竞争热力图、价格雷达图)直观地揭示了市场格局。
    • 品牌定位分析:通过动态气泡图,各品牌是“大而全”的巨头,还是“小而美”的垂直玩家,其市场占位一目了然。
    • 品类格子热力图:直接用色块饱和度标出了哪些“品类 x 价位段”的格子是竞争红海,哪些是机会蓝海,市场机会一目了然。
  • 结论有深度:基于数据分析,给出了关于市场进入机会、产品组合优化、定价策略等具体、可落地的建议。


为了更好地理解整个分析过程,我还让Kimi K2帮我解读了它自己生成的那些过程文件,它也梳理得井井有条,清晰地展示了从原始数据到最终报告的完整链路

Image

Claude Code+Kimi 给的实在是太多了,让我直接退订了 Cursor:

数据分析-kimi/
├── 📊 数据文件层
│   ├── processed_product_data.csv         # 清洗后的标准产品数据(416个产品)
│   ├── category_matrix.csv               # 品类-价位段矩阵数据
│   └── analysis_results.json             # 分析结果汇总JSON
├── 📈 可视化层
│   ├── brand_positioning.html            # 品牌市场定位散点图
│   ├── category_competition_heatmap.html # 品牌-品类竞争热力图
│   ├── price_radar_chart.html            # 品牌价位段分布雷达图
│   ├── category_price_heatmap.html       # 品类-价位段竞争热力图
│   ├── price_distribution.html           # 价格分布箱线图
│   └── brand_comparison.html             # 品牌综合对比图
├── 📋 报告层
│   ├── market_analysis_report.html       # 标准版分析报告
│   ├── enhanced_market_analysis_report.html # 增强版完整报告
│   ├── integrated_market_analysis_report.html # 集成版报告
│   └── embedded_market_analysis_report.html   # 嵌入式报告
├── 🔧 核心脚本层
│   ├── category_matrix_analysis.py       # 数据清洗+矩阵构建主脚本
│   ├── generate_visualizations.py        # 可视化图表生成
│   └── generate_report.py                # HTML报告生成
└── 📖 项目文档
    └── README.md                         # 项目说明文档


这次实战,我确实觉得Kimi K2给我带来了惊喜,这类Agentic 编程助手正在重塑数据分析的工作流:

从原来的“做一步、看一步、卡一步”到现在“把需求想明白,把结果等出来”,释放生产力带来的效率迭代,人效起码提升 2 到 3 倍。

从“人指挥,AI执行”到“人给目标,AI自主规划”:我们不再需要一步步地教AI怎么做,而是可以把一个高阶、复杂的目标(“做一份品类格子分析报告”)直接抛给它,它能自主地规划路径、调用工具、解决问题。


能掌握并驾驭这种全新的人机协作模式,或许才是我们每个人,在AI时代真正的核心竞争力。



以上

53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

添加专属顾问

回到顶部

加载中...

扫码咨询