我要投稿

DeepSeek满血版云端私有化部署，支持知识库，仅2.5万/月！

发布日期：2025-03-05 18:12:12 浏览次数： 2057

作者：智星云算力

微信搜一搜，关注“智星云算力”

智星云提供一站式大模型服务方案，支持Deepseek全系模型（R1满血版/V3、70B/32B）及量化/非量化部署。

提供模型调优、RAG知识库构建与实时联网搜索能力。

集成Agent智能体框架实现多任务处理，配备多级鉴权体系保障数据安全，满足企业级场景需求，适配不同规模用户提供精准智能服务。

DeepSeek云端私有化方案：

DeepSeek云端私有化方案测试报告：

本报告针对两台4090服务器型号deepseek-R1的大语言模型在不同并发场景下（5 到 55 并发）的性能表现进行了系统测试。

测试指标涵盖整体耗时、吞吐量、每秒请求数（QPS）、平均响应延时、首 token 响应时间（TTFT）、每个输出 token 生成耗时（TPOT）、以及输入/输出 token 数量等。

所有数据均来自标准openqa数据集。

综合各并发级别的测试数据，deepseek-R1 模型在低并发（5、15）下响应较快，但随着并发数提高（25至55），系统吞吐量虽不断提升，但平均延时及每token生成时间也随之增加，特别是在高并发下尾部延时明显上升，模型在高并发环境下能够稳定处理请求。

并发与吞吐量以及输出token的关系图表：

吞吐量与并行

一、测试环境与配置

模型信息：deepseek-R1

超时设置：连接与读取超时均为120s

测试数据集：openqa

请求参数：

最大输出 token：2048

输入 token 数：约 22～28

输出 token 数：大致在 650～1200 范围内

并发测试：共测试了 5、15、25、35、45、55 并发，无一例失败请求

二、各并发级别数据概览

下表为各并发场景下的核心指标（平均吞吐量单位：tokens/s；QPS：每秒请求数）：

说明：从5、25、35、45、55并发测试中可见，随着并发数提高，系统整体吞吐量呈上升趋势，而平均延时及每个输出token的生成耗时也逐步增加；但15并发测试中TTFT明显偏高（平均3.025s），可能受测试样本较少或调度偶发延时影响。

三、关键性能指标

四、详细数据

5请求5并发

15请求15并发

25请求25并发

35请求35并发

45请求45并发

55请求55并发

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-12-14

Claude Skill深度分析：拖拉拽已死，Skill 当立

2025-12-14

PostHog关于Agent的8个核心经验

2025-12-14

AI原生数据库的思考

2025-12-14

Anthropic：别再构建智能体，开始构建技能

2025-12-14

Cursor 2.2 炸裂发布：首创 Debug 模式，专治各种“疑难杂症”！

2025-12-14

干掉同传？谷歌把AI同传放入所有耳机，顺手发了个颠覆性的AI浏览器

2025-12-14

从Palantir本体论，看驱动智能的下一代数据架构

2025-12-14

企业AI有繁荣，没泡沫｜笔记

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

从需求场景出发的AI应用项目落地方法论

2025-09-19

马斯克 Grok imagine 完整使用指南：工具、案例、提示词，看这一篇就够了！

2025-10-26

实测 Sora 2 ：AI视频的“ChatGPT时刻”来了？八大场景教你解锁各种玩法（附邀请码）

2025-10-02

新版 GPT-5 刚刚发布，最卷 AI 连肝代码 7 小时，编程工具大洗牌开始了

2025-09-16

阿里发布下一代企业级智能体开发框架AgentScope 1.0

2025-09-17

RagFLow v0.20.X全面解析！双向MCP、Agentic智能体...这次真的起飞了！（附长图）

2025-09-29

一文速览OpenAI Dev Day 2025，下半年开始大洗牌

2025-10-07

Claude Sonnet4.5发布，号称世界最强模型，超越gpt-5-codex

2025-09-30

我挖到Gemini 3.0 Pro十大隐藏玩法，做网页已经落后N个版本了

2025-11-19

万字长文深度解析最新Deep Research技术：前沿架构、核心技术与未来展望

2025-10-20

大家都在问

巨头翻身！谷歌全新AI浏览器Disco问世，PC版灵光？

2025-12-14

2025年，企业级AI的主战场在哪里？

2025-12-12

GPT 5.2的长上下文厉害了，但是写文真的强吗？

2025-12-12

涌现观点｜AI 开发的"App Store 时刻"：为什么你应该停止构建 Agent？

2025-12-11

Human In the Loop竟然可以是个MCP?

2025-12-09

AI会消灭搜索吗？

2025-12-08

企业在本地部署大语言模型，如何构建网络信息安全防护体系？

2025-12-08

Bun × Anthropic：AI 运行时变革的信号？

2025-12-03

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB

应聘简历请发送至： ceo@53ai.com

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部