我要投稿

DeepSeek满血版云端私有化部署，支持知识库，仅2.5万/月！

发布日期：2025-03-05 18:12:12 浏览次数： 1794

作者：智星云算力

微信搜一搜，关注“智星云算力”

智星云提供一站式大模型服务方案，支持Deepseek全系模型（R1满血版/V3、70B/32B）及量化/非量化部署。

提供模型调优、RAG知识库构建与实时联网搜索能力。

集成Agent智能体框架实现多任务处理，配备多级鉴权体系保障数据安全，满足企业级场景需求，适配不同规模用户提供精准智能服务。

DeepSeek云端私有化方案：

DeepSeek云端私有化方案测试报告：

本报告针对两台4090服务器型号deepseek-R1的大语言模型在不同并发场景下（5 到 55 并发）的性能表现进行了系统测试。

测试指标涵盖整体耗时、吞吐量、每秒请求数（QPS）、平均响应延时、首 token 响应时间（TTFT）、每个输出 token 生成耗时（TPOT）、以及输入/输出 token 数量等。

所有数据均来自标准openqa数据集。

综合各并发级别的测试数据，deepseek-R1 模型在低并发（5、15）下响应较快，但随着并发数提高（25至55），系统吞吐量虽不断提升，但平均延时及每token生成时间也随之增加，特别是在高并发下尾部延时明显上升，模型在高并发环境下能够稳定处理请求。

并发与吞吐量以及输出token的关系图表：

吞吐量与并行

一、测试环境与配置

模型信息：deepseek-R1

超时设置：连接与读取超时均为120s

测试数据集：openqa

请求参数：

最大输出 token：2048

输入 token 数：约 22～28

输出 token 数：大致在 650～1200 范围内

并发测试：共测试了 5、15、25、35、45、55 并发，无一例失败请求

二、各并发级别数据概览

下表为各并发场景下的核心指标（平均吞吐量单位：tokens/s；QPS：每秒请求数）：

说明：从5、25、35、45、55并发测试中可见，随着并发数提高，系统整体吞吐量呈上升趋势，而平均延时及每个输出token的生成耗时也逐步增加；但15并发测试中TTFT明显偏高（平均3.025s），可能受测试样本较少或调度偶发延时影响。

三、关键性能指标

四、详细数据

5请求5并发

15请求15并发

25请求25并发

35请求35并发

45请求45并发

55请求55并发

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-06-14

挑战 Transformer 架构的谷歌最新扩散模型 Gemini Diffusion 系统提示词

2025-06-14

“AI原生”时代：企业数智化转型的分水岭

2025-06-14

多模态RAG的三类图文问答实现方式，你知道多少种？

2025-06-14

新一代文本表征Qwen3-Embedding与排序模型Qwen3-Reranker 部署和替换

2025-06-14

“华强北”围攻AI耳机，未来智能如何突围？

2025-06-14

AI时代如何为企业和个人赋能

2025-06-14

没吃透 Function Calling？难怪你不理解 AI Agent 为何非来不可！

2025-06-14

浅尝一下微软的AutoGen框架

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

DeepSeek R1-0528 小版本升级

2025-05-29

🧠 解码大语言模型的记忆力：上下文长度的前世今生

2025-03-20

萌新指南｜手把手教你Cherry Studio配置MCP，10分钟让大模型学会上网截图！

2025-03-21

教你解决GPT4o无法使用新版生图功能的教程

2025-04-11

Manus 是大模型 AI Agent + MCP，那什么是模型上下文协议 (MCP)?

2025-03-20

不止核弹芯片，黄仁勋发布两台 AI 个人超算，还拿下全球最快 DeepSeek 推理速度

2025-03-19

聊聊大模型MCP模型上下文协议-为何是AI在企业内应用落地的一个关键组件

2025-03-20

用 Go 语言打造高并发 MCP 服务器：理论、实战与 AI 应用全景探索

2025-03-19

MCP如何重塑AI开发？一文带你深入了解

2025-03-19

黄仁勋 2 个半小时演讲，英伟达已经进入「Agentic AI」时代

2025-03-19

大家都在问

多模态RAG的三类图文问答实现方式，你知道多少种？

2025-06-14

“华强北”围攻AI耳机，未来智能如何突围？

2025-06-14

张鹏对谈李广密：Agent 的真问题与真机会，究竟藏在哪里？

2025-06-14

为什么说Maus是未来任务型AI系统的代表？

2025-06-14

一手实测：首个有记忆的企业级AI Agent，能否经得住实践捶打？

2025-06-13

聊透 Agent，它是「同事」还是「工具」，创业机会和价值究竟是什么？

2025-06-13

拒绝碎片化 RAG，谷歌 DeepMind 推出 ReadAgent：模拟人类阅读长文本，或是NotebookLM底层技术？

2025-06-13

字节跳动2步突破，复杂文档布局解析，为啥如此惊艳？

2025-06-13

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB

应聘简历请发送至： ceo@53ai.com

友情链接：

CopyRight © 2012-2024 深圳市博思协创网络科技有限公司版权所有

粤ICP备17114055号

广州：广州市华景路37号(华景软件园)暨南大学科技大厦6楼（整层）

深圳：深圳市福田区泰然四路29号天安创新科技广场一期A座1204

上海：上海市浦东新区金新路58号1602室

微信扫码
和创始人交个朋友

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部