我要投稿

如何基于一台MacBook搞定企业级大模型知识库部署

发布日期：2025-06-10 07:50:48 浏览次数： 1538

作者：玄姐聊AGI

搜一搜，请前往微信公众号了解作者更多文章

—1—

为什么要在 MacBook 上搭建知识库？

最核心最重要的是我们手上的文档资料出于安全要求，不能随便上传到云服务，也就无法实际验证知识库的实际效用。另外对于 IT 同学来说，自己亲手搭建一个完整的方案、能灵活调整和对接各种不同的模型、评测各种模型不同的表现，也是出于对技术的探索本能使然。

使用的 MacBook 配置如下，对大模型经过量化处理（比如：int8）后，可以流畅运行。

—2—

知识库的架构设计

基于一台 MacBook 搭建部署的架构设计如下图，在这套架构设计中，我们采用了实力排上游、并且对企业和学术都友好的国产开源大模型 Qwen3-14B。

并采用了基于 m3e-base 模型的 embedding search RAG 方案。基于这两个模型封装和 ChatGPT 兼容的 API 接口协议；通过引入 One API 接口管理 & 分发系统，形成统一 LLM 接口渠道管理平台规范，并把封装好的接口协议注册进去；搭建与 dify.ai 齐名开源大模型知识库平台管理系统 FastGPT，实现集私有知识数据源预处理、嵌入检索、大模型对话一体的完整知识库应用流程。

麻雀虽小五脏俱全，最终形成一套既满足商用标准、又能在 MacBook 跑起来的的方案。虽然智能程度和实际需求还有一定差距，但至少我们在不用额外购买显卡或云服务的情况下，以最小成本部署运行、并且能导入实际业务数据（如：设计文档、业务流程文档、项目管理文档、技术分享文档等等）进行实操验证，值得每位工程师都来动手尝试一下。

—3—

知识库的部署设计

基于 MacBook 的部署方案分为四个主要环节、14个具体步骤，只要一步步实操下去，每位 IT 同学都可以在自己的 MacBook 上拥有属于自己的私有大模型知识库系统，步骤清单如下：

部分步骤可以简单地通过 Docker 镜像一键部署完成，但本着对细节一杆子插到底的部署思路，还是采取了纯手工作业的方法。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-06-11

刚刚，OpenAI 发布 o3-pro，开源模型推迟，奥特曼发长文：温和的奇点

2025-06-10

开源RAG项目到底如何选型？

2025-06-10

从DeepSeek官方最新的系统提示词，窥见DS的“性格”

2025-06-09

AI Agents开源工具栈全解析~

2025-06-09

[开源]面向企业级应用的开源知识管理系统，可落地的知识图谱体系

2025-06-08

开源嵌入新王落地！Qwen3-Embedding 本地部署指南 + Dify 召回测试实录

2025-06-08

通俗易懂的 MCP 概念入门

2025-06-08

免费开源的 Nanobrowser，竟成Web自动化的 “隐形高手”？

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

我把最近爆火的 DeepSeek-V3 接到了 Cursor！

2025-01-01

万字详解DeepSeek-R1，引爆AI圈的又一力作，大模型爆发势不可挡！

2025-01-21

我的电脑究竟可以本地跑什么版本的 DeepSeek-R1?一篇文章讲清楚！

2025-02-09

回应DeepSeek抄袭的质疑，DeepSeek和OpenAI ChatGPT的比较

2025-02-01

Dify新版本部署失败的看过来！Dify 1.0.0本地部署使用及主要问题解决方法

2025-03-19

使用DeepSeek必备的10个技巧

2025-01-29

刚刚，OpenAI发布o3-mini，可免费使用、3大推理模式

2025-02-01

价值「40亿美元」的AI Agent开源框架

2025-01-14

DeepSeek-R1-Distill-Qwen-1.5B 在某些基准测试中超越了 GPT-4o

2025-01-22

DeepSeek v3为何爆火？如何用其集成Milvus搭建RAG？

2025-01-22

大家都在问

开源RAG项目到底如何选型？

2025-06-10

免费开源的 Nanobrowser，竟成Web自动化的 “隐形高手”？

2025-06-08

如何管理和调度Dify工作流？

2025-05-28

字节开源文档解析Dolphin，PDF解析效率提升83%，到底行不行？

2025-05-28

蚂蚁集团开源antv的MCP服务：AI智能体与数据可视化的桥梁如何搭建？

2025-05-26

拆解OpenAI最大对手的杀手锏：为什么会是MCP？

2025-05-25

从基础大模型到场景适配，企业如何做好商业化最后一公里？

2025-05-23

AI 开源框架：Dify、Zylon、AutoGPT、Flowise、LangChain、React-Flow怎么选？

2025-05-17

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB

应聘简历请发送至： ceo@53ai.com

友情链接：

CopyRight © 2012-2024 深圳市博思协创网络科技有限公司版权所有

粤ICP备17114055号

广州：广州市华景路37号(华景软件园)暨南大学科技大厦6楼（整层）

深圳：深圳市福田区泰然四路29号天安创新科技广场一期A座1204

上海：上海市浦东新区金新路58号1602室

微信扫码
和创始人交个朋友

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部