粤ICP备17114055号
微信扫码
添加专属顾问
支持私有化部署
我要投稿
1. 安装Ollama
Ollama官网：https://ollama.com/
在Linux下，终端执行以下命令
curl -fsSL https://ollama.com/install.sh | sh
2. 运行大模型
本地运行 llama3.1：8b 模型，在终端中运行，首次运行会自动拉取模型文件，8b模型大概4G-5G，需要稍微等待一下。
ollama run llama3.1：8b
1. 首先安装Docker，此篇就不详细说明了，不懂的同学可以参考我过去的文章，里面有详细的安装方法。
2. Docker拉取AnythingLLM镜像，打开终端运行
docker pull mintplexlabs/anythingllm
3. 下面的命令将在本地挂载存储并在 Docker 中运行 AnythingLLM，可以全部一次性复制到终端中运行。
export STORAGE_LOCATION=$HOME/anythingllm && \ mkdir -p $STORAGE_LOCATION && \ touch "$STORAGE_LOCATION/.env" && \ docker run -d -p 3001:3001 \ --cap-add SYS_ADMIN \ -v ${STORAGE_LOCATION}:/app/server/storage \ -v ${STORAGE_LOCATION}/.env:/app/server/.env \ -e STORAGE_DIR="/app/server/storage" \ mintplexlabs/anythingllm4. 运行AnythingLLM
（1）先检查 Ollama是否正常运行，只有 Ollama正常运行后，AnythingLLM才能正确配置和运行大模型。打开浏览器，地址栏输入：http://localhost:11434
可以看到 “Ollama is running” 。
（2）运行AnythingLLM，打开浏览器，地址栏输入：http://localhost:3001，如安装无误，可以看到以下页面。
docker ps
1. 打开AnythingLLM页面：http://localhost:3001 ，点击“Get started” 开始配置
2. 选择大模型类型，这里选 “Ollama”
3. Data handling & privacy ， 这里列出了RAG过程中所选择的模型。
4. 输入电邮和使用原因
5. 建立工作空间，输入工作空间的名称: anything_ollama
6. 建立工作空间完成
7. 本地大模型配置
这里注意Ollama Base URL ，如果Ollama部署在本地电脑，官网提供几种地址方式：
8. 正确配置后，回到工作空间问答页，就可以正常对话了
9. 为了提升大模型回答问题的质量和准确性，我们通过RAG的方式，加入本地知识库。点击工作空间旁的上传按钮，打开文档上传页。
（1）选择本地文档上传到AnythingLLM。我们用几篇stm32单片机开发的资料，做RAG处理。
（2）选择文档加入到工作空间。
10. 测试本地知识库的效果
而没有这些知识库，llama3.1:8b大模型回答的效果如下。
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2025-04-30
速报！DeepSeek-Prover-V2-671B 悄然上线，或为 R2 铺路？
2025-04-30
“Qwen3之后，我才真正敢投AI应用”
2025-04-30
真·开源MCP平台来了！ACI.dev能一站直连600+工具，让你的智能体秒变全能王！
2025-04-30
n8n：免费+开源的自动化神器，比dify更简单，比Make更强大！
2025-04-30
宝藏发现：Sim Studio，一款让AI工作流搭建变简单的开源利器
2025-04-29
我们有必要使用 Qwen3 吗？
2025-04-29
Qwen3开源发布：Think Deeper, Act Faster！社区推理、部署、微调、MCP调用实战教程来啦！
2025-04-29
阿里 Qwen3 技术详解: 4B 参数媲美 72B，MoE 架构的开源突破
2024-07-25
2025-01-01
2025-01-21
2024-05-06
2024-09-20
2024-07-20
2024-07-11
2024-06-12
2024-08-13
2024-12-26
2025-04-30
2025-04-29
2025-04-28
2025-04-28
2025-04-28
2025-04-21
2025-04-19
2025-04-17
回到顶部