微信扫码
与创始人交个朋友
我要投稿
老牛同学之前使用的MacBook Pro电脑配置有点旧(2015 年生产),跑大模型感觉有点吃力,操作起来有点卡顿,因此不得已捡起了尘封了快两年的MateBook Pro电脑(老牛同学其实不太喜欢用 Windows 电脑做研发工作)。此文注意是记录配置新电脑的内容,一来给老牛同学留个备忘,同时也特别希望能给其他朋友一些帮助。
配置一台方便用于大模型应用研发的新电脑,最基础的需要包括以下配置内容:
Miniconda和pip都是 Python 生态中的两个不同的包管理工具,它们都用于安装和管理 Python 包。但是在大模型相关的应用研发中,老牛同学推荐使用Miniconda的原因:
在实际使用中,由于Minionda可以很好地处理复杂的依赖关系和环境管理,它通常是首选工具。但是,如果只需要安装纯 Python 包,使用pip可能会更加简单直接。
第一步: 下载地址:https://docs.anaconda.com/miniconda/
根据操作系统,选择安装包,支持包括:Windows、MacOS 和 Linux 系统
第二步: 安装和配置:安装过程和普通软件没有两样,安装完成之后,我们配置 Python 环境:
老牛同学的安装目录是:D:\Software\miniconda3
因后面需要执行conda
命令,因此提前把以下目录添加到系统环境变量中(变量名:Path
):
D:\Software\miniconda3
D:\Software\miniconda3\Scripts
D:\Software\miniconda3\Library\bin
第三步: 设置 Conda 虚拟环境目录(可选):默认情况下,虚拟环境内容在C:\
盘,老牛同学 C 盘比较较小,就把它设置到D:\
盘
打开 Termianl 终端,查看Conda基本信息:conda info
> conda info
active environment : None
user config file : C:\Users\obull\.condarc
populated config files :
conda version : 24.4.0
conda-build version : not installed
python version : 3.12.3.final.0
solver : libmamba (default)
virtual packages : __archspec=1=x86_64_v3
__conda=24.4.0=0
__win=0=0
base environment : D:\Software\miniconda3 (writable)
conda av data dir : D:\Software\miniconda3\etc\conda
conda av metadata url : None
channel URLs : https://repo.anaconda.com/pkgs/main/win-64
https://repo.anaconda.com/pkgs/main/noarch
https://repo.anaconda.com/pkgs/r/win-64
https://repo.anaconda.com/pkgs/r/noarch
https://repo.anaconda.com/pkgs/msys2/win-64
https://repo.anaconda.com/pkgs/msys2/noarch
package cache : D:\Software\miniconda3\pkgs
C:\Users\obull\.conda\pkgs
C:\Users\obull\AppData\Local\conda\conda\pkgs
envs directories : D:\Software\miniconda3\envs
C:\Users\obull\.conda\envs
C:\Users\obull\AppData\Local\conda\conda\envs
platform : win-64
user-agent : conda/24.4.0 requests/2.31.0 CPython/3.12.3 Windows/11 Windows/10.0.22621 solver/libmamba conda-libmamba-solver/24.1.0 libmambapy/1.5.8 aau/0.4.4 c/. s/. e/.
administrator : False
netrc file : None
offline mode : False
可以看到几个重要信息:
C:\Users\obull\.condarc
D:\Software\miniconda3\pkgs
D:\Software\miniconda3\envs
以上配置都是默认配置,其中包环境和虚拟环境目录比较占磁盘空间,可以设置为其他目录,同时下载渠道可以使用国内镜像以提升包的下载速度:
C:\Users\obull\.condarc
.condarc
配置文件不存在,可以执行命令自动生成一个默认文件:conda config --set show_channel_urls yes
.condarc
配置,设置虚拟环境目录和:envs_dirs:
- D:/Software/miniconda3/pkgs
pkgs_dirs:
- D:/Software/miniconda3/envs
show_channel_urls: true
channels:
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
- defaults
custom_channels:
conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
pytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
保存配置文件之后,我们可以看到Conda信息的变化:conda info
Conda命令还有一些其他用法,比较常用的命令如下列表:
conda --version
conda update conda
numpy
包):conda install numpy
通过首选渠道下载包文件conda install conda-forge::numpy
通过conda-forge渠道下载包文件conda install --name PY2.7 matplotlib
安装matplotlib
包到指定的PY2.7
虚拟环境特别注意: 有了Miniconda包管理工具,我们无需单独下载和安装 Python,可直接通过 Conda 安装对应的版本即可。
老牛同学创建一个名称为PY3.12的虚拟环境,使用 Python 版本为3.12.3:conda create --name PY3.12 python=3.12.3
新建虚拟环境需要初始化基础包(包括 Python SDK 等),基础包下载完成之后,可以通过命令查看虚拟环境列表:conda info --envs
> conda info --envs
base D:\Software\miniconda3
PY3.12 D:\Software\miniconda3\pkgs\PY3.12
其中,base
是Conda默认的虚拟环境,我们刚创建的PY3.12
虚拟环境已经存在了!
默认虚拟环境是base
,我们可以激活和取消虚拟环境。若是首次使用,则需要执行conda init
命令进行初始化:
conda activate PY3.12
conda deactivate
(无需指定环境名)C:\Users\obull>
C:\Users\obull>conda activate PY3.12
(D:\Software\miniconda3\pkgs\PY3.12) C:\Users\obull>
(D:\Software\miniconda3\pkgs\PY3.12) C:\Users\obull>conda deactivate
C:\Users\obull>
在 Python 研发 IDE 选择上,老牛同学推荐推荐使用Jupyter Lab,当然如果有PyCharm等 Python 开发工具,也是一个不错的选择:
Jupyter Lab IDE 可以通过Conda安装,其安装命令如下:
# 激活Python虚拟环境
conda activate PY3.12
# 安装Jupyter Lab(指定下载源)
conda install -c conda-forge jupyterlab
conda install -c conda-forge ipywidgets
Jupyter Lab IDE 成功安装之后,可以通过以下命令打开:
# 激活Python虚拟环境
conda activate PY3.12
# 切换到Jupyter目录(我们以后代码存放的目录)
cd ~/JupyterLab
# 启动Jupyter WebIDE
jupyter-lab .
浏览器自动打开了 Web IDE,或者自己打开:http://localhost:8888/lab
使用Ollama可以非常方便的管理本地大模型,目前主流大模型都支持Ollama,包括Phi、Qwen、Llama等,因此使用Ollama可以提升我们管理和使用大模型效率:
OLLAMA_MODELS
,系统环境变量的值为新的目录(如老牛同学设置为:D:\ModelSpace\Ollama
)Qwen2-7B
为例:ollama run qwen:7B
模型文件下载完成之后,自动就有了对话客户端:
D:\>conda activate PY3.12
(D:\Software\miniconda3\pkgs\PY3.12) D:\>ollama list
NAME ID SIZE MODIFIED
qwen:7b 2091ee8c8d8f 4.5 GB 3 hours ago
(D:\Software\miniconda3\pkgs\PY3.12) D:\>ollama run qwen:7b
Ollama自带控制台聊天对话界面体验总归是不太好,接下来部署 Web 可视化聊天界面:
ollama-webui
工程代码:git clone https://github.com/ollama-webui/ollama-webui-lite ollama-webui
ollama-webui
代码的目录:cd ollama-webui
npm config set registry http://mirrors.cloud.tencent.com/npm/
npm install
npm run dev
如果看到以上输出,代表 Web 可视化界面已经成功了!
浏览器打开 Web 可视化界面:http://localhost:3000/
Ollama其他的命令工具:
# 查看当前Ollama的模型
ollama list
# 增量更新当前部署的模型
ollama pull qwen:7b
# 删除一个模型文件
ollama rm qwen:7b
# 复制一个模型
ollama cp qwen:7b Qwen-7B
OllamaAPI 结果返回
curl http://localhost:11434/api/generate -d '{
"model": "qwen:7b",
"prompt":"为什么天空是蓝色的?"
}'
Ollama API聊天对话
curl http://localhost:11434/api/chat -d '{
"model": "qwen:7b",
"messages": [
{ "role": "user", "content": "为什么天空是蓝色的?" }
]
}'
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-05-28
2024-04-26
2024-08-13
2024-08-21
2024-07-09
2024-04-11
2024-07-18
2024-08-04
2024-10-25
2024-07-01
2024-12-03
2024-12-01
2024-11-29
2024-11-26
2024-11-25
2024-11-21
2024-11-18
2024-11-14