无需网络，轻松在手机上离线布署本地大模型

目前支持的移动端布署方式

1. Termux 安装法

优点： 可以在手机上安装 Termux，然后通过该工具安装 Linux 系统，并下载和运行大模型（如 Ollama、Llama 3和Phi-3等）。

缺点： 安装过程复杂，涉及大量命令行操作，需要在终端中进行设置和使用，使用体验差，适合技术专家或开发者。

具体安装过程参考： https://www.53ai.com/news/qianyanjishu/1795.html

总结： 比较适合有一定技术背景的用户，体验不如其他方法友好。

2. MLC

优点： 支持 GPU 调用，可能提升计算速度，较为推荐的方案。

AppStore可下载，安卓上使用方法参考：在手机上运行大模型（使用MLC-LLM） · Valdanitooooo/knowledge-hub · Discussion #66 · GitHub^[1] ，文档地址：Introduction to MLC LLM — mlc-llm 0.1.0 documentation^[2]

缺点： 使用旧手机时，容易出现黑屏等问题，可能是由于占用过多 GPU 资源。新手机可能会有所改善。

总结： 适合较新型号的手机，老旧设备可能体验较差。

3. Maid APP 安装法

优点： 通过安装 Maid APP，可以直接使用大模型，安装较为简便。

缺点： 需要科学上网，运行速度非常慢，使用体验差，不推荐使用。

总结： 虽然安装简便，但性能和速度的限制使得这不是一个理想选择。

4. PocketPal

优点： 国外的一个应用，运行方便，速度较快，适合大多数用户使用。开源，这是重点！！！

缺点： 安装包只能在谷歌商店下载，需要特殊网络才能使用，且国内用户访问速度慢

总结： 瑕不掩瑜，PocketPal AI是一款比较好的选择。

接下来，我们将重点就PocketPal AI进行更为详细的介绍。

关于PocketPal AI ??

PocketPal AI 是一款袖珍型的 AI 助手，基于小型语言模型（SLMs）运行，直接在您的手机上运行。它支持 iOS 和 Android，允许您在无需互联网连接的情况下与各种 SLMs 进行互动。

特点

•离线 AI 助手：直接在设备上运行语言模型，无需互联网连接。•模型灵活性：下载并切换多个 SLMs，包括 Danube 2 和 3、Phi、Gemma 2 和 Qwen。• 自动卸载/加载：当应用在后台时，自动管理内存，通过卸载模型来节省空间。 •推理设置：自定义模型参数，如系统提示、温度、BOS 标记和聊天模板。 • 实时性能指标：查看每秒生成的令牌数量和每个令牌的毫秒数。

安装

iOS

从 App Store 下载 PocketPal AI： 在 App Store 下载^[3] 

Android

通过 Google Play 获取 PocketPal AI： 在 Google Play 获取^[4]

可用模型

PocketPal AI 预配置了一些流行的 SLMs（小型语言模型）：

•Danube 2 和 3•Phi•Gemma 2•Qwen

在使用之前，模型需要先下载。您可以直接从应用程序中下载并使用这些模型，还可以加载任何其他您喜欢的 GGUF 模型！

使用 PocketPal AI

有关如何使用 PocketPal AI 的详细指南，请查看 入门指南^[5]。

下载模型

•点击汉堡菜单•进入“模型”页面•选择您需要的模型并点击下载

加载模型

下载后，点击 加载 按钮将模型加载到内存中。现在，您可以开始与模型对话！

小贴士

在 iOS 设备上，默认启用了 Apple 的 GPU API（Metal）。如果您遇到性能问题，可以尝试禁用它。

自动卸载/加载

为了保持设备运行顺畅，PocketPal AI 可以自动管理内存使用：

•在模型页面启用“自动卸载/加载”（默认启用）•当应用程序在后台时，它会卸载模型•当您返回时，模型会重新加载（对于较大的模型，可能需要等待几秒钟）

高级设置

点击箭头图标访问高级 LLM 设置，例如：

•温度•BOS 标记•聊天模板选项•等等

最后，让我们开始聊天！

一旦模型加载完成，进入“聊天”页面并开始与加载的模型对话！

生成性能指标也会显示。如果感兴趣，可以通过观察聊天气泡查看实时性能指标：每秒令牌数和每个令牌的毫秒数。

复制文本

重要提示：目前，我还没有找到一种简单的方法，可以在保留文本格式的同时，从生成的响应中选择并复制文本，尤其是 Markdown 格式的支持。

在此期间，以下是复制文本的当前选项：

•段落级复制：长按特定段落以复制其内容。•全部响应复制：点击文本气泡底部的复制图标以复制整个 AI 生成的响应。

我知道这些选项可能不太理想，这也是我在使用其他应用时遇到的困扰。复制文本部分内容的困难，曾是类似 ChatGPT 等聊天应用中的一个特别令人烦恼的问题。

开发者们：PocketPal AI 是使用 React Native 构建的。找到一个平衡文本选择与保留格式（特别是 Markdown 支持）的方法对我来说一直很困难。如果您有相关经验，我非常愿意听听您的意见！