推荐语
探索RK3576开发板的AI对话功能，体验嵌入式AI的魅力！
核心内容：
1. RK3576开发板升级过程及DDR配置优化
2. Deepseek AI对话模型部署与量化问题处理
3. 基于NPU的模型转换与运行效率提升
杨芳贤
53AI创始人/腾讯云(TVP)最具价值专家
前些时间299元入手买了一个鲁班猫3开发板，2+0配置的3576开发板。看到最近deepseek比较火，我查了一下根据以下公式计算，跑1.5B的大模型至少需要0.9GB的DDR空间。看到这里，大佬们应该知道我要干啥了，但是那是后续的事，今天打算先把前奏搞定，那就是升级这只猫的配置。
为了把嵌入式工程师能自己动手的绝不购买的原则，我选择从别的板子上拆了片4GB的LPDDR4X。我查看了一下鲁班猫3的原理图，它板载的DDR是国产兼容LPDDR4和LPDDR4X的颗粒，查看原理图和PCB位号发现默认的VDDQ1是0.6V，默认LPDDR4X模式。
颗粒的数据手册中的电压描述。
猫的原理图中DDR部分电路。
电源部分控制上电的电路细节如图，这里做了一个兼容设计，贴Q9不贴R110就是LPDDR4，贴R110不贴Q9就是LPDDR4X。
拿出钢网刮锡植球，183度低温锡膏，350度中风，吹啊吹我的骄傲放纵....
这个板子DDR布局离排针太近啦，拆焊时候注意别排针搞化啦，原出厂是高温锡，400度3档，啊吹~啊，吹~啊，镊子一碰哎嘿，有动静了夹起，完美。烙铁350度，放点助焊剂，哎嘿，拖的平平的。
植好球的芯片放上，我们是低温锡，350度够了，我是风儿，你是沙，飘飘洒洒，就焊上啦。开机完美，鲁班猫3顺利从哈基米进化成Tom了，从2+0进化到4+128的配置了。
硬件搞定，下一个目标，跑起来基于npu的deepseek。此处参考鲁班猫rkllm教程。
Git clone 一下RK官方的airockchip仓库，再安装一下conda，按照教程先配置一下PC的工具环境，鉴于只有4GB内存，我考虑先来个deepseek 1.5B吧。下载一下模型，用官方脚本量化。看看这些有趣的量化问题和量化时我PC的资源占用。通过这些问题微调模型。
然后修改NPU的模型参数，开始模型转换，转换成rkllm文件，直接scp发到板子上。
板端用make一下demo的源码，然后运行一下demo，加载上rkllm的模型。跑起来了，效率蛮不错的，刷刷刷的，有了NPU的加持，CPU也被解放出来啦，可以做更多的事情了。简单写个Rust生成斐波那契数列，各种问题都能考虑到，真的神奇。在这样小一个芯片上，以如此的速度跑起来这样神奇的功能，仿佛机器真的有了生命。
RK3576是目前体验嵌入式AI大模型性价比最优之选，成功部署之后，来个对话，太好玩了，甚至比和女朋友约会还有趣。大家如果感兴趣，可以一起来试试。
粤ICP备14082021号
免费POC，
零成本试错
