粤ICP备17114055号
微信扫码
添加专属顾问
支持私有化部署
我要投稿
WebLLM 是一款高性能的浏览器内 LLM 推理引擎，它通过硬件加速将语言模型推理直接引入 Web 浏览器。一切都在浏览器内部运行，无需服务器支持，并通过 WebGPU 加速。
WebLLM与OpenAI API完全兼容。 也就是说，您可以在本地对任何开源模型使用相同的 OpenAI API ，其功能包括 json-mode、函数调用、流式传输等。
我们可以带来很多有趣的机会，为每个人构建 AI 助手，并在享受 GPU 加速的同时保护隐私。
您可以使用 WebLLM 作为基础npm 包，并按照文档和查看入门指南在其上构建自己的 Web 应用程序。该项目是MLC LLM的配套项目，可实现 LLM 在硬件环境中的通用部署。
github:https://github.com/mlc-ai/web-llm
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2025-04-30
MCP入门指南：大模型时代的USB接口
2025-04-30
通俗易懂的梳理MCP的工作流程（以高德地图MCP为例）
2025-04-30
一文说明 Function Calling、MCP、A2A 的区别！
2025-04-30
MCP很好，但它不是万灵药｜一文读懂 MCP
2025-04-30
旅行规划太难做？5 分钟构建智能Agent，集成地图 MCP Server
2025-04-29
10万元跑满血版DeepSeek，这家公司掀了一体机市场的桌子｜甲子光年
2025-04-29
谷歌大神首次揭秘Gemini预训练秘密：52页PPT干货，推理成本成最重要因素
2025-04-29
一文说清：什么是算法备案、大模型备案、大模型登记 2.0
2024-08-13
2024-06-13
2024-08-21
2024-09-23
2024-07-31
2024-05-28
2024-08-04
2024-04-26
2024-07-09
2024-09-17
2025-04-29
2025-04-29
2025-04-29
2025-04-28
2025-04-28
2025-04-28
2025-04-28
2025-04-28
回到顶部