粤ICP备17114055号
微信扫码
添加专属顾问
支持私有化部署
我要投稿
1：让人惊讶的是所有的供应商都提供对该模型的支持，开源让软件和模型共同开发变得非常容易。
2：目前Llama 3.1 405B是一个很难盈利的模型，要半台或一台机器才能运行，成本很高速度也不快，大部分供应商只有做到30 token/s才能保本，而70B的模型能做到150 token/s。
3：对于供应商来说还是能够收支平衡的，首先要做好量化同时控制好负载，但利润率肯定做不到80%（传统SaaS能做到）
4：量化是优化的标准解决方案，忘记FP16. Int8/FP8是大势所趋。
5：量化要非常小心，单一的scale量化将不复存在，未来需要channel wise / group量化方案。
6：他预测405B的采用会受到速度和价格的限制。但在未来一年左右的时间里，效率至少会提高4倍。
7：他很期待测试 Mistral Large 123B，不过该模型主要用于学术研究。
8：small model FTW，在垂直应用中，70B的模型足够了，甚至8B模型做好微调也很好。
9：llama 3.1鼓励进行模型微调。
10：vLLM是非常优秀的推理引擎。
11：Lepton AI是一个API大模型平台，速度、价格、并发性和成本需要综合考虑。
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2025-04-30
DeepSeek Prover-V2，这才是探索AGI 的正确姿势！
2025-04-30
速报！DeepSeek-Prover-V2-671B 悄然上线，或为 R2 铺路？
2025-04-30
“Qwen3之后，我才真正敢投AI应用”
2025-04-30
真·开源MCP平台来了！ACI.dev能一站直连600+工具，让你的智能体秒变全能王！
2025-04-30
n8n：免费+开源的自动化神器，比dify更简单，比Make更强大！
2025-04-30
宝藏发现：Sim Studio，一款让AI工作流搭建变简单的开源利器
2025-04-29
我们有必要使用 Qwen3 吗？
2025-04-29
Qwen3开源发布：Think Deeper, Act Faster！社区推理、部署、微调、MCP调用实战教程来啦！
2024-07-25
2025-01-01
2025-01-21
2024-05-06
2024-09-20
2024-07-20
2024-07-11
2024-06-12
2024-08-13
2024-12-26
2025-04-30
2025-04-29
2025-04-28
2025-04-28
2025-04-28
2025-04-21
2025-04-19
2025-04-17
回到顶部