粤ICP备17114055号
微信扫码
添加专属顾问
支持私有化部署
我要投稿
《使用 NVIDIA NIM 大规模部署 RAG 工作流》
新课发布
配有实战练习环境的在线自主培训
在现代企业商业智能化的发展中，检索增强生成（RAG）在大语言模型应用中的地位日益凸显。不仅能够显著提升企业内容创作与交互的智能化水平，还能在多个业务场景中实现精准信息抽取与高效内容生成。企业级的 RAG 应用需要应对巨大流量和大规模文档，从模型搭建到生产级部署具有很高的复杂度和参数量。
本课程探讨 RAG 工作流生产级部署的最佳实践。您将学习部署、监控、自动扩展、线上热更新的全工作流。为您在搭建部署过程中，降低试错成本，加速大模型应用落地。
课程时长：4 学时（课后 6 个月内可以继续访问课件，实验资源用量有限额）
课程语言：中文
工具、库、框架：NVIDIA NIMs、Kubernetes、Helm、Grafana、Prometheus
学习目标：
使用 Helm 和 NVIDIA RAG Operator 将 RAG 应用部署到 Kubernetes 集群上。
利用 NVIDIA NIM 实现可扩展的容器化 LLM 和嵌入模型。
连接、更新、添加和自动扩展应用组件。
使用 Prometheus 和 Grafana 监控应用性能。
课程大纲：
课程设置概述：熟悉课程的交互式环境、Kubernetes 设置，并了解课程所需的 Kubernetes 概念和命令。
基于 Kubernetes 的 RAG 应用部署：如何使用 Kubernetes 和 Helm 部署 RAG 工作流，以及如何在工作流中使用单个 NIM 服务。
监控：如何使用 DCGM 监控应用程序，以及如何配置和查看 Grafana 和 Prometheus。
自动扩展：基于自定义指标使用 HPA 自动扩展应用程序，并对应用程序进行负载测试。
自定义 RAG 工作流组件：替换应用组件，例如 LLM。
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2025-04-30
聊聊AI智能体框架MetaGPT下的RAG实践
2025-04-30
如何用大模型+RAG给宠物做一个AI健康助手（干货分享）？
2025-04-30
HiRAG:基于层级知识索引和检索的高精度RAG
2025-04-29
教程|通义Qwen 3 +Milvus，混合推理模型才是优化RAG成本的最佳范式
2025-04-29
RAG开发框架LangChain与LlamaIndex对比解析：谁更适合你的AI应用？
2025-04-29
RAG性能暴增20%！清华等推出“以笔记为中心”的深度检索增强生成框架，复杂问答效果飙升
2025-04-29
超神了，ChatWiki 支持GraphRAG，让 AI 具备垂直深度推理能力！
2025-04-29
AI 产品思维：我如何把一个 AI 应用从基础 RAG 升级到 multi-agent 架构
2024-10-27
2024-09-04
2024-07-18
2024-05-05
2024-06-20
2024-06-13
2024-07-09
2024-07-09
2024-05-19
2024-07-07
2025-04-30
2025-04-29
2025-04-29
2025-04-26
2025-04-25
2025-04-22
2025-04-22
2025-04-20
回到顶部