使用 Phi-2 使用 OpenLLM 和 LlamaIndex 构建智能系统

发布日期：2024-04-25 12:59:58 浏览次数： 4058

作者：二师兄talks

微信搜一搜，关注“二师兄talks”

介绍

在自然语言处理（NLP）不断发展的环境中，开源大型语言模型（LLM）的兴起引发了革命性的进步。在这个领域，OpenLLM 和 LlamaIndex 已成为关键工具，重塑了开发人员与 LLM 的互动方式并管理特定领域的数据。这些平台的合并为构建智能查询响应系统提供了前所未有的机会，从而揭示了人工智能的真正潜力。

定义

OpenLLM：OpenLLM 定位为一个动态的开源平台，是用于在实际应用程序中部署和编排各种开源 LLM 的中心。其用户友好的界面简化了跨各种应用程序微调、服务、部署和监控 LLM 的复杂流程。
LlamaIndex：作为一个扩展的框架，LlamaIndex 将定制的数据源无缝集成到扩展的 LLM 生态系统中。这种集成充当了一座桥梁，允许将一般知识与复杂的、特定于上下文的数据融合在一起，丰富了人工智能应用的深度。

集成的好处

OpenLLM 和 LlamaIndex 的合并为开发人员和 AI 爱好者提供了大量好处：

自定义：开发人员可以定制 AI 解决方案以匹配特定数据上下文，确保更精确、更智能的查询响应机制。
增强的智能：利用 LlamaIndex 管理特定领域数据的能力丰富了 LLM 的知识库，从而能够更准确、更明智地响应查询。
可扩展性：OpenLLM 对多个开源 LLM 的支持与 LlamaIndex 的数据管理功能相结合，为可扩展和适应性强的 AI 应用程序铺平了道路。

代码实现

实现过程包括几个步骤，从设置环境、安装必要的软件包和配置 LLM 服务器开始。这促进了通过 OpenLLM 和 OpenLLMAPI 与 LLM 的交互，启动查询并接收针对特定上下文量身定制的响应。

初始服务：一个简单的完成服务演示了 OpenLLM 和 LlamaIndex 之间的交互，说明了 LLM 如何响应特定提示。尽管有一些幽默的误解，但这为后续的改进奠定了基础。
增强的查询响应系统：与 LlamaIndex 的集成通过允许 LLM 从特定领域的信息中学习来增强系统的功能。通过创建本地知识库并向 LLM 提供相关信息，系统可以生成更准确且与上下文相关的响应。

步骤 I：安装库

pip install "openllm[vllm]" llama-index
TRUST_REMOTE_CODE=True openllm start microsoft/phi-2 --quantize int8

步骤 II：导入库并矢量化内容以查询数据

from llama_index import VectorStoreIndex, SimpleDirectoryReader, ServiceContextfrom llama_index.llms.openllm import OpenLLMfrom llama_index.text_splitter import SentenceSplitter
from llama_index.llama_dataset import download_llama_dataset
rag_dataset, documents = download_llama_dataset("PaulGrahamEssayDataset", "./data")
llm = OpenLLMAPI(address="<http://localhost:3000>")
# Break down the document into manageable chunks (each of size 1024 characters, with a 20-character overlap)text_splitter = SentenceSplitter(chunk_size=1024, chunk_overlap=20)
# Create a ServiceContext with the custom model and all the configurationsservice_context = ServiceContext.from_defaults(llm=llm,embed_model="local",text_splitter=text_splitter,context_window=8192,num_output=4096,)
# Build an index over the documents using the customized LLM in the ServiceContextindex = VectorStoreIndex.from_documents(documents, service_context=service_context,,vector_store_kwargs={"deep memory": True})
# Query your data using the built indexquery_engine = index.as_query_engine()response = query_engine.query("Who is Paul Graham?")print(response)