1. 背景

在 AI 驱动的企业知识管理与自动化运维领域，RAG（Retrieval-Augmented Generation） 模式已经成为提升大模型回答准确度和上下文理解能力的关键方案。 传统大模型（LLM）仅依赖训练语料回答问题，而 RAG 在推理前引入 外部知识检索，可显著减少幻觉（Hallucination），提升对领域专属知识的掌握能力。

在向量数据库的选择上，pgvector 是 PostgreSQL 的一个扩展，具备：

• 低门槛：PostgreSQL 原生扩展，SQL 即可用，无需额外部署独立向量库
• 兼容性：支持多种向量距离（L2、内积、余弦相似度）
• 索引支持：IVFFlat、HNSW 等向量索引优化
• 事务与安全：继承 PostgreSQL 的事务机制与访问控制

对于企业级 DevOps、ITSM、知识库、FinOps 等系统，pgvector 能帮助我们快速构建一套可控、可扩展的 RAG 数据层。

2. RAG 系统架构

一个典型的 pgvector + RAG 架构如下：

[用户问题]
     ↓
[向量化模型 (Embedding Model)]
     ↓
[pgvector 检索相似文档]
     ↓
[上下文拼接 + 用户问题]
     ↓
[LLM 推理]
     ↓
[回答输出]

在企业落地中，我们一般分三大模块：

1. 数据准备

• 文档解析（PDF、DOCX、Markdown、HTML、数据库记录等）
• 分块（Chunking）
• 向量化（Embedding）
• 存储到 pgvector

• 接收用户 Query
• Query 向量化
• 近似最近邻（ANN）搜索
• 返回最相似的 N 个文档

• 将检索到的文档内容拼接到用户问题前
• 调用 LLM（如 OpenAI、Claude、LLaMA 等）
• 输出带来源引用的回答

3. 数据建模与表结构设计

3.1 创建扩展与表

CREATE EXTENSION IFNOTEXISTS vector;

CREATETABLE documents (
    id bigserial PRIMARY KEY,
    contenttext,
    embedding vector(1536), -- 对应 OpenAI text-embedding-ada-002
    metadata jsonb           -- 存储文件名、来源、标签等
);

-- 创建 IVFFlat 索引（L2 距离）
CREATEINDEXON documents USING ivfflat (embedding vector_l2_ops) WITH (lists = 100);
ANALYZE documents;

embedding vector(1536) 的维度需和你使用的向量模型一致

4. 数据入库（Go 实现）

4.1 Go 依赖

go get github.com/jackc/pgx/v5
go get github.com/sashabaranov/go-openai

4.2 插入代码示例

package main

import (
    "context"
    "encoding/json"
    "fmt"
    "log"

    "github.com/jackc/pgx/v5"
    openai "github.com/sashabaranov/go-openai"
)

func main() {
    ctx := context.Background()

    conn, err := pgx.Connect(ctx, "postgres://postgres:@localhost:5432/testdb?sslmode=disable")
    if err != nil {
        log.Fatal(err)
    }
    defer conn.Close(ctx)

    client := openai.NewClient("YOUR_OPENAI_API_KEY")

    text := "RAG 是一种结合检索和生成的技术..."
    resp, err := client.CreateEmbeddings(ctx, openai.EmbeddingRequest{
        Input: []string{text},
        Model: openai.AdaEmbeddingV2,
    })
    if err != nil {
        log.Fatal(err)
    }

    vec := resp.Data[0].Embedding
    meta, _ := json.Marshal(map[string]string{"source": "技术白皮书"})

    _, err = conn.Exec(ctx,
        "INSERT INTO documents (content, embedding, metadata) VALUES ($1, $2, $3)",
        text,
        fmt.Sprintf("[%s]", floatArrayToString(vec)),
        meta,
    )
    if err != nil {
        log.Fatal(err)
    }

    fmt.Println("✅ 文档插入完成")
}

func floatArrayToString(arr []float32) string {
    s := ""
    for i, v := range arr {
        if i > 0 {
            s += ","
        }
        s += fmt.Sprintf("%f", v)
    }
    return s
}

5. 检索 + RAG 生成

5.1 检索相似文档

SELECT id, content, embedding <-> $1 AS distance
FROM documents
ORDER BY embedding <-> $1
LIMIT 3;

<-> 表示 L2 距离，也可以用 <#>（余弦距离）。

5.2 Go 中实现检索 + 调用 LLM

query := "什么是 RAG 技术？"
qResp, _ := client.CreateEmbeddings(ctx, openai.EmbeddingRequest{
    Input: []string{query},
    Model: openai.AdaEmbeddingV2,
})

qVec := fmt.Sprintf("[%s]", floatArrayToString(qResp.Data[0].Embedding))

rows, _ := conn.Query(ctx,
    "SELECT content FROM documents ORDER BY embedding <-> $1 LIMIT 3", qVec)

var contextText string
for rows.Next() {
    var content string
    rows.Scan(&content)
    contextText += content + "\n"
}

prompt := fmt.Sprintf("已知信息：\n%s\n\n问题：%s\n请基于已知信息回答，并引用来源。", contextText, query)

ans, _ := client.CreateChatCompletion(ctx, openai.ChatCompletionRequest{
    Model: openai.GPT4o,
    Messages: []openai.ChatCompletionMessage{
        {Role: "user", Content: prompt},
    },
})

fmt.Println("回答:", ans.Choices[0].Message.Content)

6. 性能与优化建议

1. 分块策略

• 每块 300~500 token
• 重叠（overlap）50~100 token
• 避免上下文断裂

• lists 越大，召回率高但插入变慢
• 可通过离线评估（Recall@K）调整

• 使用 COPY 或批量事务插入向量
• 避免单条写入延迟

• BM25 + 向量搜索加权排序
• 结合 pgvector 与 PostgreSQL 全文检索（tsvector）

• 企业级大规模数据建议分 shard
• pgvector 与 Citus 分布式 PG 可结合

7. 企业级应用案例

• ITSM 智能工单

• 工单内容向量化存储
• 用户输入问题 → 相似历史工单匹配 → 提供解决方案

• 企业知识库

• 将内部 Wiki、标准作业流程（SOP）文档向量化
• LLM 调用前先检索最相关内容，确保回答准确

• DevOps 日志分析

• 日志片段向量化
• 按相似度聚类与分析，快速定位问题

8. 总结

pgvector 让 RAG 系统的数据层落地成本极低，在企业内可以直接复用现有 PostgreSQL 基础设施，享受事务、安全、备份等优势。 结合 OpenAI Embedding API 或本地向量化模型（如 bge、Instructor XL），可以快速搭建高可用、可扩展的企业知识增强问答系统。