实用帖！LLM如何生成完美的JSON格式的输出

如果你经常用LLM来完成一些任务，比如写代码、生成结构化数据或者调用API，你可能已经听说过类似json_mode或者“函数调用”这样的功能。这些功能其实解决了一个很核心的问题：让LLM生成的内容完全按照我们想要的格式输出。

硅基流动的API除了DeepSeek，其他模型全部都支持JSON格式返回，大家可以去试试。

LLM生成内容的本质

我们都知道现在LLM生成内容的过程都是基于概率模型的，一步一步地生成每一个token。而每个token的选择其实是通过一个概率分布决定的，也就是说，下一个token是根据上下文“猜”出来的。

这个过程确实是非常灵活的，因为它允许LLM生成各种各样的文本。不过，这种灵活性也带来了一个问题：如果我们要的是某种特定格式的输出，比如JSON，那该怎么办呢？

调整概率分布

除了直接让LLM自由生成外，我们也可以通过一些技术手段来约束它的行为。今天我们重点聊聊一种非常实用的技术——通过人为干预概率分布，强制LLM生成符合特定语法的内容。

也就是我们可以把那些不符合目标格式的token的概率设置为0，从而确保LLM在生成内容时不会偏离我们设定的规则。这种方法在实践中已经被广泛使用了，比如json_mode、结构化输出（structured output）以及函数调用（function calling）等。

GitHub上的开源项目llama.cpp，它就提供了一个名为grammars/json.gbnf的文件（ https://github.com/ggml-org/llama.cpp/blob/master/grammars/json.gbnf ），专门用来定义JSON语法的规则。

root   ::= object
value  ::= object | array | string | number | ("true" | "false" | "null") ws

object ::=
"{" ws (
            string ":" ws value
    ("," ws string ":" ws value)*
  )? "}" ws

array  ::=
"[" ws (
            value
    ("," ws value)*
  )? "]" ws

string ::=
"\"" (
    [^"\\\x7F\x00-\x1F] |
    "\\" (["\\bfnrt] | "u" [0-9a-fA-F]{4}) # escapes
  )* "\"" ws

number ::= ("-"? ([0-9] | [1-9] [0-9]{0,15})) ("." [0-9]+)? ([eE] [-+]? [0-9] [1-9]{0,15})? ws

# Optional space: by convention, applied in this grammar after literal chars when allowed
ws ::= | "" | "\n" [ \t]{0,20}

通过这种方式，LLM在生成JSON格式的响应时，可以严格遵守这些语法规则，而不会出现任何偏差。

像 LangChain 这样提供 GBNF 支持的框架，也是通过 llama.cpp 实现的

或者你想用自己自定义的JSON结构的话，可以参考下面的写法：

from llama_cpp import Llama, LlamaGrammar

# Define your GBNF grammar
grammar_string = r"""
root ::= "{" pair ("," pair)* "}"
pair ::= string ":" list
list ::= "[" value ("," value)* "]"
value ::= string | number
string ::= "\"" [a-zA-Z0-9_]+ "\""
number ::= [0-9]+
"""

# Create a LlamaGrammar object
my_grammar = LlamaGrammar.from_string(grammar_string)

# Initialize Llama model
llm = Llama(model_path="C:/Users/sride/PycharmProjects/gbnf_implemen/llama-2-7b.Q4_K_S.gguf")

# Generate constrained output
prompt = "Give me list of fruits"
output = llm(prompt, max_tokens=100, temperature=0.7, grammar=my_grammar)

print(output['choices'][0]['text'])