中国人自己的Llama：Qwen1.5开源110B参数模型

浏览次数： 1606

写在前面

大家好，我是刘聪NLP。

开源界最近属实是太疯狂了，前有Llama3-70B模型开源，后有Qwen1.5开源千亿（110B）级别参数模型。

Qwen你真的让我开始捉摸不透了，1.5系列已经从0.5B、1.8B、7B、14B、32B、72B到现在的110B、还有Code系列模型、MOE系列模型，太全了，感觉已经快把中文开源模型市场给垄断了。

并且，值得注意的是，110B的模型是Dense的模型，不是虚胖的MOE模型（个人总觉得MOE模型的参数有点不真实，不喜勿喷）。

上周的时候，Qwen1.5-110B-Chat的Demo已经放出，其实早有内部消息说本周开源参数，果然，你是说话算数的。

Blog: https://qwenlm.github.io/blog/qwen1.5-110b
HF: https://huggingface.co/Qwen/Qwen1.5-110B-Chat
Demo: https://huggingface.co/spaces/Qwen/Qwen1.5-110B-Chat-demo

Qwen1.5-110B介绍

模型结构与之前模型相似，采用Transformer-Decoder架构，并使用分组查询注意力（Grouped Query Attention，GQA），加速模型推理计算。模型的最大长度为32K，支持英、中、法、西、德、俄、日、韩、越等多种语言。

在基础能力上的效果全面领先72B模型，与Llama3-70B模型也是平分秋色。

在Chat能力上，在MT-Bench和AlpacaEval 2.0上进行了评估，也是优于Llama-3-70B-Instruct。

由于在训练110B模型过程中，没有对预训练的方法进行大幅改变，因此与72B相比的性能提升主要来自于增加模型规模。

此外，在lmsys的对战榜单上，原来Llama3-70B是开源最强，排在第6，Qwen1.5-72B排在13。按照这个架势，Qwen1.5-110B完全有机会成为开源最强模型，期待后续大家投票的结果。

Qwen1.5-110B本身就有很多中文数据，相较于Llama3模型来说，对中文的适配也会更好。（反正我基本全面拥抱了，主要是各个尺寸都有，用着就很舒服）

模型使用

直接transformers走起，模型下载有困难的同学，详见我之前写的一篇文章《大模型下载使我痛苦》。

from transformers import AutoModelForCausalLM, AutoTokenizer
device = "cuda" # the device to load the model onto

model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen1.5-110B-Chat",
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen1.5-110B-Chat")

prompt = "你叫什么名字"
messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(device)

generated_ids = model.generate(model_inputs.input_ids,max_new_tokens=512)

generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

print(response)