【通义千问】大模型Qwen GitHub开源工程学习笔记（3）-- 通过Qwen预训练语言模型自动完成给定的文本

 摘要：

本笔记分析了使用预训练的模型生成文本的示例代码。它的步骤如下：文章来源地址https://uudwc.com/A/JwO35

1. 使用已加载的分词器 tokenizer 对输入文本进行处理，转换为模型可以理解的格式。输入文本是国家和首都的信息，最后一句是未完成的，需要模型来生成。
2. 将处理后的输入转移到模型所在的设备上（例如GPU或CPU）。
3. 使用模型的 generate 方法对输入进行处理，生成预测的输出。
4. 使用分词器的 decode 方法将生成的输出从模型理解的格式转换回文本，并打印出来。

实例分析

from transformers import AutoModelForCausalLM, AutoTokenizer
from transformers.generation import GenerationConfig

# 可选的模型包括: "Qwen/Qwen-7B", "Qwen/Qwen-14B"
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen-7B", trust_remote_code=True)

# 打开bf16精度，A100、H100、RTX3060、RTX3070等显卡建议启用以节省显存
# model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-7B", device_map="auto", trust_remote_code=True, bf16=True).eval()
# 打开fp16精度，V100、P100、T4等显卡建议启用以节省显存
# model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-7B", device_map="auto", trust_remote_code=True, fp16=True).eval()
# 使用CPU进行推理，需要约32GB内存
# model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-7B", device_map="cpu", trust_remote_code=True).eval()
# 默认使用自动模式，根据设备自动选择精度
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-7B", device_map="auto", trust_remote_code=True).eval()

# 可指定不同的生成长度、top_p等相关超参
model.generation_config = GenerationConfig.from_pretrained("Qwen/Qwen-7B", trust_remote_code=True)

inputs = tokenizer('蒙古国的首都是乌兰巴托（Ulaanbaatar）\n冰岛的首都是雷克雅未克（Reykjavik）\n埃塞俄比亚的首都是', return_tensors='pt')
inputs = inputs.to(model.device)
pred = model.generate(**inputs)
print(tokenizer.decod