DeepSeek 是由深度求索(DeepSeek)推出的一系列开源大语言模型,支持多种应用场景。本文将指导您在不同操作系统上正确安装和运行 DeepSeek 模型。
确保已安装 Python 3.9+,然后通过 pip 安装必要库:
pip install torch transformers accelerate sentencepiece
访问 Hugging Face 官方仓库:https://huggingface.co/deepseek-ai,选择所需模型(如 deepseek-coder-7b-instruct)。
使用代码加载模型:
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("deepseek-ai/deepseek-coder-7b-instruct", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("deepseek-ai/deepseek-coder-7b-instruct", trust_remote_code=True, device_map="auto")
输入提示并生成响应:
prompt = "写一个快速排序函数"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=256)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
device_map="auto" 启用自动设备分配,或加载量化版本(如 GGUF 格式配合 llama.cpp)。更多技术文档请参考:DeepSeek GitHub 官方仓库