工具Hugging Face Transformers:加载模型与分词器PEFT:实现 LoRA 微调Unsloth(可选):加速训练并降低显存占用Bitsandbytes:支持 4-bit 量化训练模型与数据准备考虑到计算资源有限,我们只使用较少参数的deepseek模型数据集格式数据预处理: LoRA 微调配置LoRA 参数设定训练参数优化启动训练模型保存与部署保存 LoRA 权重合并权重(推理时可选)使用Ollama部署转换为 GGUF 格式Ollama 加载创建 Modelfile 文件:运行部署命令: