工具

Hugging Face Transformers:加载模型与分词器
PEFT:实现 LoRA 微调
Unsloth(可选):加速训练并降低显存占用
Bitsandbytes:支持 4-bit 量化训练

模型与数据准备

考虑到计算资源有限,我们只使用较少参数的deepseek模型
数据集格式
数据预处理:
 

LoRA 微调配置

LoRA 参数设定
训练参数优化
启动训练

模型保存与部署

保存 LoRA 权重
合并权重(推理时可选)

使用Ollama部署

转换为 GGUF 格式
Ollama 加载创建 Modelfile 文件:
运行部署命令:
 
Loading...
Rainnn
Rainnn
bling bling ⭐
Latest posts
Java 笔记
2025-8-17
深度学习笔记
2025-8-17
数据库笔记
2025-8-15
TIME-MOE: BILLION-SCALE TIME SERIES FOUNDATION MODELS WITH MIXTURE OF EXPERTS
2025-7-6
(零基础)pycharm+服务器+anaconda虚拟环境|配置深度学习环境
2025-7-6
DIVE INTO DEEP LEARNING
2025-7-6
Announcement
wakuwaku!
你竟然发现了这里!!
创作不易,获取加🔒文章密码/试读文章,请微信关注公众号 Code & Cookies
notion image