工具

Hugging Face Transformers:加载模型与分词器
PEFT:实现 LoRA 微调
Unsloth(可选):加速训练并降低显存占用
Bitsandbytes:支持 4-bit 量化训练

模型与数据准备

考虑到计算资源有限,我们只使用较少参数的deepseek模型
数据集格式
数据预处理:
 

LoRA 微调配置

LoRA 参数设定
训练参数优化
启动训练

模型保存与部署

保存 LoRA 权重
合并权重(推理时可选)

使用Ollama部署

转换为 GGUF 格式
Ollama 加载创建 Modelfile 文件:
运行部署命令:
 
Loading...
Rainnn
Rainnn
bling bling ⭐
Latest posts
PyCharm远程开发实战:本地代码实时同步Docker容器方案
2025-6-27
深度学习笔记
2025-6-27
MoodVine
2025-6-27
课程学习及考试经验分享 (大二)
2025-6-24
课程学习及考试经验分享 (大一)
2025-6-24
(零基础)pycharm+服务器+anaconda虚拟环境|配置深度学习环境
2025-6-24
Announcement
wakuwaku!
你竟然发现了这里!!
创作不易,获取加🔒文章密码/试读文章,请微信关注公众号 Code & Cookies
notion image