大模型如何进行微调?
前言 本次我将使用Qwen2.5-3B模型配合LlamaFactory+llama.cpp+ollama等相关技术实现大模型微调以及部署到本地 环境准备 全部环境需要算力云,本地电脑环境需要python,cmake,docker desktop,ollama,llama.cpp等。我们先安装部分环境,之后在微调部署过程中再安装剩余环境。 算力云 训练大模型用到的硬件配置很高,所以我推荐使用云服务器,例如AutoDL,阿里云。 这里我白嫖阿里云免费的算力,阿里云-人工智能平台 PAI,有个免费试用,选择交互式建模DSW,开通,选择...

最近评论