教程X
MiniMind可在2小时内从零训练6400万参数LLM,GPU成本约3美元
MiniMind提供一个完全基于原生PyTorch实现的训练流程,无需依赖Transformers等抽象框架,开发者据称可用约3美元GPU成本在2小时内训练出6400万参数的语言模型。
这是一个从零训练约 64M 小型语言模型的开源项目,提供预训练、监督微调、LoRA、知识蒸馏、偏好优化和强化学习等完整训练与数据处理内容。适用于 LLM 入门学习、模型复现、私有数据训练、推理服务、工具调用、选择题评测及端侧部署。
公开资料暂未说明。
公开资料暂未说明。
来自公开新闻、社区讨论、RSS 与 X 的相关信息。
MiniMind提供一个完全基于原生PyTorch实现的训练流程,无需依赖Transformers等抽象框架,开发者据称可用约3美元GPU成本在2小时内训练出6400万参数的语言模型。
按时间倒序,每位访客 5 分钟可发送一次。
还没有评论。