LLaMA Efficient Tuning 主流大模型的高效工具【预训练+指令监督微调】

张志翔的博客 • 2023年09月24日 02:52 • 1年前 • 编程日记 • 阅读(5) • 违法举报

LLaMA Efficient Tuning的简介

2023年6月发布的LLaMA Efficient Tuning，它是一款可高效微调【全参数/LoRA/QLoRA】主流大模型【ChatGLM2/LLaMA2/Baichuan等】的高效工具，包括预训练、指令监督微调、奖励模型训练、PPO 训练、DPO 训练等功能。目前该项目仍在持续更新。

官方地址：
GitHub - hiyouga/LLaMA-Efficient-Tuning: Easy-to-use LLM fine-tuning framework (LLaMA-2, BLOOM, Falcon, Baichuan, Qwen, ChatGLM2)

文章来源地址https://uudwc.com/A/k93DY

模型名	模型大小	默认模块	Template
LLaMA	7B/13B/33B/65B	q_p

原文地址:https://blog.csdn.net/qq_19734597/article/details/133078694

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请联系站长进行投诉反馈，一经查实，立即删除！