mergekit

简介

• 项目仓库：https://github.com/arcee-ai/mergekit
• 无需预训练和预训练，合并多个模型并能提升最终模型的质量

参考文章

• 手撕大模型案例：将 Mistral、WizardMath 和 CodeLlama 结合在一个模型中
• Mergekit - 大模型邪派速成武功
• MergeKit：无需预训练和预训练，即可产生性能不错的大模型
• 使用MergeKit创建自己的专家混合模型：将多个模型组合成单个MoE
• 大模型合并重组工具（mergekit）、资料整理，及优化想法：将AutoML思路用到大模型合并中

摘要

• 模型合并提高了最终模型的质量
• 有许多合并算法，其中大多数使用加权平均值
• 可以将模型与混合架构合并