LLM_General_Education

🤗 大语言模型通识

大语言模型的配置需求

首先要搞清楚，本地可以部署什么大模型，取决于个人电脑的硬件配置，尤其需要关注 GPU 的显存。一般来说，只要本地机器 GPU 的显存能够满足大模型的要求，那基本上都可以本地部署。

那么大模型类别这么多，有 $7B$、$13B$、$70B$ 等等，GPU 显存如何准备呢？

在没有考虑任何模型量化技术的前提下，有公式如下：
$$
GB = B × 2
$$

其中为 $GB$ 模型显存占用，$B$ 为大模型参数量。

参考资料

AI大模型本地化部署Q/A硬件篇

如何找到最新的大模型、如何判断本地硬件是否满足大模型需求、如何快速部署大模型

大模型综合评测对比 | 当前主流大模型在各评测数据集上的表现总榜单 | 数据学习 (DataLearner)