Windows Build llama.cpp

Windows 平台下构建 llama.cpp

在使用 LM-Studio 时,对于一些参数量不是很大的模型来说,大多数不需要进行模型的合并,如 qwen2-7b 等。这些模型往往只需要下载后加载到 LM-Studio 中即可。

但是对于参数量很大的模型,如 qwen2-72b-instruct 等,因为模型文件较大不利于传输,因此模型开发者可能会使用 llama.cppGGUF 模型进行拆分,所以这个时候我们在下载模型时就需要进行模型的合并。

qwen2-72b-instructq8 量化给出了两个模型文件,分别是:

1
2
qwen2-72b-instruct-q8_k_m-00001-of-00002.gguf
qwen2-72b-instruct-q8_k_m-00002-of-00002.gguf

为了使用这些分割后的 GGUF 文件,我们可以使用 llama-gguf-split 合并他们

1
llama-gguf-spilt --merge input.gguf output.gguf
作者

NilEra

发布于

2024-08-12

更新于

2024-08-13

许可协议

评论