Windows Build llama.cpp
Windows 平台下构建 llama.cpp
在使用 LM-Studio
时,对于一些参数量不是很大的模型来说,大多数不需要进行模型的合并,如 qwen2-7b
等。这些模型往往只需要下载后加载到 LM-Studio
中即可。
但是对于参数量很大的模型,如 qwen2-72b-instruct
等,因为模型文件较大不利于传输,因此模型开发者可能会使用 llama.cpp
对 GGUF
模型进行拆分,所以这个时候我们在下载模型时就需要进行模型的合并。
qwen2-72b-instruct
在 q8
量化给出了两个模型文件,分别是:
1 | qwen2-72b-instruct-q8_k_m-00001-of-00002.gguf |
为了使用这些分割后的 GGUF
文件,我们可以使用 llama-gguf-split
合并他们
1 | llama-gguf-spilt --merge input.gguf output.gguf |
Windows Build llama.cpp
https://hello-nilera.com/2024/08/12/Windows-Build-llama-cpp/