文件名称: Linux安装llama.cpp-b10068(llama-b10068-bin-ubuntu-vulkan-x64).zip
llama.cpp 是纯 C/C++ 实现的 LLM 推理引擎,无需 Python 或任何运行时依赖,支持超过 100 种模型架构,可运行于手机到服务器的各类设备。支持 1.5-bit 至 8-bit 量化及 CUDA、Vulkan、Metal 等多后端加速。
Linux安装llama.cpp-b10068(llama-b10068-bin-ubuntu-vulkan-x64).zip
└── Linux安装llama.cpp-b10068(llama-b10068-bin-ubuntu-vulkan-x64)
├── LICENSE
├── Linux安装llama.cpp-b10068(llama-b10068-bin-ubuntu-vulkan-x64).pdf
├── README
│ ├── README-中文版.md
│ └── README.md
├── llama-b10068-bin-ubuntu-vulkan-x64.tar.gz
└── 发布说明
├── RELEASE-NOTES-中文版.md
└── RELEASE-NOTES.md1. llama.cpp 简介
2. b10068 版本亮点
3. 整合包内文件说明
4. 快速开始本整合包包含 llama.cpp 软件,其版权归属于 The ggml authors,该软件依据 MIT 授权。完整许可证文本请参见本整合包中附带的 LICENSE 文件。