Linux安装llama.cpp-b10068(llama-b10068-bin-ubuntu-vulkan-x64).zip

llama.cppLLM推理引擎C/C++本地部署开源GGUF量化Vulkan大语言模型
文件基础信息

文件名称: Linux安装llama.cpp-b10068(llama-b10068-bin-ubuntu-vulkan-x64).zip

文件类型: 软件整合包
文件大小: 30.32 MB

请选择下载方式

方式1:前往hanshuixin.org下载
前往 hanshuixin.org https://hanshuixin.org/resource/details/FRS01KYACKNZF1JWJ4VQXZTB9S8HD ,在hanshuixin.org查看/下载

文件简介

本软件整合包描述

llama.cpp 是纯 C/C++ 实现的 LLM 推理引擎,无需 Python 或任何运行时依赖,支持超过 100 种模型架构,可运行于手机到服务器的各类设备。支持 1.5-bit 至 8-bit 量化及 CUDA、Vulkan、Metal 等多后端加速。

整合包(压缩包)内容

Linux安装llama.cpp-b10068(llama-b10068-bin-ubuntu-vulkan-x64).zip
└── Linux安装llama.cpp-b10068(llama-b10068-bin-ubuntu-vulkan-x64)
    ├── LICENSE
    ├── Linux安装llama.cpp-b10068(llama-b10068-bin-ubuntu-vulkan-x64).pdf
    ├── README
    │   ├── README-中文版.md
    │   └── README.md
    ├── llama-b10068-bin-ubuntu-vulkan-x64.tar.gz
    └── 发布说明
        ├── RELEASE-NOTES-中文版.md
        └── RELEASE-NOTES.md

整合包中的 PDF 安装教程 目录

1. llama.cpp 简介
2. b10068 版本亮点
3. 整合包内文件说明
4. 快速开始

开源许可

本整合包包含 llama.cpp 软件,其版权归属于 The ggml authors,该软件依据 MIT 授权。完整许可证文本请参见本整合包中附带的 LICENSE 文件。