ggerganov/llama.cpp b10216

本版本主要为 Vulkan 后端新增了 GGML_OP_POOL_1D（一维池化）算子的完整支持，并修复了相关边界崩溃问题。

新增 POOL_1D 算子支持：在 Vulkan 后端中实现了完整的 1D 池化功能，包括新增 pool1d.comp compute shader、vk_op_pool1d_push_constants 结构体以及对应的 pipeline 字段与创建逻辑。

修复边界崩溃问题：修复了当 k0 < p0 时，shader 在计算 end boundary 时出现负值导致的崩溃问题。

补充测试用例：针对上述边界修复增加了更多测试覆盖。

其他说明：macOS KleidiAI 构建和 openEuler 构建在当前版本中标记为 DISABLED（分别对应 PR #23780 和 #23705）。

ggerganov/llama.cpp 项目介绍

项目概述

llama.cpp 是一个完全用 C/C++ 实现的大语言模型（LLM）推理引擎，旨在以最小的配置和领先的性能，在各种硬件（本地和云端）上运行 LLM 推理。项目由 ggerganov 维护，目前已获得 122100+ Star，是开源社区最流行的本地 LLM 推理方案之一。

核心目标

零依赖：纯 C/C++ 实现，不依赖任何外部框架或库。
跨平台高性能：优先支持 Apple Silicon，同时覆盖 x86（AVX/AVX2/AVX512/AMX）、RISC-V（RVV/ZVFH/ZFH 等）、NVIDIA GPU（CUDA）、AMD GPU（HIP）、Moore Threads GPU（MUSA）、Intel GPU（SYCL）、Vulkan、WebGPU 等几乎所有主流计算后端。
低资源消耗：提供 1.5-bit、2-bit、3-bit、4-bit、5-bit、6-bit、8-bit 的整数量化，大幅减少显存占用并加速推理。
CPU+GPU 混合推理：支持将超过显存容量的大模型部分卸载到 CPU，实现更大模型的本地运行。

核心技术架构

ggml 库：llama.cpp 是 ggml 库的主要试验田。ggml 是一个面向机器学习的张量库，专门为 LLM 推理优化。
量化技术：支持多种位宽的整数量化（如 Q4_0、Q5_1 等），可在几乎不损失精度的前提下将模型体积压缩至 1/4 甚至更小，使模型能运行在 8GB 显存的消费级显卡上。
后端抽象：通过 Metal、CUDA、Vulkan、SYCL 等后端实现硬件加速，用户只需在编译时选择对应的后端即可。
GGUF 模型格式：所有模型需转换为统一的 GGUF 格式，Hugging Face 上已有大量预转换的 GGUF 模型可直接使用。

支持模型

llama.cpp 兼容大量开源模型及其微调版本，包括但不限于：

纯文本模型：LLaMA 全系列、Mistral 7B、Mixtral MoE、Falcon、Qwen、DeepSeek、Gemma、Phi、Yi、Baichuan、InternLM2、Mamba、RWKV-6/7、GPT-2、BERT、StableLM、Command-R、OLMo、SmolLM、Hunyuan 等数十种。
多模态模型：LLaVA 1.5/1.6、BakLLaVA、Qwen2-VL、Mini CPM、Moondream 等。
特殊架构：支持 MoE（混合专家）、Mamba（状态空间模型）、BitNet b1.58（1.58 bit 量化）等。

详细支持列表见 README 中的 models 折叠区。

技术亮点

极高的性能实测：在 Apple Silicon 上通过 Metal 后端达到行业领先的推理速度；在 x86 上利用 AVX 指令集进一步加速。
量化精度与速度平衡：官方提供了详尽的量化方案，用户可根据需求选择。例如 Q4_0 在 1.5B 模型上可达到 5765 tokens/s （pp512）和 197 tokens/s（tg128）的 benchmark 结果（Metal+BLAS，16 线程）。
多用户并行解码：llama-server 支持多用户并发请求，最大并行数可配置，适用于生产环境。
推测解码：支持使用较小的 draft 模型加速主模型推理。
约束输出：通过 GBNF 语法文件控制模型输出，例如强制输出 JSON 格式。
REST API 兼容 OpenAI：llama-server 提供 /v1/chat/completions 等端点，可直接替代 OpenAI API。
WebGPU 浏览器端推理：可在浏览器中直接运行 LLM，无需下载任何二进制文件。
丰富的生态：已有 20+ 种语言的绑定（Python、Go、Node.js、Rust、C#、Java 等）、10+ 个主流 UI（如 Ollama、LM Studio、GPT4All、text-generation-webui）、以及大量基础设施工具（如 GPUStack、llama-swap）。

快速开始（摘自 README）

安装方式

通过 Homebrew/nix/winget/conda-forge 安装
使用 Docker（官方提供 Dockerfile）
从 Releases 页面下载预编译二进制
从源码编译（参见 build guide）

示例命令

# 使用本地模型文件
llama-cli -m my_model.gguf

# 直接从 Hugging Face 下载并运行
llama-cli -hf ggml-org/gemma-3-1b-it-GGUF

# 启动兼容 OpenAI API 的 HTTP 服务器
llama-server -hf ggml-org/gemma-3-1b-it-GGUF

对话模式

llama-cli -m model.gguf
# 模型带内置聊天模板时会自动进入对话模式

约束输出（JSON）

llama-cli -m model.gguf -n 256 --grammar-file grammars/json.gbnf -p 'Request: schedule a call at 8pm; Command:'

项目生态

绑定：支持 Python、Go、Node.js、Rust、C#/ .NET、Java、Ruby、Swift、Zig、Flutter/Dart 等 20+ 语言。
UI：Ollama、LM Studio、GPT4All、Jan、LocalAI、koboldcpp、text-generation-webui 等 20+ 知名项目均基于 llama.cpp。
工具：GGUF 编辑器、模型格式转换脚本、量化工具、Hugging Face 推理端点等。
基础设施：GPUStack、Kubernetes Operator、llama-swap 等用于模型部署和集群管理。

性能数据样例（官方 Benchmark）

模型	大小	参数	后端	线程	测试	tokens/s
qwen2 1.5B Q4_0	885.97 MiB	1.54 B	Metal,BLAS	16	pp512	5765.41 ± 20.55
					tg128	197.71 ± 0.81

（注：pp 为 prompt processing，tg 为 text generation，数据来自 llama-bench 工具）

总结

llama.cpp 是目前最成熟、最流行的本地 LLM 推理引擎之一，凭借纯 C/C++ 实现、极致的量化优化、广泛的硬件支持和庞大的社区生态，为开发者和企业提供了在消费级硬件上运行大语言模型的能力。它不仅是推理工具，也是 ggml 库的核心试验场，持续推动着边缘 AI 推理的边界。