GGUF VRAM 估算测试

API 说明

端点：POST /api/models/gguf-mem/estimate

通过 gguf-mem 工具估算 HuggingFace 在线 GGUF 模型的显存占用。工具会自动下载模型元数据到本地缓存，再利用元数据进行显存估算。

请求参数

Model URL *

HuggingFace 模型文件的直接下载链接（.gguf）

基本参数

--ctx-size 上下文大小

--batch-size Batch 大小

--ubatch-size UBatch 大小

--parallel 并行数

计算与缓存

--flash-attn Flash Attention

--fit Fit Mode

--cache-type-k K 缓存类型

--cache-type-v V 缓存类型

--swa-full SWA Full

设备与分层

--device Device

--main-gpu Main GPU

--split-mode Split Mode

额外参数与执行

Extra Params

可选，直接追加到命令末尾的原始参数

Node ID

远程节点 ID，留空则本地执行

响应结果

请求 JSON 预览