llama.cpp-Hub

输入关键字，搜索 HuggingFace 上的 GGUF 模型

选择左侧的模型查看详情

外观

夜间模式

语言 / Language

服务器

Web 端口（修改后需重启生效）

启用 MCP Server

安全

启用 API Key 验证

API Key

HTTPS

启用 HTTPS（修改后需重启生效）

安装证书到系统并重启浏览器后，再启用 HTTPS 并重启服务，否则浏览器会拦截访问。

请求日志

记录请求 URL 记录请求头记录请求体

下载

下载目录

HTTP 代理

节点

启用代理

主机

端口

用户名（可选）

密码（可选）

Llama.cpp 路径

节点

模型路径

节点

节点

本节点角色（修改后需重启生效）

更新

当前版本…

llama.cpp 下载

关于

服务版本…

完整功能打开旧版页面

加载模型

模型

配置方案

Llama.cpp 版本

设备

选择 Llama.cpp 版本后加载

主 GPU

启用视觉 (mmproj)

参数改动实时生成命令行

额外参数（无法识别的参数会归入此处）

生成的命令

自动加载 / 自动卸载允许自动加载（API 请求时未加载则自动启动）允许自动卸载

别名

新建下载任务

下载到节点

下载地址（HF / ModelScope 直链）

文件名（可选）

输入

模型详情

开启后，该模型的所有请求将强制使用此处指定的采样参数（忽略客户端传参），用于快速切换模型的工作模式。修改后自动保存。

添加节点

节点 ID（必填，唯一）

名称

地址（http:// 或 https:// 开头）

API Key（可选）

标签（逗号分隔）

启用

添加路径

路径

名称（可选）

描述（可选）

选择目录

生成 HTTPS 证书

IP 地址（每行一个；IP 与主机名至少填一项）

主机名（每行一个）

高级选项

通用名称（CN）

有效期（天）

密钥长度

证书密码（留空自动生成）

结果