Basalt 0.4.1 本地大模型推理引擎
Basalt 是一个本地大语言模型推理引擎,支持 Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash 和 Qwen3.8-27B 三款模型。它运行在 NVIDIA Blackwell(sm_120)GPU 上,支持 Linux 与 Windows x64;显存放不下的部分(MoE 模型的专家权重)会放入系统内存,也可以扩展到多张显卡。服务端同时兼容 OpenAI 与 Anthropic 两种 API 协议。

主要特点
- 本地推理,数据不出机器
- MoE 专家权重可卸载到系统内存,降低显存门槛
- 支持多 GPU 并行与 KV Cache int8 量化
- 兼容 OpenAI / Anthropic 接口,可对接现有客户端
- 自带 Web UI,并支持图像、PDF、文本文档输入
- 基于投机解码(MTP / DSpark / DFlash 2)加速生成
运行要求
- Linux x86-64(需 AVX2)或 Windows 10 1903 及以上 x64
- NVIDIA Blackwell GPU(算力版本 12.0)与 CUDA 13
- CMake 3.24+、GCC 13+(Linux)、Python 3.10+
- 为无法装入显存(VRAM)的专家模型提供足够的系统内存(RAM)。
支持的模型
| 模型 | 上下文长度 | 投机解码 | 图像 / 文档 |
|---|---|---|---|
| Qwen3.8-Flash-Next | 最高 262,144(YaRN 可更长) | MTP,默认开启 | 支持 |
| DeepSeek-V4.1-Flash | 最高 1,048,576 | DSpark,默认开启 | 支持(不支持视频) |
| Qwen3.8-27B | 最高 262,144 | DFlash 2,默认开启 | 支持 |
其中 Qwen3.8-Flash-Next 与 Qwen3.8-27B 支持视频输入,DeepSeek 不支持;视频需启用 --vision 并安装 FFmpeg。
快速开始
每个 Release 都提供 Linux / Windows 预编译包,也可以从源码构建:
git clone https://github.com/jesdga95/basalt && cd basalt
cmake -S . -B build -DCMAKE_BUILD_TYPE=Release
cmake --build build -j
pip install -r requirements.txt
hf download jesdga/Qwen3.8-Flash-Next-Basalt Qwen3.8-FN-NVFP4-DQ6_K.basalt --local-dir models
然后写入配置文件 basalt_config.json:
{
"version": 2,
"models": [{ "model": "models/Qwen3.8-FN-NVFP4-DQ6_K.basalt", "gpu": "0,1", "kv": "int8" }],
"engine": { "resident-experts": true },
"server": { "port": 8080 }
}
启动服务(默认监听 127.0.0.1):
bin/basalt serve --config basalt_config.json
项目来源与许可
Basalt 基于 MIT 协议的 Strata 分支开发,并借用 Infernix 的内核与 ggml / llama.cpp 的实现思路;模型权重来自 Qwen、DeepSeek、Unsloth、NVIDIA 与 QUASAR-QAT 等。项目本身以 MIT 协议开源,同时欢迎社区提供 Blackwell 算力用于测试。
官网:https://basalt.jgulfo.com/
项目地址:https://github.com/jesdga95/basalt
下载地址:
来源:GitHub
本文采用署名-非商业性使用-相同方式共享 4.0 国际许可协议[CC BY-NC-SA]进行授权 | 作者:CodeF.cc
文章固定链接:https://www.codef.cc/basalt-ai.html
本站资源仅供个人学习交流,请于下载后 24 小时内删除,不允许用于商业用途,否则法律问题自行承担。
本站软件默认解压密码均为:CodeF.cc
文章固定链接:https://www.codef.cc/basalt-ai.html
本站资源仅供个人学习交流,请于下载后 24 小时内删除,不允许用于商业用途,否则法律问题自行承担。
本站软件默认解压密码均为:CodeF.cc
THE END
