Basalt 0.4.1 本地大模型推理引擎

Basalt 是一个本地大语言模型推理引擎,支持 Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash 和 Qwen3.8-27B 三款模型。它运行在 NVIDIA Blackwell(sm_120)GPU 上,支持 Linux 与 Windows x64;显存放不下的部分(MoE 模型的专家权重)会放入系统内存,也可以扩展到多张显卡。服务端同时兼容 OpenAI 与 Anthropic 两种 API 协议。

 

 

主要特点

 

  • 本地推理,数据不出机器
  • MoE 专家权重可卸载到系统内存,降低显存门槛
  • 支持多 GPU 并行与 KV Cache int8 量化
  • 兼容 OpenAI / Anthropic 接口,可对接现有客户端
  • 自带 Web UI,并支持图像、PDF、文本文档输入
  • 基于投机解码(MTP / DSpark / DFlash 2)加速生成

 

运行要求

 

  • Linux x86-64(需 AVX2)或 Windows 10 1903 及以上 x64
  • NVIDIA Blackwell GPU(算力版本 12.0)与 CUDA 13
  • CMake 3.24+、GCC 13+(Linux)、Python 3.10+
  • 为无法装入显存(VRAM)的专家模型提供足够的系统内存(RAM)。

 

支持的模型

 

模型 上下文长度 投机解码 图像 / 文档
Qwen3.8-Flash-Next 最高 262,144(YaRN 可更长) MTP,默认开启 支持
DeepSeek-V4.1-Flash 最高 1,048,576 DSpark,默认开启 支持(不支持视频)
Qwen3.8-27B 最高 262,144 DFlash 2,默认开启 支持

 

其中 Qwen3.8-Flash-Next 与 Qwen3.8-27B 支持视频输入,DeepSeek 不支持;视频需启用 --vision 并安装 FFmpeg。

 

快速开始

 

每个 Release 都提供 Linux / Windows 预编译包,也可以从源码构建:

 

git clone https://github.com/jesdga95/basalt && cd basalt
cmake -S . -B build -DCMAKE_BUILD_TYPE=Release
cmake --build build -j
pip install -r requirements.txt
hf download jesdga/Qwen3.8-Flash-Next-Basalt Qwen3.8-FN-NVFP4-DQ6_K.basalt --local-dir models

 

然后写入配置文件 basalt_config.json:

 

{
  "version": 2,
  "models": [{ "model": "models/Qwen3.8-FN-NVFP4-DQ6_K.basalt", "gpu": "0,1", "kv": "int8" }],
  "engine": { "resident-experts": true },
  "server": { "port": 8080 }
}

 

启动服务(默认监听 127.0.0.1):

 

bin/basalt serve --config basalt_config.json

 

项目来源与许可

 

Basalt 基于 MIT 协议的 Strata 分支开发,并借用 Infernix 的内核与 ggml / llama.cpp 的实现思路;模型权重来自 Qwen、DeepSeek、Unsloth、NVIDIA 与 QUASAR-QAT 等。项目本身以 MIT 协议开源,同时欢迎社区提供 Blackwell 算力用于测试。

 
官网:https://basalt.jgulfo.com/
 
项目地址:https://github.com/jesdga95/basalt
 
下载地址:

THE END