Strata 0.2.10 本地Ai推理引擎

Strata 是采用 C++ 和 CUDA 写的、专门针对 MoE 混合专家大模型的本地稀疏推理引擎，MIT 开源，基于 llama.cpp 改造而来。
 

 
核心卖点：消费级 NVIDIA 单卡（12–24GB 显存）离线跑 125B 参数的 Qwen3.8-Flash-Next，不用服务器、不上云。
 
### ✅ 核心原理：三级分层存储
 
MoE 模型特点是一次推理只激活少量专家，Strata 利用这点做分层调度：
 
1. VRAM：放高频用到的专家权重（缓存）
2. 内存 RAM：存放大部分专家权重，按需调度
3. SSD（NVMe 优先）：放剩余权重，预测预加载
靠这套机制把原本几百 GB 显存需求的超大 MoE 塞进普通游戏 PC，实测速度大约 **60–95 token/s**
 
### ✅ 基础信息
 
- 作者：Niko1221（Niko Veit）
- 语言：C++ / CUDA
- 系统：Windows、Linux
- 主打模型：Qwen3.8-Flash-Next 125B MoE，也支持其他 Qwen 系列、Coder 等 GGUF 模型GitHub
- 部署：自带一键脚本，本地启动 OpenAI 兼容 API 服务，可接入 Cursor 等工具，还附带 MCP Server 支持给 AI Agent 调用GitHub
 
### ⚠️ 限制
 
1. 只支持 N 卡 CUDA，无 AMD/Intel 显卡原生支持
2. SSD 速度很关键，机械硬盘会明显掉速
3. 是MoE 专用优化，稠密模型收益不大
4. 需要比较大的内存（通常建议≥32GB）
 
### 和 llama.cpp 的区别
 
llama.cpp 通用但对超大 MoE 调度弱；Strata 专门针对 MoE 路由、预取、三级缓存做定制优化，在 12–24G 显存跑 125B MoE 时速度和稳定性强很多。
 
开源项目地址：
https://github.com/Niko1221/Strata
 
安装方法：
 
Linux / Mac
 

curl -fsSL https://github.com/Niko1221/Strata/releases/latest/download/install.sh -o install.sh && sh install.sh

 
Windows PowerShell
 

irm https://github.com/Niko1221/Strata/releases/latest/download/install.ps1 | iex