Open GGOOAI 开源项目
pulsar

pulsar

模型GPU 推理推理
GitHub228— / 6h

项目解读

README 精简 · 1 个月前更新

这个项目是什么?

面向 Linux 与 CUDA 的本地大语言模型推理工具集,用于在消费级 GPU 等硬件环境运行超大型混合专家模型。它支持多 GPU 协同、专家流式加载、CPU 专家计算、超长上下文、量化与多种推测解码,并可用于本地大模型推理、代码生成及通过 OpenAI API 或 MCP 进行交互。

解决了什么问题?

公开资料暂未说明。

可以用来做什么?

公开资料暂未说明。

正在读取最新信息…
正在读取评论…