
pulsar
模型GPU 推理推理
项目解读
README 精简 · 1 个月前更新这个项目是什么?
面向 Linux 与 CUDA 的本地大语言模型推理工具集,用于在消费级 GPU 等硬件环境运行超大型混合专家模型。它支持多 GPU 协同、专家流式加载、CPU 专家计算、超长上下文、量化与多种推测解码,并可用于本地大模型推理、代码生成及通过 OpenAI API 或 MCP 进行交互。
解决了什么问题?
公开资料暂未说明。
可以用来做什么?
公开资料暂未说明。
正在读取最新信息…
正在读取评论…
