Open GGOOAI 开源项目
pulsar
模型GPU 推理推理
项目解读
AI 解读 · 1 个月前更新这个项目是什么？
pulsar 把超大 MoE 模型从 SSD 流式送进 GPU 推理，还会自动把注意力模块和常用专家放到合适的位置。
解决了什么问题？
巨型 MoE 模型难以塞进消费级显卡时，pulsar 会测量 PCIe 带宽并自动安排多张 GPU 的放置方式。
可以用来做什么？
比如用两张 16GB 消费级 GPU 在本地运行 GLM 5.2 743B 或 Hy3 295B，并进行文本生成。
正在读取最新信息…
正在读取评论…
