11
这是一个纯 C 的 Kimi K3 推理引擎,通过按层流式读取主干权重和按需加载专家,在单台 CPU 设备及有限内存条件下运行超大规模模型。支持提示词或 token ID 输入、增量解码、文本生成、检查点验证和 C 接口,适用于基础模型续写及低内存推理研究。
低内存CPU 推理
+455 Star
当前 3,275 Star
这是一个纯 C 的 Kimi K3 推理引擎,通过按层流式读取主干权重和按需加载专家,在单台 CPU 设备及有限内存条件下运行超大规模模型。支持提示词或 token ID 输入、增量解码、文本生成、检查点验证和 C 接口,适用于基础模型续写及低内存推理研究。
今日重点只展示热度分高于 50 的项目,最多 20 个,不足时不做补齐。