Open GGOOAI 开源项目
项目解读
AI 解读 · 2 个月前更新这个项目是什么？
oMLX把你的 Mac 变成可从菜单栏管理的本地大语言模型推理服务器：模型常驻内存，需要时自动切换，也能把缓存放到 SSD。
解决了什么问题？
本地跑模型时，常要在操作方便、内存占用和上下文能否复用之间取舍；oMLX替你管理模型切换，并保留内存与 SSD 中的上下文缓存。
可以用来做什么？
可以在 Mac 上运行本地模型并通过接口或命令控制；比如做连续的代码工作，让模型在多轮对话中继续复用之前的上下文。
最新信息
来自公开新闻、社区讨论、RSS 与 X 的相关信息。
暂时还没有采集到相关动态。
正在读取评论…
