Open GGOOAI 开源项目

全部项目/airllm

airllm

模型GPU 推理推理

GitHub38.6K— / 6h

模型 · airllm

项目解读

AI 解读 · 1 个月前更新

这个项目是什么？

AirLLM 让你用单张 4GB 显卡运行 70B 模型推理，直接得到模型回答。

解决了什么问题？

70B 模型推理通常受显存限制，AirLLM 把运行门槛压到单张 4GB 显卡这一段。

可以用来做什么？

可以拿来在单张 4GB 显卡上运行 70B 模型做推理；公开资料暂未说明具体用法。

正在读取最新信息…

正在读取评论…