Open GGOOAI 开源项目
vllm

vllm

模型GPU 推理推理
GitHub官网95.6K— / 6h

项目解读

README 精简 · 2 个月前更新

这个项目是什么?

用于大语言模型推理与服务的库,支持多种模型架构、硬件平台、量化方式和解码算法。它可用于部署兼容 OpenAI 等接口的模型服务,并提供流式输出、结构化输出、工具调用及分布式推理等能力。

解决了什么问题?

公开资料暂未说明。

可以用来做什么?

公开资料暂未说明。

README 已更新,当前暂时展示上一版摘要。

正在读取最新信息…
正在读取评论…