Open GGOOAI 开源项目
全部项目/vllm
vllm

vllm

模型GPU 推理推理
GitHub官网93.7K— / 6h
模型 · vllm

项目解读

AI 解读 · 2 个月前更新

这个项目是什么？

vLLM像一台专门跑大语言模型的推理和服务引擎：接收请求，生成模型回答，并尽量提高吞吐、节省内存。

解决了什么问题？

原来同时处理很多模型请求时，吞吐和内存容易成为麻烦；vLLM替你处理高并发推理和服务这一段。

可以用来做什么？

可以把常见 Hugging Face 模型接成在线服务，处理并行采样或束搜索请求；比如同时为多人生成回答。

README 已更新，当前暂时展示上一版摘要。

正在读取最新信息…
正在读取评论…