新闻Google News
Needle 2开源45M参数工具调用模型:14MB二进制,完整会话仅需28MB内存
MarkTechPost介绍了Needle 2这一拥有4500万参数的开放工具调用模型,其二进制文件大小为14MB,运行完整会话时内存占用约28MB。
Needle 2 是一个只有14MB的模型,把文字指令变成设备能执行的工具调用或结构化JSON。
小设备运行模型常受存储和内存限制;Needle 2 把模型压到14MB,单次会话约需28MB内存,并可离线推理。
可以让手机、穿戴设备、智能家居和机器人按指令调用工具;比如把一句话转换成设备可执行的JSON操作。
README 已更新,当前暂时展示上一版摘要。
来自公开新闻、社区讨论、RSS 与 X 的相关信息。
MarkTechPost介绍了Needle 2这一拥有4500万参数的开放工具调用模型,其二进制文件大小为14MB,运行完整会话时内存占用约28MB。
cactus-compute 发布开源项目 Needle,宣称以约28MB内存运行4500万参数工具调用模型,并支持按JSON Schema约束输出和校准置信度;项目采用MIT许可,但相关基准为项目方声明,能力范围较窄。
按时间倒序,每位访客 5 分钟可发送一次。
还没有评论。