📌 一句话摘要
作者分享在 M1 Pro 笔记本上通过 LM Studio 本地运行 Bonsai 27B 量化版的体验,称其多模态能力可用且速度不错。
📝 详细摘要
作者分享了自己将 Bonsai 27B 的 Ternary 量化版(mlx-2bit)部署到公司业务中的实际体验。模型基于 Qwen3 打底,在作者的 M1 Pro 32G 笔记本上通过 LM Studio 加载并开启本地服务器后,接入自有产品使用。作者表示多模态能力表现舒适,回答速度不错,整体感觉良好。这是对前文 Bonsai 27B 发布信息的个人实践验证和补充。