在 Intel Xeon 上用 🤗 Optimum Intel 实现极速 SetFit 推理

借助 🤗 Optimum Intel 对 SetFit 模型做训练后静态量化（PTQ），可在 Intel Xeon CPU 上把推理速度提升 7.8 倍，实现生产级部署。该量化基于 Intel Neural Compressor，只需约 100 条无标注校准样本、无需训练，即可在保持精度的同时降低内存占用与延迟，Optimum Intel 版本需不低于 1.14.0。