Zama 用 FHE 加密大语言模型：基于 Hugging Face GPT2 的隐私推理实践

Zama 展示了用全同态加密（FHE）在加密数据上运行大语言模型推理的方案，基于 Hugging Face transformers 库改造 GPT2，将首个多头注意力头用 Concrete-Python 转为 FHE 等价实现。实验显示 4-bit 量化可保留原模型 96% 的精度，客户端本地推理至首层后加密中间结果交由服务器计算，兼顾用户数据隐私与模型 IP 保护。