Hugging Face Blog·· 2024-12-05AI 评分22
LLM 修复自身错误的能力如何?基于 Keras 和 TPU 的聊天机器人竞技场实验
How good are LLMs at fixing their mistakes? A chatbot arena experiment with Keras and TPUs
AI 导读
Hugging Face 用 Keras、JAX 和 TPU 搭建了一个聊天机器人竞技场,测试 LLM 能否根据用户的自然语言反馈修正自己生成的代码。实验在 TPU v5e 2x4 上同时加载了 5 个约 8B 参数模型和 3 个约 2B 参数模型,共 7 个 LLM,以 bfloat16 格式运行,通过 Gradio 界面并行对话并随时切换模型。
来源:Hugging Face Blog · huggingface.co