Hugging Face 发布 Alyah 基准，评估阿拉伯语 LLM 的阿联酋方言能力

Hugging Face 推出 Alyah（الياه，意为北极星）基准，用于评估阿拉伯语 LLM 对阿联酋方言的语言、文化与语用理解能力。该基准含 1,173 条由阿联酋母语者手工采集的样本，均为四选一选择题，覆盖问候、诗歌、遗产知识等七类内容。团队共评测 54 个模型，其中 google/gemma-3-27b-pt 以 74.68 的准确率居首。