跳到正文
原文
Hugging Face Blog·· 2022-10-24AI 评分40

Hugging Face 在 🤗 Evaluate 中加入语言模型偏见评估指标

Evaluating Language Model Bias with 🤗 Evaluate

AI 导读

Hugging Face 为 🤗 Evaluate 库新增偏见指标与测量方法,用于评估 GPT-2、BLOOM 等因果语言模型的偏见。该工作流先用 🤗 Datasets 中的预设提示词引导模型生成文本,再用 🤗 Evaluate 的指标打分,示例覆盖 Toxicity、Polarity 和 Hurtfulness 三类任务,其中 toxicity 指标基于 R4 Target 仇恨检测模型。

来源:Hugging Face Blog · huggingface.co