Hugging Face Blog·· 2024-07-25AI 评分22
LAVE：用 LLM 在 Docmatix 上做零样本 VQA 评测，我们还需要微调吗？
LAVE: Zero-shot VQA Evaluation on Docmatix with LLMs - Do We Still Need Fine-Tuning?
AI 导读
Hugging Face 提出 LAVE（LLM-Assisted VQA Evaluation）指标，用 Llama-2-Chat-7b 以 1-3 分制对候选答案打分，在 Docmatix 的 200 张图像子集上评估 MPLUGDocOwl1.5 的零样本表现，LAVE 得分 0.58，而 CIDER 仅 0.1411、BLEU 0.0032、ANLS 0.002。
来源：Hugging Face Blog · huggingface.co