Import AI· Jack Clark·· 6 小时前AI 评分45
Import AI 479:Realtime-Bench 评测低延迟任务、太空战报告与 Genie 4
Import AI 479: Spacewar; low-latency tasks versus LLMs; Genie 4
AI 导读
多所高校与 NVIDIA 等机构联合构建 Realtime-Bench,用 50 个交互式游戏与网页任务评测模型在实时延迟下的表现,GPT-6 Astra 在 wall clock 设置下通过率最高仅 36%,而暂停时钟下高推理模型可达 70%-80%。该基准从时间状态感知、自适应思考与时间感知行动三方面考察智能体,低分说明 AI 智能体在实时任务上仍不可靠。
来源:Import AI · importai.substack.com