首页AI 频道AI 术语词典长上下文评测(大海捞针)
长

长上下文评测(大海捞针)

模型与训练 2 次浏览 更新于 2026-10-20 09:01
返回术语列表

一句话理解

给模型发一本小说,只在某页藏一句话,问它“针在哪”——大海捞针测试,长上下文能力的标配考卷。

定义

大海捞针测试(Needle in a Haystack, NIAH)指在超长文本的随机位置插入一条关键信息,测试模型能否在不同深度与上下文长度下准确找到并利用它,是长上下文评测(评测基准词条 936 的细分)的经典方法。

你会在哪遇到它

模型发布报告的长上下文成绩单(往往是热力图);讨论“200K 与 1M 上下文是不是真的”时;评测方法改进的新闻(多针版、对抗版)。

背后的原理

基础版:单根针按“位置乘长度”画成热力图,直观展示“开头记得清、中间容易漏”的迷失在中间现象。进阶版:多针同时藏、针与针之间有逻辑关系需要推理、用真实文档替代凑数文本。读榜要点:看“最深、最中间”的成绩,那才对应真实长文档的难度。

和相近概念的区别

1 与上下文窗口(词条 855):窗口是“能装多少”,捞针是“装了之后真能用到吗”。 2 与 KV 缓存(974):工程上决定能不能长,捞针决定长了有没有用。 3 与通用评测:长文本是专项考试,综合榜单高分不代表长文不翻车。

常见误区

1 热力图全绿就是长文好——基础单针早有“针对性准备”的嫌疑,要多针版才算数。 2 检索到就等于会用——找到针但答错针与针关系的推理型失败同样常见。 3 我的问题都很短不用关心——挂知识库、读合同、读代码库都会撞上长上下文。

所属分类模型与训练
更新时间2026-10-20 09:01
浏览量2
点赞0
每个 IP 仅可点赞一次 · 点赞后不可取消

评论 (0)

发表评论

0/300

暂无评论,来发表第一条评论吧!

便签
已输入:0/500字

    扫码访问工具