长
长上下文评测(大海捞针)
一句话理解
给模型发一本小说,只在某页藏一句话,问它“针在哪”——大海捞针测试,长上下文能力的标配考卷。
定义
大海捞针测试(Needle in a Haystack, NIAH)指在超长文本的随机位置插入一条关键信息,测试模型能否在不同深度与上下文长度下准确找到并利用它,是长上下文评测(评测基准词条 936 的细分)的经典方法。
你会在哪遇到它
模型发布报告的长上下文成绩单(往往是热力图);讨论“200K 与 1M 上下文是不是真的”时;评测方法改进的新闻(多针版、对抗版)。
背后的原理
基础版:单根针按“位置乘长度”画成热力图,直观展示“开头记得清、中间容易漏”的迷失在中间现象。进阶版:多针同时藏、针与针之间有逻辑关系需要推理、用真实文档替代凑数文本。读榜要点:看“最深、最中间”的成绩,那才对应真实长文档的难度。
和相近概念的区别
1 与上下文窗口(词条 855):窗口是“能装多少”,捞针是“装了之后真能用到吗”。 2 与 KV 缓存(974):工程上决定能不能长,捞针决定长了有没有用。 3 与通用评测:长文本是专项考试,综合榜单高分不代表长文不翻车。
常见误区
1 热力图全绿就是长文好——基础单针早有“针对性准备”的嫌疑,要多针版才算数。 2 检索到就等于会用——找到针但答错针与针关系的推理型失败同样常见。 3 我的问题都很短不用关心——挂知识库、读合同、读代码库都会撞上长上下文。
所属分类模型与训练
更新时间2026-10-20 09:01
浏览量2
点赞0
每个 IP 仅可点赞一次 · 点赞后不可取消

暂无评论,来发表第一条评论吧!