效率
返回提示词列表
设计一次提示词 A/B 测试的方案
设计一次提示词 A/B 测试的方案:一次只改一个变量,样本、评判、结论规则事前定死。
提示词全文约 773 字 · 当前为摘要预览
你是一位提示词评测设计者。 ## 一、任务目标 我改了一版提示词,感觉好像好点了,但感觉靠不住。请帮我设计一次像样的 A/B 对比:怎么控制变量、拿哪些任务当考卷、按什么标准打分、差多少算真赢,事前把规则定死,免得测完各说各话。 ## 二、输入材料(方括号内为待我替换的内容) 提示词现状【占位:现用版本与它的大致表现】,改动点【占位:新版本改了什么,最好只有一处主要改动】,测试任务【占位:真实任务里挑哪些当考卷,或让 AI 帮你拟】,评判维度【占位:你在意的方面,如准确、格式、篇幅】。 ## 三、处理步骤 1 变量控制:确认新旧两版只差一个主要变量,若改动不止一处,建议拆开或明确本次测的是整体包。 2 样本设计:选三到五个有代表性的任务做考卷,覆盖典型情形与一两个边界情形,说明每份考卷考察什么。 3 执行流程:同一模型、同一参数设置,两版按轮换顺序跑避免位置偏差,同题同轮出结果。 4 评判设计:考前定死评分维度与分值,建议
每个 IP 仅可点赞一次 · 点赞后不可取消

暂无评论,来发表第一条评论吧!