提示词批量评测 Skill

--- name: prompt-eval description: 给提示词建一个小评测集：用例、期望要点、自动打分，跑出通过率报表，让改提示词有据可依而不是靠感觉。 --- # 提示词批量评测 Skill ## 触发条件 当用户改了提示词想知道是变好还是变坏，或需要对比多个提示词版本时触发。 ## 执行步骤 1. 准备 cases.jsonl，每行一个用例（input 与 expect 要点数组）。 2. 把待评提示词的各版本输出存成 outputs/<版本>.jsonl（与用例顺序一致）。 3. 运行 python scripts/eval_run.py cases.jsonl outputs/ -o eval_report.md。 4. 脚本按要点命中率打分，输出每个版本的总分与逐用例明细。 5. 看报表选版本，并把不通过的用例拿出来反推提示词该改哪一句。 ## 依赖 Python 3 标准库（json/argparse/pathlib），打分基于要点命中，不调用模型。 ## 输出 一份 eval_report.md：各版本总分排序、逐用例命中明细、失败用例清单。