UserSWE 补充实验报告(ICLR 2027 rebuttal)

按《补充实验需求(执行交接版)》的九项实验逐项报告。实验 1–3 为 2026-11-15 至 11-17 在当前环境下新跑的运行;实验 4–7 是对投稿 72 题 × 11 个 agent 原始轨迹的重分析;实验 8–9 是 Claude Opus 5.5 的离线模型审计,不是人工标注。所有数字都能追到题目、run 和轮次,结果目录为 rebuttal_results/exp01–exp09/。

一、总览

实验需求范围实际完成一句话结论
1 完整 issue 单轮11 agent × 72 题4 agent × 25 题给全信息一次做,最终解决率和多轮接近,但模型排名和多轮 LDPR 不一致
2 Judge/Reviewer 交换2 agent × 72 题 × 2 配置2 agent × 36 题 × 2 配置Opus 当 Judge 时两个被测模型都得分更高,相对差距基本不变(D=−0.031)
3 用户消息看不到测试3 agent × 50 题 × 2 组Opus 5 × 10 题(可见组复用实验 2)隔离生成可行,解决率不变,LDPR 低 0.07 但不显著;样本很小
4 v2/v3 拆分72 × 11完成两子集合并后与投稿主榜逐项一致(误差 <1e-12)
5 半轮重计费与折扣72 × 11完成半轮改记整轮后前 7 名不变,后段三家原本只差 0.0025 的模型重排
6 半轮与低排名局部优势72 × 11机械统计完成,信息条目未编号低排名胜过高排名的 935 个 pair×task 中,56 个(20 道题)依赖半轮优惠
7 拒答与异常72 × 11完成Fable 4 格均为真实安全拦截;统一剔除这 4 题后只有第 9、10 名互换
8 改写合理性审计全部 REWRITE + 200 KEEP1374 条,完成Opus 复核多为纠错;Sol 复核改状态时多数被审计判为改错
9 EqualPass 审计全部批准与拒绝127 个请求 + 22 格 Judge-only,完成65 个批准里 28 个被判不该批,多数是改写测试放松了断言;最坏情况下第 1 名和后 4 名不变

实验 1–3 因预算限制大幅缩小了规模,22 题级联部分基本没有结果。实验 8、9 的审计模型与 Opus 5 同属一个家族,只能作为额外的模型复核。具体偏离和待补的交付物见第七节。

二、新增运行

实验 1:同任务完整 issue 单轮基线

做法

同一批题、同一个容器和权限,把模拟用户的多轮对话换成一次性给出完整原始 issue(problem statement、requirements、interface 三节,中文译本,删掉 4 处修复链接,清理 diff 逐题保存)。agent 只有一个回合,回合内可以多次读代码、改代码、跑测试;只提问不改代码时不代答,直接判分。判分用与多轮相同的 V3 规则(EqualPass、等效测试背书)。单次调用的限制沿用多轮里一个 agent 回合的限制,没有做总计算量匹配,所以单轮和多轮的差异不能解释成纯粹的交互效应。

被测的是按投稿 LDPR 排名前 4 的模型:Claude Opus 5、Claude Fable 5.1、Grok-4.6、GPT-6-Astra。

规模

主口径是 50 题中 4 个模型单轮都有终态结果的 25 题(100 格)。这 25 题是按题名字母序排在前面的 25 题,不是随机样本。22 题级联部分只完成 11 格,不做分析;其中 Fable 5.1 的格因 22 题镜像自带的 Claude Code 2.1.74 被上游拒绝(要求 2.1.251 以上),无法运行。

结果(25 题)

模型单轮解决率多轮最终解决率多轮 LDPR多轮第 1 轮解决率
Claude Opus 584%84%0.62420%
GPT-6-Astra80%80%0.56020%
Claude Fable 5.172%76%0.58036%
Grok-4.664%88%0.63224%

拿到完整信息,对第一个回合影响很大。同样只有一个回合,单轮做对 64%–84%,多轮从模糊开场在第 1 轮只做对 20%–36%;多轮靠后续追问把差距补回来,最终解决率与单轮接近。

排名:按单轮解决率是 Opus > Astra > Fable > Grok;按多轮 LDPR 是 Grok > Opus > Fable > Astra。与多轮 LDPR 的 Spearman −0.40、Kendall τ −0.33;与多轮最终解决率 Spearman −0.20。只有 4 个模型,只作描述,不做检验。

模型两边都做对只有单轮做对只有多轮做对两边都没做对
Claude Opus 519222
GPT-6-Astra18223
Claude Fable 5.115343
Grok-4.614281

实验 2:Judge / Reviewer 角色交换

做法

被测 agent 为 Opus 5 和 GPT-5.6-Sol。每道题在两种配置下各跑一次,只交换 Judge 和 Reviewer,信息池、开场、persona、预算、判分规则和环境不变。

配置Judge(写用户消息、判定是否解决)Reviewer
judge_opus_review_solOpus 5(Cursor,thinking-high)GPT-5.6-Sol(Codex)
judge_sol_review_opusGPT-5.6-Sol(Codex)Opus 5(Cursor,thinking-high)

原运行每题只跑过一种配置,且 provider、CLI 版本、harness 都已变化,不能和新格严格配对。所以两种配置都在当前环境重跑,严格配对只在新格之间做;角色按 run 目录记录的真实 Judge 判定,不按 A/B 名称猜。

规模

主口径是 50 题中两模型、两配置四格都完成的 36 题(144 格);单看一个模型,各有 37 题配齐。50 题部分共派发 167 格。array-at-polyfill 这题 Opus 当 Reviewer 时稳定报 "Agent Looping Detected"(原批次 3/3 复现),只能跑一种配置。另有 2 格反复卡在 Judge 写不出合格的追问,自动续跑用完重试次数仍失败,记为基础设施失败。22 题部分只有 Opus 2 题、Sol 0 题配齐,不报告结果。

结果(36 题)

被测模型配置LDPR最终解决率
Opus 5Judge = Opus0.70380.6%
Opus 5Judge = Sol0.61172.2%
GPT-5.6-SolJudge = Opus0.64477.8%
GPT-5.6-SolJudge = Sol0.52266.7%
比较差值95% 区间
Opus 5:Judge=Opus 减 Judge=Sol+0.092[−0.033, 0.217]
GPT-5.6-Sol:Judge=Opus 减 Judge=Sol+0.122[0.011, 0.239]
Judge=Opus 时,Opus 减 Sol+0.058[−0.047, 0.164]
Judge=Sol 时,Opus 减 Sol+0.089[−0.039, 0.222]
D = 上面两行之差−0.031[−0.172, 0.103]

区间为配对任务级 bootstrap(seed=20261107,10,000 次),只反映题目抽样,不代表跨独立运行的波动。

Opus 当 Judge 时,两个被测模型都更容易、更早做对,Sol 的提升超出了区间。这个效应作用在两个模型上方向相同、大小接近,所以两模型的相对差距基本不变。若 Judge 偏向自家模型,应看到 D 为正;实测 D 略负,区间跨过 0。按需求,D 同时受用户消息写作能力、角色位置等因素影响,不能单独证明或排除自我偏好。

同一模型、同一题在两种配置下结果明显不同(一边解决一边没有,或 LDPR 差 ≥0.4)的有 20 例:Sol 被测时 8 例是 Judge=Opus 更好、3 例相反;Opus 被测时 5 比 4。

实验 3:用户信息释放不依赖测试结果

做法

把"写下一条用户消息"从 Judge 里拆出来,交给一个单独的生成调用。生成侧只能看到:用户本来知道的现象和想法(信息池 overlay 和追问池)、本轮 persona、真正发给 agent 的历史消息和 agent 的可见答复(agent 自己写的自测信息原样保留)。它看不到测试窗口、评分卡、失败条目、验收状态、EqualPass 裁定、Judge 和 Reviewer 的回复、隐藏文件,也没有工具。

评分侧不变:Judge、Reviewer、canonical 测试、EqualPass、半轮判定、成功终止和预算耗尽都照旧。Judge 写的消息和 Reviewer 改写过的版本只落盘审计,不发给 agent,所以看过测试的 Reviewer 没有把信息补回来的路径(对应需求第 4 条)。生成的消息有格式问题或泄漏关键词时最多重写 2 次,仍不合格就发一句中性兜底话。

需求第 1 条要求改 Judge skill。实际做法是把消息生成整个移出 Judge,Judge skill 不再负责发给 agent 的消息,所以没有改 skill 本身;框架 diff 和两组 prompt/schema 都已保存。

隔离验证

canary 测试:在评分侧所有位置埋一个随机串,确认隐藏组的请求、落盘记录和发给 agent 的消息都不含它;篡改测试摘要和评分卡后,生成请求的字节完全不变。可见组作为阳性对照,请求里能找到这个串。10 项检查全部通过。

第一次冒烟时发现生成调用的鉴权头写错,三次都拿到空回复,发出的是兜底句。修好后用同一请求体复测正常,这一格作废。正式 10 格共生成 14 条追问,没有一条用兜底句。

结果(Opus 5,10 题;可见组为实验 2 同题、同 Judge 配置的格)

指标可见组(原流程)隐藏组
最终解决率80%80%
第 1 轮就解决50%50%
LDPR0.7500.680
LDPR 差(隐藏 − 可见)−0.07,95% 区间 [−0.25, 0.06]

隐藏组有 5 题 agent 第 1 轮就做对,用不到追问。真正检验追问的只有另外 5 题:两组都没做对的 2 题,隐藏组用满 4 次追问仍失败;1 题两组都在第 2 轮做对;另 2 题可见组第 1 轮就做对而隐藏组第 2、5 轮才做对,但两组第 1 轮收到的是同一条开场消息,差别来自 agent 的随机性,不是追问。反方向也有 2 题,隐藏组第 1 轮做对、可见组更晚。

agent 自称已经全部修好时,看不到测试的生成器只能复述一个中性现象,追问力度明显弱于 Judge 原本要发的消息。这正是隐藏组想量的效应,但样本太小,量不出大小,只能作为定性证据。

三、已有轨迹重分析

实验 4:v2_single50 / v3_cascade22 拆分

72 题 × 11 个 agent 共 792 格(50 题 550 格 K=5,22 题 242 格 K=8),每个 agent 分母固定 72,13 个补格按原口径记 0。按 (50×v2 均值 + 22×v3 均值)/72 合并后,11 个模型 × 12 个指标与投稿主榜的差距都在 1e-12 以内,排名完全一致。

从原始 run 独立重算:22 题 234 格与导出表 0 格不一致。50 题 545 格在投稿口径下 0 格不一致;换成评分器原版规则会有 22 格不一致,原因是 Judge 以"等效实现"判了通过,但该 run 既没有 EqualPass 请求也没有机器验证。这是投稿时已记录的放宽口径,本实验没有改动,实验 9 审计了这 22 格。解决率曲线中标明单 issue 题在第 5 轮停止,第 6–8 轮的增长全部来自 cascade 题。

实验 5:半轮整轮重计费与折扣形状

779 条有轨迹的 canonical run 逐条读取每轮账本,用投稿评分器的规则重算 k,全部与导出表一致。整轮版本只改一处:agent 答复了但没改代码的回合从 0.5 改记 1,重算后 k′≤K 才算成功;基础设施占位轮不是 agent 回合,主口径不改。

实验 6:半轮信息获取与低排名 agent 的局部优势

低、高排名按投稿主榜未舍入 LDPR 冻结。同一道题上,低排名 agent 的原 LDPR 高于高排名 agent 的情况共 935 个 pair×task(69 道题)。其中整轮重计费后优势被取消的有 56 个 pair×task,去重后 20 道题,涉及 31 条低排名轨迹;按低排名一方统计:Hunyuan 13、Kimi 13、Gemini 9、Doubao 8、Sol 7、Astra 5、GLM 1。低排名成功、高排名失败的 325 个 pair×task 里只有 26 个被取消,多数情况与半轮无关。

51 个无修改回合的标注:agent 主动提问 3 个;交方案后停下来等批准 10 个;解释、汇报或诊断 26 个;断言"没有 bug""已经好了" 8 个;工具受阻 4 个。下一条用户消息带来新信息的 27 个。等批准的回合都出自 Sol、Astra 和 Gemini,用户只回"直接改吧",不带新信息,按 0.5 计费等于免费多了半个回合。新信息大多不是 agent 问出来的,而是模拟用户在 agent 断言没问题之后自己补充症状。

标注者是 Claude Opus 5.5,只标一遍,不是人工标注。信息池还没拆成带编号的条目,所以不报告覆盖率和"唯一新增条目数"。这里只是轨迹关联与计分敏感性,不是信息获取带来收益的因果证据。

实验 7:拒答与异常统计

Fable 在 50 题上的 4 个缺格逐格核实,都是模型侧安全拦截:评分卡记录 Claude Code API 返回安全拦截后任务立即终止,属于真实拒答,不是基础设施错误或记录缺失。

表口径结果
A原口径,每个 agent 72 题与投稿主榜一致
B只对 Fable 剔除 4 个拒答格(N=68)Fable 最终解决率 0.764→0.809,LDPR 0.593→0.628;分母不同,不能和其他模型直接排序
C所有模型统一剔除这 4 题(N=68)只有 Hunyuan 和 Doubao 互换第 9、10 名;Fable 仍排第 2

终态:50 题 550 格中 531 格正常完成;14 格为"作弊未遂但完成"(DeepSeek 9、Gemini 4、Doubao 1),属于可计分状态,按原分计入;4 格 Fable 拒答;1 格记录缺失。22 题 242 格中 234 格正常完成,8 个补格都是基础设施中断。Judge 错误、测试错误和不可计分这几类没有出现在 canonical run 上。125 格有多个同级 run 目录,大多是中断后的重跑尝试,不当作独立重复运行。

四、Opus 5.5 离线模型审计

实验 8、9 的审计模型是 Claude Opus 5.5,与 Opus 5 同属一个家族,而 Opus 5 在一半的运行里担任 Judge 或 Reviewer。审计结果不是人工标注,也不是独立的跨家族真值,只能作为额外的模型复核。每条只审一遍,没有人工复核。

实验 8:Judge / Reviewer 改写合理性审计

72×11 canonical run 中共有 2870 条有效的 Reviewer 轮次决策(Opus 5 作 Reviewer:KEEP 1244、REWRITE 421;Sol 作 Reviewer:KEEP 452、REWRITE 753)。审计了全部 1174 条 REWRITE 和两种配置各 100 条随机 KEEP(seed=20261107)。两个候选匿名、顺序随机,隐藏模型身份和 Reviewer 理由。

"Sol 复核改错 51 次"这一结论,审计方与被审的 Judge 同属一个家族,偏向的可能性最大。建议从这 51 条和"Opus 复核纠正 93 次"中各抽 20 条做人工核对,再决定论文怎么写。审计花费 1250 元。

实验 9:EqualPass 合理性审计

72 题 783 条 canonical run 中有 114 条发起过 EqualPass,共 128 个请求:批准 65 个(与审稿人说的约 65 次一致;旧批次的 109 次不能引用),拒绝 62 个,证据缺失 1 个。另有 50 题里 22 格是 Judge 以等效判了通过但没有任何 EqualPass 请求。审计时隐藏原批准/拒绝结论、Reviewer 理由和模型身份。

对排名的影响(上界,把含不该批申请的整格记为失败):只撤掉 28 个不该批的批准,24 格由成功变失败,Opus 5 仍第 1,Fable 和 Grok 互换第 2、3,后 4 名不变。再加上证据不足的和 Judge-only 不该算的,共 40 格变失败,Opus 5 和 Fable 仍为前 2,DeepSeek 升到第 3。受影响最大的是 Fable(LDPR 最多降 0.065)和 Astra(最多降 0.074),它们发起和获批的 EqualPass 最多。三种口径下第 1 名和后 4 名都不变。审计花费约 135 元。

五、费用与运行记录

实验 1–3 的新增运行按每格调用记录统计,在 AI Hub 上共花约 4.03 万元(被测 agent、Judge 和实验 3 生成调用;Cursor 账号上的 Judge/Reviewer 费用另计,未含在内)。实验 8、9 审计约 1385 元。新增运行远超最初设定的 1 万元上限。

实验有效格停机作废的格其它作废格合计
实验 17,5261,39928,927
实验 218,9758,3931,62328,991
实验 32,267—722,339
合计28,7689,7921,69740,257

单位:元。"有效格"含后来因范围调整不进主口径的格(如 22 题部分、实验 3 可见组 Astra)。

六、与原运行的差异(实验 1–3)

七、偏离需求与待补交付

实验与需求的偏离待补
111 agent → 4 agent;72 题 → 25 题(字母序前 25,非随机);22 题没有结果分歧格六类标签的轨迹复核;config.json、results.csv;summary 更新到最终口径
272 题 → 36 题;22 题没有结果;没有复用旧格(环境已变,不能严格配对)config.json、results.csv;差异案例的文字说明;summary 更新
33 agent × 50 题 → Opus 5 × 10 题;可见组复用实验 2;没改 Judge skill,改为把消息生成移出 Judgevisibility_checks.md(canary 输出已有);config.json、summary.md;用户消息案例整理
6信息池未拆成稳定编号的条目条目编号与人工复核后才能报告覆盖率
8、9只有同家族模型审计,没有人工核对建议各抽 20 条做人工核对

实验 4、5、7 按需求完成。所有作废格和未完成格都保留并单独列出,没有覆盖原分,也没有混入旧批次。

八、产物索引

实验脚本主要结果文件
实验 1exp01/run_exp01.pysingleturn_scores.csv、singleturn_model_summary.csv、rank_correlations.csv、fourcell_tables.csv、disagreements.csv、inputs/
实验 2exp02/run_exp02.pypaired_scores.csv、role_comparison.csv、diff_cases.csv、noncompleted_cells.csv、reuse_inventory.csv
实验 3exp03/run_exp03.pypaired_hidden_visible.csv、results_summary.json、canary_test_output_merged.txt、design.md、evalctl_exp3.diff、prompt_test_*.txt
实验 4exp04/run_exp04.pyv2_single50.csv、v3_cascade22.csv、reconciliation.csv、resolve_curves.png
实验 5exp05/run_exp05.pyhalfturn_affected_runs.csv、rescored_cells.csv、fullturn_rankings.csv、discount_rankings.csv
实验 6exp06/run_exp06.pypairwise_advantages.csv、information_annotations.csv
实验 7exp07/run_exp07.pyscores.csv、status_counts.csv、excluded_tasks.csv
实验 8exp08/run_audit.pyaudit_manifest.csv、audit.jsonl、decision_change_audit.csv
实验 9exp09/run_audit.pyrequests.csv、audit.jsonl、sensitivity_rankings.csv

路径相对于评测仓的 rebuttal_results/ 目录。证据包和审计模型的原始回复含评测私有内容,放在仓库外的私有目录。