18 题 O-Eval / Robust BO-Eval Dashboard

2023-2025 · generated 2026-09-14 · AA-style
正式报告 · 大白话 · 全模型可行性复核
最佳 O-Eval64.29%codex + gpt-5.5 xhigh · 主榜
最佳 HardGate O64.29%codex + gpt-5.5 xhigh · 谨慎榜
最佳 Robust21.27%Kimi K3 · 辅助口径，冲突时让位 O-Eval
Qwen O-Eval62.24%¥122.72 · OpenRouter价/原始cache计数
Kimi O-Eval64.24%¥166.32
Gemini 覆盖15/18缺失 artifact 按 raw 0

先说结论

这个 benchmark 看的不是模型会不会写一篇像样的建模论文，而是：给它完整赛题和附件后，它最后交出来的关键数字，能不能追上优秀论文复现答案。

最终主指标现在是 O-Eval：clamp(模型 direction-aware raw / O raw, 0, 1)，再对 18 题取平均。大白话说，100% 就是平均达到 O 奖复现答案的 raw 水平；超过 O 奖锚点的部分不再继续加分。

这也是为什么 O-Eval 和 Robust BO-Eval 会出现排序不一致：O-Eval 看的是离 O 有多近，Robust 看的是比 flash 多追回了多少。一个是绝对分，一个是相对进步分，所以它们是互补的，不是二选一。

18 题总排名按 O-Eval 算是：Kimi K3 (58.08%) > Hy4 Preview (57.08%) > Qwen3.8 27B (55.06%) > GPT-5.6 Sol (55.00%) > GLM-5.3 (51.46%) > v4 pro (51.42%) > GPT-5.6 Sol XH (50.94%) > ox-alpha (48.94%) > Qwen3.8 Flash (Bailian) (45.15%) > Gemini 3.7 Flash (44.01%)。

另外新增一个温和版 hard-gated leaderboard：只把“明显不是可行解”的模型-题目格子整题清零，不把所有 needs-review/proxy 题一刀切。按这个谨慎口径，Hard-gated O-Eval 排名是：Hy4 Preview (57.08%) > Qwen3.8 27B (55.06%) > GPT-5.6 Sol (55.00%) > v4 pro (51.42%) > GPT-5.6 Sol XH (50.94%) > Kimi K3 (46.97%) > GLM-5.3 (45.91%) > Qwen3.8 Flash (Bailian) (45.15%) > ox-alpha (43.38%) > Gemini 3.7 Flash (38.63%)。

Robust BO-Eval 仍然保留做辅助解释：正常题用 (模型 raw - flash raw) / (O raw - flash raw)，而且赢很多和输很多都一起截到 ±100%；分母小于 0.10 的已完成题，改用 clipped B-Eval，也就是把 模型 raw - flash raw 截到 ±10pp。若 trial 没有产出可评分结果，就直接记 -100%。它回答的是“相对便宜 flash baseline 多追回多少”，并且不会让 841% 这种小分母离群值主导结论。

如果两个排名冲突，正式主榜以 O-Eval 为准，Robust 只做辅榜和解释。GLM-5.3-Flash 和 DeepSeek flash 的差别也属于这一类：一个可能在相对追赶上更猛，另一个可能在绝对接近 O 上更好。

按 Robust 辅助口径排序是：Kimi K3 (12.19%) > Hy4 Preview (11.70%) > Qwen3.8 27B (9.94%) > GPT-5.6 Sol (8.08%) > GLM-5.3 (5.45%) > v4 pro (2.28%) > ox-alpha (-1.46%) > GPT-5.6 Sol XH (-1.82%) > Qwen3.8 Flash (Bailian) (-7.33%) > Gemini 3.7 Flash (-14.37%)。

模型 artifacts 平均 raw O-Eval 主分 Hard-gated O-Eval Robust BO-Eval 辅助 Hard-gated Robust tokens input/cache/output 估算成本
v4 flash 17/18 0.756518 51.85% 47.75% 0.00% 0.00% 33,032,997 / 31,802,112 / 1,896,174 ¥6.27
Kimi K3 18/18 0.868798 58.08% 46.97% 12.19% -4.64% 30,146,116 / 28,928,953 / 956,805 ¥179.76
Hy4 Preview 18/18 0.865183 57.08% 57.08% 11.70% 11.70% 133,731,323 / 128,999,040 / 2,068,825 ¥97.95
Qwen3.8 27B 18/18 0.754457 55.06% 55.06% 9.94% 9.94% 47,245,909 / 0 / 3,178,409 ¥197.92
GPT-5.6 Sol 18/18 0.841554 55.00% 55.00% 8.08% 8.52% 8,774,606 / 7,566,848 / 497,473 ¥59.98
GLM-5.3 18/18 0.598189 51.46% 45.91% 5.45% -5.66% 92,056,972 / 89,637,696 / 2,638,779 ¥258.05
v4 pro 18/18 0.618719 51.42% 51.42% 2.28% 2.28% 21,309,105 / 20,096,768 / 1,748,356 ¥41.08
GPT-5.6 Sol XH 17/18 0.640327 50.94% 50.94% -1.82% -1.82% 16,596,399 / 14,928,768 / 841,198 ¥99.26
ox-alpha 18/18 0.655886 48.94% 43.38% -1.46% -7.57% 107,726,029 / 101,466,688 / 3,683,366 ¥19.62
Qwen3.8 Flash (Bailian) 18/18 0.564887 45.15% 45.15% -7.33% -7.33% 299,616,972 / 293,563,264 / 6,814,374 ¥59.34
Gemini 3.7 Flash 15/18 0.57861 44.01% 38.63% -14.37% -24.82% 69,131,259 / 62,497,004 / 705,776 ¥82.93

温和版 hard-gated 怎么算

hard-gated 不是把所有可疑题都删掉。它只惩罚三类很硬的失败：第一，score_config 已经标出 invalid_reason 的硬无效字段；第二，独立重放后确定几何/物理结果为零的高分；第三，明显量纲越界或结构缺失但被开放式“越高越好”指标错误奖励的高分。

被 hard gate 的格子，O-Eval 按 raw 0 进入 18 题平均；Robust BO-Eval 按 -100% 进入 18 题平均。只是 needs-review、proxy-score、还缺更强 replay verifier 的格子，先保留原分，但报告里会标注不能拿来 claim “强于 O”。

模型 Hard-gated O-Eval Hard-gated Robust 原始 O-Eval gate 数 成本
Hy4 Preview 57.08% 11.70% 57.08% 0 ¥97.95
Qwen3.8 27B 55.06% 9.94% 55.06% 0 ¥197.92
GPT-5.6 Sol 55.00% 8.52% 55.00% 0 ¥59.98
v4 pro 51.42% 2.28% 51.42% 0 ¥41.08
GPT-5.6 Sol XH 50.94% -1.82% 50.94% 0 ¥99.26
v4 flash 47.75% 0.00% 51.85% 1 ¥6.27
Kimi K3 46.97% -4.64% 58.08% 2 ¥179.76
GLM-5.3 45.91% -5.66% 51.46% 1 ¥258.05
Qwen3.8 Flash (Bailian) 45.15% -7.33% 45.15% 0 ¥59.34
ox-alpha 43.38% -7.57% 48.94% 1 ¥19.62
Gemini 3.7 Flash 38.63% -24.82% 44.01% 1 ¥82.93

这版最大的变化是：Kimi K3 的朱诺旅游和奥运教练效应高分被扣掉，ox-alpha 的烟幕高分被扣掉；七鳃鳗里凡是把原始种群量写成 0-1 归一化指数的格子，也按整题不可行处理。

模型 赛题 原 O-Eval gated O-Eval 原 Robust gated Robust 原因
v4 flash cumcm-2023-a-heliostat-field 73.82% 0.00% 0.00% 0.00% hard-invalid/heliostat-constraint: Q2 rated-power constraint violation: 53.795541 MW is below the required approximately 60 MW; Q3 rated-power constraint violation: 53.795541 MW is below the required approximately 60 MW; Q3 does not expose numeric mirror dimensions
GLM-5.3 cumcm-2023-a-heliostat-field 100.00% 0.00% 100.00% -100.00% explicit Q3 design note violates heliostat installation-height bound: one tail mirror uses z=1.9024 m, below the required 2 m minimum
Gemini 3.7 Flash cumcm-2023-a-heliostat-field 96.90% 0.00% 88.16% -100.00% hard-invalid/heliostat-constraint: Question 2 rated-power constraint violation: 55.460000 MW is below the required approximately 60 MW; Question 3 rated-power constraint violation: 54.966000 MW is below the required approximately 60 MW
ox-alpha cumcm-2025-a-smoke-screen 100.00% 0.00% 10.00% -100.00% independent smoke-screen replay gives 0.00s coverage under O-reference line-of-sight geometry
Kimi K3 mcm-2025-b-juneau-tourism 100.00% 0.00% 100.00% -100.00% unit/scale invalid: resident_acceptance_index=1.5 and sustainability_score=232.2 on a unit-scale score
Kimi K3 mcm-2025-c-olympic-medals 100.00% 0.00% 10.00% -100.00% invalid high coach-effect result: only three scored recommendations and endpoint verifier reward is negative/BO 0

O-Eval and Robust BO-Eval: 2023-2025

Generated: 2026-09-14

Scope: 2023, 2024, and 2025 terminal-bench-math-modeling tasks, 18 tasks total. This report rescored saved artifacts only; it does not rerun models or modify job result files.

Primary O-Eval rule: clamp(model direction-aware raw / O raw, 0, 1), averaged over all 18 tasks. Since the O-award reproduction is normalized near raw=1 on these tasks, O-Eval is the easiest-to-read absolute oracle-normalized score, and overshoots are capped at 100%.

Secondary Robust BO-Eval rule: let gain = model raw - flash raw and gap = O raw - flash raw. If gap >= 0.10, score clip(gain / gap, -100%, +100%); otherwise score clip(gain, -10pp, +10pp). Normal completed tasks still use the clipped fallback on tiny-gap cases, but any missing or non-scoreable artifact is assigned -100% so a completely unfinished task gets the worst possible score.

Tempered hard-gated rule: only clearly non-feasible cells are whole-task penalized. Automatic scorer hard-invalid metrics and manually replay-proven invalid high-score cells receive gated raw 0 for O-Eval and -100% for Robust BO-Eval. Needs-review/proxy cells remain scored but are not used as stronger-than-O claims without a better replay verifier.

Robust ratio tasks with gap >= 0.10: 11. Saturated or near-zero-gap tasks using clipped B-Eval: 7.

Overall Mean

Model Artifacts Mean direction-aware raw Mean O-Eval on all 18 (%) Mean B-Eval vs flash (pp) Mean Robust BO-Eval on all 18 (%) Tokens input/cache/output Billable input/output Est. cost USD Est. cost RMB Canonical valid/running/error/pending Excluded retries
v4 flash baseline 17 0.838752 58.14% +0.00 pp 0.00% 33,032,997 / 31,802,112 / 1,896,174 1,230,885 / 1,896,174 $0.683019 ¥4.60 18/0/0/0 0
opencode + deepseek-flash 18 0.907032 62.19% +6.83 pp 12.24% 89,376,395 / 88,668,288 / 569,862 708,107 / 569,862 $2.536206 ¥17.09 18/0/0/0 6
codex + gpt-5.5 xhigh 18 0.854280 64.29% +1.55 pp 17.03% 108,584,170 / 105,199,744 / 994,910 3,384,426 / 994,910 $99.369302 ¥669.45 18/0/0/0 0
v4 pro 18 0.713865 58.44% -12.49 pp 6.91% 21,309,105 / 20,096,768 / 1,748,356 1,212,337 / 1,748,356 $10.247542 ¥69.04 18/0/0/0 0
GLM-5.3 18 0.646092 56.25% -19.27 pp 6.03% 92,056,972 / 89,637,696 / 2,638,779 2,419,276 / 2,638,779 $38.303415 ¥258.05 18/0/0/0 0
GPT-5.6 SOL high 18 0.892644 60.10% +5.39 pp 10.01% 8,774,606 / 7,566,848 / 497,473 1,207,758 / 497,473 $8.903616 ¥59.98 18/0/0/0 0
GPT-5.6 SOL xhigh 17 0.700131 56.84% -13.86 pp 3.68% 16,596,399 / 14,928,768 / 841,198 1,667,631 / 841,198 $14.732996 ¥99.26 17/0/1/0 3
Kimi K3 18 0.934701 64.24% +9.59 pp 21.27% 30,146,116 / 28,928,953 / 956,805 1,217,163 / 956,805 $24.687377 ¥166.32 17/0/1/0 0
Gemini 3.7 Flash high primary+retry 15 0.674352 53.58% -16.44 pp -8.14% 69,131,259 / 62,497,004 / 705,776 6,634,255 / 705,776 $12.309627 ¥82.93 18/0/0/0 1
Qwen3.8-27B-FP8 thinking 18 0.830722 62.24% -0.80 pp 16.30% 47,245,909 / 0 / 3,178,409 47,245,909 / 3,178,409 $18.215567 ¥122.72 17/0/1/0 0
GLM-5.3-Flash (ox-alpha) 18 0.724187 55.09% -11.46 pp 4.93% 107,726,029 / 101,466,688 / 3,683,366 6,259,341 / 3,683,366 $2.912292 ¥19.62 17/0/1/0 20
Qwen3.8 Flash (Bailian) 18 0.626646 51.32% -21.21 pp -1.82% 299,616,972 / 293,563,264 / 6,814,374 6,053,708 / 6,814,374 $8.807824 ¥59.34 16/0/2/0 0
Tencent Hy4 Preview 18 0.912611 61.82% +7.39 pp 11.21% 133,731,323 / 128,999,040 / 2,068,825 4,732,283 / 2,068,825 $14.538815 ¥97.95 18/0/0/0 0

Tempered Hard-Gated Leaderboard

Rank Model Hard-gated O-Eval Hard-gated Robust BO-Eval Original O-Eval Original Robust BO-Eval Hard-gated raw mean Hard gates Est. cost RMB
1 codex + gpt-5.5 xhigh 64.29% 17.03% 64.29% 17.03% 0.854280 0 ¥669.45
2 Qwen3.8-27B-FP8 thinking 62.24% 16.30% 62.24% 16.30% 0.830722 0 ¥122.72
3 opencode + deepseek-flash 62.19% 12.24% 62.19% 12.24% 0.907032 0 ¥17.09
4 Tencent Hy4 Preview 61.82% 11.21% 61.82% 11.21% 0.912611 0 ¥97.95
HardGate O效果
aa-style-2023-2025-hard-gated-o-eval-bar.png
HardGate O分数-cost
aa-style-2023-2025-hard-gated-o-eval-cost-scatter.png
O效果
aa-style-2023-2025-o-eval-bar.png
O分数-cost
aa-style-2023-2025-o-eval-cost-scatter.png
Robust效果
aa-style-2023-2025-boeval-effect-bar.png
Robust分数-cost
aa-style-2023-2025-boeval-score-cost.png
Token
aa-style-2023-2025-token-usage.png
成本
aa-style-2023-2025-cost.png
O年份
aa-style-2023-2025-o-eval-year-split.png
O赛制
aa-style-2023-2025-o-eval-suite-split.png

2023-2025 全模型答案可行性复核

生成日期：2026-09-14

结论

这份复核不把 JSON 字段齐全、轨迹里写过代码或分数高，直接当成数学方案已经可行。可行性分成三层：题面硬约束明确违反时 hard-invalid；能用共同几何/运动学重放时报告 replay-feasible；开放题或缺少布局/代码时只能写 artifact-only，不能据此宣称方案已被独立验证。

本轮共检查 234 个模型-题目单元。状态计数：artifact-only/calibrated-model=13, artifact-only/no-layout-replay=9, hard-invalid=6, missing-artifact=8, needs-review/crop-planting-demand-cap-ambiguous=9, needs-review/crop-planting-summary-only=4, needs-review/decision-structure-pass=11, needs-review/lamprey-state-range-pass=13, needs-review/maasai-partition-pass=13, needs-review/model-layout-missing=7, needs-review/model-scale-mismatch=1, needs-review/nipt-group-coverage=2, needs-review/nipt-range-pass=11, needs-review/no-replenishment-schedule=8, needs-review/olympic-structure-pass=11, needs-review/overlap-quality-warning=2, needs-review/replay-gaps=2, needs-review/schedule-basic-check-pass=4, needs-review/schedule-fields-missing=1, needs-review/stair-wear-domain=1, needs-review/tourism-policy-range-pass=3, needs-review/tourism-scale-mismatch=9, range-clean/sic-thickness=13, range-clean/stair-wear-domain=12, range-clean/submersible-domain=13, range-clean/tennis-domain=12, range-clean/wordle-domain=12, replay-feasible-under-O-geometry=11, replay-feasible-under-O-geometry/dragon=13。

新增确定性处罚：GLM-5.3 的 cumcm-2023-a-heliostat-field Q3 文字明确给出一面尾镜 z=1.9024 m，低于题面安装高度下限 2 m；v4 flash baseline 的 Q3 年平均热功率为 53.7955 MW，Gemini 3.7 Flash 的 Q2/Q3 年平均热功率为 55.460/54.966 MW，均未达到约 60 MW。这些是题面硬约束违反，进入 whole-task hard gate。此前对 Hy4 的 cumcm-2024-b-production-decision（SPRT 的 c=-1 哨兵）和 Juneau 中间年份 sustainability_score>100 的判断是审计误报，已撤销；它们现在分别标为结构通过和量纲需复核。 多波束题补充了独立重放：GLM、ox-alpha、Kimi 和 Qwen 的 artifact 都保存了可读取的实际 Q4 测线坐标。GLM/ox-alpha 为 60 条线，在官方海深网格上覆盖率约 99.945%，存在少量漏测；Kimi 为 81 条线、覆盖率 100%，但约 79.6% 的相邻局部重叠超过 20%；Qwen 为 60 条线、覆盖率 100%，但只有约 14.8% 的局部重叠落在 10%–20%，约 36.2% 低于 10%，约 51.0% 高于 20%。这些结果说明覆盖几何可执行，但质量约束仍需复核，不能直接写成完全满足题面。Qwen 的 Q3 末条测线中心超出 4 海里边界约 4.17 m，仅作为边界约定警告。

烟幕题独立重放

统一采用题面导弹/无人机坐标、300 m/s 导弹、重力抛体、10 m 烟幕半径、20 s 有效期，以及 Outstanding 复现使用的 27 个目标采样点和 25% 覆盖阈值。重放不读取模型自报的遮蔽时长，只读取投放参数重新计算。

模型 自报 Q5 总时长(s) 独立重放总时长(s) 状态
v4 flash baseline 22.23 24.04 replay-feasible-under-O-geometry
opencode + deepseek-flash 47.243 55.14 replay-feasible-under-O-geometry
codex + gpt-5.5 xhigh 22.9656 30.42 replay-feasible-under-O-geometry
v4 pro 19.5486 20.44 replay-feasible-under-O-geometry
GLM-5.3 15.5443 20.3 replay-feasible-under-O-geometry
GPT-5.6 SOL high 42.3921 54.46 replay-feasible-under-O-geometry
GPT-5.6 SOL xhigh 16.26 17.94 replay-feasible-under-O-geometry
Kimi K3 34.37 39.64 replay-feasible-under-O-geometry
Gemini 3.7 Flash high primary+retry 17.4209 21.04 replay-feasible-under-O-geometry
Qwen3.8-27B-FP8 thinking 31.6525 32.62 replay-feasible-under-O-geometry
GLM-5.3-Flash (ox-alpha) N/A N/A hard-invalid
Qwen3.8 Flash (Bailian) N/A N/A missing-artifact
Tencent Hy4 Preview 62.8845 56.42 replay-feasible-under-O-geometry

Qwen3.8-27B 的自报 31.65 s 在共同重放下约为 32.62 s，15 枚弹、每架不超过 3 枚、同一无人机投放间隔至少 1 s、速度和爆炸高度约束均通过。因此这个离群高分目前不能因“高于 Outstanding”而处罚；它的风险是目标模型较简化，而不是已发现的运动学不可能。

ox-alpha 的 Q5 在共同重放下为 0 s，保留既有 hard gate。其余模型的重放结果也会和自报值有差异，这是采样阈值/时间步不同造成的，不自动按数值差异处罚。

明确硬错误

模型 题目 处理 证据
v4 flash baseline cumcm-2023-a-heliostat-field hard-invalid hard-invalid/heliostat-constraint: Q2 rated-power constraint violation: 53.795541 MW is below the required approximately 60 MW; Q3 rated-power constraint violation: 53.795541 MW is below the required approximately 60 MW; Q3 does not expose numeric mirror dimensions
GLM-5.3 cumcm-2023-a-heliostat-field hard-invalid explicit Q3 design note violates heliostat installation-height bound: one tail mirror uses z=1.9024 m, below the required 2 m minimum
Gemini 3.7 Flash high primary+retry cumcm-2023-a-heliostat-field hard-invalid hard-invalid/heliostat-constraint: Question 2 rated-power constraint violation: 55.460000 MW is below the required approximately 60 MW; Question 3 rated-power constraint violation: 54.966000 MW is below the required approximately 60 MW
Kimi K3 mcm-2025-b-juneau-tourism hard-invalid unit/scale invalid: resident_acceptance_index=1.5 and sustainability_score=232.2 on a unit-scale score
Kimi K3 mcm-2025-c-olympic-medals hard-invalid invalid high coach-effect result: only three scored recommendations and endpoint verifier reward is negative/BO 0

其中 mcm-2024-a-lamprey 的 score-config invalid 是所有当前模型共用的字段量纲问题：O 奖端点给的是种群规模，若模型返回归一化指数，不能把它当成“生态边界违反”，但也不能当成同量纲精确复现；因此只保留逐指标警告，不整题 hard gate。Kimi 的 Juneau 仍因最终接受度 1.5 和可持续分数 232.2 与 unit-scale 端点不可比较而保留人工 hard gate；Kimi 的 Olympic 结构也有独立硬证据。ox-alpha 烟幕题仍以统一几何重放为准。

高分单元复核

下表列出 direction-aware raw ≥ 1.15 或已被 hard gate 的单元。range-clean/artifact-only 只表示基础数值范围和结构没有直接越界，不表示论文级数学模型已经被重跑。

模型 题目 raw O-Eval 状态 复核结论
GLM-5.3 cumcm-2023-a-heliostat-field 1.3935 100.00% hard-invalid explicit Q3 design note violates heliostat installation-height bound: one tail mirror uses z=1.9024 m, below the required 2 m minimum
Gemini 3.7 Flash high primary+retry cumcm-2023-a-heliostat-field 0.969 96.90% hard-invalid hard-invalid/heliostat-constraint: Question 2 rated-power constraint violation: 55.460000 MW is below the required approximately 60 MW; Question 3 rated-power constraint violation: 54.966000 MW is below the required approximately 60 MW
Qwen3.8 Flash (Bailian) cumcm-2023-a-heliostat-field 1.4559 100.00% needs-review/model-layout-missing summary JSON reports Q3 design values, but no per-mirror coordinates, dimensions, heights, spacing, shadow, or optical replay files are present in the artifact
Qwen3.8-27B-FP8 thinking cumcm-2023-a-heliostat-field 1.2445 100.00% needs-review/model-scale-mismatch Q1 fixed-field optical scale is about 14.9% above O; Q3 power is not independently replayable from saved coordinates
Tencent Hy4 Preview cumcm-2023-a-heliostat-field 1.464 100.00% needs-review/model-layout-missing summary JSON reports Q3 design values, but no per-mirror coordinates, dimensions, heights, spacing, shadow, or optical replay files are present in the artifact
v4 pro cumcm-2023-a-heliostat-field 1.3129 100.00% needs-review/model-layout-missing summary JSON reports Q3 design values, but no per-mirror coordinates, dimensions, heights, spacing, shadow, or optical replay files are present in the artifact
GLM-5.3 cumcm-2023-b-multibeam-lines 1.5007 100.00% needs-review/replay-gaps Q4 replay on official 201x251 grid: 60 N-S lines in [0.0217,3.9917] NM, coverage=99.945%, missed=0.0555%, >20% overlap=151.24 NM, mean overlap=27.12%; overlap below10/within10-20/above20=36.1/12.8/51.1%
GLM-5.3-Flash (ox-alpha) cumcm-2023-b-multibeam-lines 1.5006 100.00% needs-review/replay-gaps Q4 replay on official 201x251 grid: 60 N-S lines in [0.0217,3.9937] NM, coverage=99.945%, missed=0.0555%, >20% overlap=151.16 NM, mean overlap=27.1%; overlap below10/within10-20/above20=36.2/12.8/51%
GPT-5.6 SOL high cumcm-2023-b-multibeam-lines 2.4257 100.00% artifact-only/no-layout-replay final JSON has summary metrics but the claimed line schedule/coverage files are not in the collected artifact
GPT-5.6 SOL xhigh cumcm-2023-b-multibeam-lines 1.4631 100.00% artifact-only/no-layout-replay final JSON has summary metrics but the claimed line schedule/coverage files are not in the collected artifact
Gemini 3.7 Flash high primary+retry cumcm-2023-b-multibeam-lines 1.4964 100.00% artifact-only/no-layout-replay final JSON has summary metrics but the claimed line schedule/coverage files are not in the collected artifact
Kimi K3 cumcm-2023-b-multibeam-lines 1.4104 100.00% needs-review/overlap-quality-warning Q4 replay on official 201x251 grid: 81 N-S lines in [0.02,4] NM, coverage=100%, missed=0%, >20% overlap=319.7 NM, mean overlap=46.16%; overlap below10/within10-20/above20=8.4/12/79.6%
Qwen3.8 Flash (Bailian) cumcm-2023-b-multibeam-lines 1.5427 100.00% artifact-only/no-layout-replay final JSON has summary metrics but the claimed line schedule/coverage files are not in the collected artifact
Qwen3.8-27B-FP8 thinking cumcm-2023-b-multibeam-lines 1.5018 100.00% needs-review/overlap-quality-warning Q4 replay on official 201x251 grid: 60 N-S lines in [0.0214,3.9962] NM, coverage=100%, missed=0%, >20% overlap=151.1 NM, mean overlap=27.08%; overlap below10/within10-20/above20=36.2/12.7/51%; warning: Q3 last line center is 4.17 m beyond the 4 NM east boundary
Tencent Hy4 Preview cumcm-2023-b-multibeam-lines 2.3499 100.00% artifact-only/no-layout-replay final JSON has summary metrics but the claimed line schedule/coverage files are not in the collected artifact
codex + gpt-5.5 xhigh cumcm-2023-b-multibeam-lines 2.543 100.00% artifact-only/no-layout-replay final JSON has summary metrics but the claimed line schedule/coverage files are not in the collected artifact
opencode + deepseek-flash cumcm-2023-b-multibeam-lines 1.5661 100.00% artifact-only/no-layout-replay final JSON has summary metrics but the claimed line schedule/coverage files are not in the collected artifact
v4 pro cumcm-2023-b-multibeam-lines 1.4961 100.00% artifact-only/no-layout-replay final JSON has summary metrics but the claimed line schedule/coverage files are not in the collected artifact
GLM-5.3-Flash (ox-alpha) cumcm-2023-c-vegetable-pricing 1.7076 100.00% needs-review/schedule-basic-check-pass saved 33-SKU plan passes candidate/minimum-quantity checks; 6/6 categories recovered; optimization and demand-coverage claims still need replay
GPT-5.6 SOL high cumcm-2023-c-vegetable-pricing 1.5899 100.00% needs-review/schedule-basic-check-pass saved 33-SKU plan passes candidate/minimum-quantity checks; 6/6 categories recovered; optimization and demand-coverage claims still need replay
GPT-5.6 SOL xhigh cumcm-2023-c-vegetable-pricing 1.4274 100.00% needs-review/no-replenishment-schedule artifact has aggregate demand/profit numbers but no concrete July 1 SKU replenishment and pricing table
Gemini 3.7 Flash high primary+retry cumcm-2023-c-vegetable-pricing 2.5234 100.00% needs-review/no-replenishment-schedule artifact has aggregate demand/profit numbers but no concrete July 1 SKU replenishment and pricing table
Qwen3.8 Flash (Bailian) cumcm-2023-c-vegetable-pricing 1.755 100.00% needs-review/schedule-basic-check-pass saved 33-SKU plan passes candidate/minimum-quantity checks; 6/6 categories recovered; optimization and demand-coverage claims still need replay
Qwen3.8-27B-FP8 thinking cumcm-2023-c-vegetable-pricing 1.2929 100.00% needs-review/no-replenishment-schedule artifact has aggregate demand/profit numbers but no concrete July 1 SKU replenishment and pricing table
codex + gpt-5.5 xhigh cumcm-2023-c-vegetable-pricing 1.6351 100.00% needs-review/no-replenishment-schedule artifact has aggregate demand/profit numbers but no concrete July 1 SKU replenishment and pricing table
opencode + deepseek-flash cumcm-2023-c-vegetable-pricing 1.7142 100.00% needs-review/no-replenishment-schedule artifact has aggregate demand/profit numbers but no concrete July 1 SKU replenishment and pricing table
Qwen3.8-27B-FP8 thinking cumcm-2024-b-production-decision 1.4457 100.00% needs-review/decision-structure-pass binary decisions and probability ranges pass basic checks
GLM-5.3 cumcm-2024-c-crop-planting 1.5472 100.00% needs-review/crop-planting-summary-only alpha=0 profit is within both the aggregate and per-plot demand-cap ceilings; correlation is a valid coefficient
GLM-5.3-Flash (ox-alpha) cumcm-2024-c-crop-planting 1.682 100.00% needs-review/crop-planting-demand-cap-ambiguous waste_profit_yuan=40,938,580 exceeds the aggregate demand-cap ceiling 36,277,448 yuan (问题一规则: sum of expected sales x price), so it is only reachable under the O-award paper's per-plot cap (eq.19 applies min(x*y,d) per plot rather than to the crop-season total). This is an interpretation difference, not proven infeasibility.
GPT-5.6 SOL high cumcm-2024-c-crop-planting 2.0463 100.00% needs-review/crop-planting-demand-cap-ambiguous waste_profit_yuan=39,580,872 exceeds the aggregate demand-cap ceiling 36,277,448 yuan (问题一规则: sum of expected sales x price), so it is only reachable under the O-award paper's per-plot cap (eq.19 applies min(x*y,d) per plot rather than to the crop-season total). This is an interpretation difference, not proven infeasibility.
GPT-5.6 SOL xhigh cumcm-2024-c-crop-planting 1.7643 100.00% needs-review/crop-planting-demand-cap-ambiguous waste_profit_yuan=42,309,825 exceeds the aggregate demand-cap ceiling 36,277,448 yuan (问题一规则: sum of expected sales x price), so it is only reachable under the O-award paper's per-plot cap (eq.19 applies min(x*y,d) per plot rather than to the crop-season total). This is an interpretation difference, not proven infeasibility.
Gemini 3.7 Flash high primary+retry cumcm-2024-c-crop-planting 2.0716 100.00% needs-review/crop-planting-summary-only alpha=0 profit is within both the aggregate and per-plot demand-cap ceilings; correlation is a valid coefficient
Kimi K3 cumcm-2024-c-crop-planting 1.9955 100.00% needs-review/crop-planting-demand-cap-ambiguous waste_profit_yuan=39,009,320 exceeds the aggregate demand-cap ceiling 36,277,448 yuan (问题一规则: sum of expected sales x price), so it is only reachable under the O-award paper's per-plot cap (eq.19 applies min(x*y,d) per plot rather than to the crop-season total). This is an interpretation difference, not proven infeasibility.
Qwen3.8 Flash (Bailian) cumcm-2024-c-crop-planting 1.6625 100.00% needs-review/crop-planting-demand-cap-ambiguous waste_profit_yuan=40,598,282 exceeds the aggregate demand-cap ceiling 36,277,448 yuan (问题一规则: sum of expected sales x price), so it is only reachable under the O-award paper's per-plot cap (eq.19 applies min(x*y,d) per plot rather than to the crop-season total). This is an interpretation difference, not proven infeasibility.
Qwen3.8-27B-FP8 thinking cumcm-2024-c-crop-planting 1.9498 100.00% needs-review/crop-planting-demand-cap-ambiguous waste_profit_yuan=41,417,113 exceeds the aggregate demand-cap ceiling 36,277,448 yuan (问题一规则: sum of expected sales x price), so it is only reachable under the O-award paper's per-plot cap (eq.19 applies min(x*y,d) per plot rather than to the crop-season total). This is an interpretation difference, not proven infeasibility.
Tencent Hy4 Preview cumcm-2024-c-crop-planting 1.9354 100.00% needs-review/crop-planting-summary-only alpha=0 profit is within both the aggregate and per-plot demand-cap ceilings; correlation is a valid coefficient
codex + gpt-5.5 xhigh cumcm-2024-c-crop-planting 2.131 100.00% needs-review/crop-planting-demand-cap-ambiguous waste_profit_yuan=40,320,587 exceeds the aggregate demand-cap ceiling 36,277,448 yuan (问题一规则: sum of expected sales x price), so it is only reachable under the O-award paper's per-plot cap (eq.19 applies min(x*y,d) per plot rather than to the crop-season total). This is an interpretation difference, not proven infeasibility.
opencode + deepseek-flash cumcm-2024-c-crop-planting 1.752 100.00% needs-review/crop-planting-demand-cap-ambiguous waste_profit_yuan=41,559,515 exceeds the aggregate demand-cap ceiling 36,277,448 yuan (问题一规则: sum of expected sales x price), so it is only reachable under the O-award paper's per-plot cap (eq.19 applies min(x*y,d) per plot rather than to the crop-season total). This is an interpretation difference, not proven infeasibility.; waste_revenue_yuan=47,163,366 exceeds the aggregate demand-cap ceiling 36,277,448 yuan (问题一规则: sum of expected sales x price), so it is only reachable under the O-award paper's per-plot cap (eq.19 applies min(x*y,d) per plot rather than to the crop-season total). This is an interpretation difference, not proven infeasibility.
GLM-5.3-Flash (ox-alpha) cumcm-2025-a-smoke-screen 2.5527 100.00% hard-invalid independent smoke-screen replay gives 0.00s coverage under O-reference line-of-sight geometry
GPT-5.6 SOL high cumcm-2025-a-smoke-screen 3.4164 100.00% replay-feasible-under-O-geometry reported total=42.3921 s; independent total=54.46 s
Gemini 3.7 Flash high primary+retry cumcm-2025-a-smoke-screen 1.2393 100.00% replay-feasible-under-O-geometry reported total=17.4209 s; independent total=21.04 s
Kimi K3 cumcm-2025-a-smoke-screen 2.894 100.00% replay-feasible-under-O-geometry reported total=34.37 s; independent total=39.64 s
Qwen3.8-27B-FP8 thinking cumcm-2025-a-smoke-screen 2.5918 100.00% replay-feasible-under-O-geometry reported total=31.6525 s; independent total=32.62 s
Tencent Hy4 Preview cumcm-2025-a-smoke-screen 4.004 100.00% replay-feasible-under-O-geometry reported total=62.8845 s; independent total=56.42 s
codex + gpt-5.5 xhigh cumcm-2025-a-smoke-screen 1.8293 100.00% replay-feasible-under-O-geometry reported total=22.9656 s; independent total=30.42 s
opencode + deepseek-flash cumcm-2025-a-smoke-screen 3.5782 100.00% replay-feasible-under-O-geometry reported total=47.243 s; independent total=55.14 s
v4 pro cumcm-2025-a-smoke-screen 1.5324 100.00% replay-feasible-under-O-geometry reported total=19.5486 s; independent total=20.44 s
GPT-5.6 SOL high cumcm-2025-c-nipt 1.4524 100.00% needs-review/nipt-range-pass timing, probability, and classification ranges pass basic checks
Gemini 3.7 Flash high primary+retry cumcm-2025-c-nipt 1.2341 100.00% needs-review/nipt-range-pass timing, probability, and classification ranges pass basic checks
Kimi K3 cumcm-2025-c-nipt 1.2898 100.00% needs-review/nipt-range-pass timing, probability, and classification ranges pass basic checks
Qwen3.8 Flash (Bailian) cumcm-2025-c-nipt 1.2877 100.00% needs-review/nipt-group-coverage observed BMI ranges have an uncovered gap (33.21, 33.28); observed BMI ranges have an uncovered gap (34.06, 34.14); observed BMI ranges have an uncovered gap (35, 35.06); observed BMI ranges have an uncovered gap (36.36, 36.51)
Qwen3.8-27B-FP8 thinking cumcm-2025-c-nipt 1.5215 100.00% needs-review/nipt-range-pass timing, probability, and classification ranges pass basic checks
Tencent Hy4 Preview cumcm-2025-c-nipt 1.1846 100.00% needs-review/nipt-range-pass timing, probability, and classification ranges pass basic checks
opencode + deepseek-flash cumcm-2025-c-nipt 1.2355 100.00% needs-review/nipt-group-coverage observed BMI ranges have an uncovered gap (27.98, 28.13); observed BMI ranges have an uncovered gap (31.96, 32.01); observed BMI ranges have an uncovered gap (35.81, 36.08); observed BMI ranges have an uncovered gap (39.8, 40.57)
v4 pro cumcm-2025-c-nipt 1.3609 100.00% needs-review/nipt-range-pass timing, probability, and classification ranges pass basic checks
GLM-5.3 mcm-2023-a-plant-community 1.5388 100.00% artifact-only/calibrated-model the problem supplies no numerical ecology time series; reported trajectories are model assumptions, not independently verifiable observations
GLM-5.3-Flash (ox-alpha) mcm-2023-a-plant-community 1.1634 100.00% artifact-only/calibrated-model the problem supplies no numerical ecology time series; reported trajectories are model assumptions, not independently verifiable observations
GPT-5.6 SOL high mcm-2023-a-plant-community 1.3644 100.00% artifact-only/calibrated-model the problem supplies no numerical ecology time series; reported trajectories are model assumptions, not independently verifiable observations
GPT-5.6 SOL xhigh mcm-2023-a-plant-community 1.3644 100.00% artifact-only/calibrated-model the problem supplies no numerical ecology time series; reported trajectories are model assumptions, not independently verifiable observations
Tencent Hy4 Preview mcm-2023-a-plant-community 1.2964 100.00% artifact-only/calibrated-model the problem supplies no numerical ecology time series; reported trajectories are model assumptions, not independently verifiable observations
opencode + deepseek-flash mcm-2023-a-plant-community 1.3409 100.00% artifact-only/calibrated-model the problem supplies no numerical ecology time series; reported trajectories are model assumptions, not independently verifiable observations
v4 pro mcm-2023-a-plant-community 1.1794 100.00% artifact-only/calibrated-model the problem supplies no numerical ecology time series; reported trajectories are model assumptions, not independently verifiable observations
Kimi K3 mcm-2025-b-juneau-tourism 1.4601 100.00% hard-invalid unit/scale invalid: resident_acceptance_index=1.5 and sustainability_score=232.2 on a unit-scale score
GPT-5.6 SOL xhigh mcm-2025-c-olympic-medals 2.1017 100.00% needs-review/olympic-structure-pass recommendation count, probability ranges, and medal interval ordering pass basic checks
Kimi K3 mcm-2025-c-olympic-medals 2.9955 100.00% hard-invalid invalid high coach-effect result: only three scored recommendations and endpoint verifier reward is negative/BO 0
codex + gpt-5.5 xhigh mcm-2025-c-olympic-medals 1.3394 100.00% needs-review/olympic-structure-pass recommendation count, probability ranges, and medal interval ordering pass basic checks

多波束独立重放细节

Qwen 的 Q4 方案使用 60 条南北测线，位置范围约 0.02141–3.99624 NM；官方附件为 201×251 网格，深度范围 20–197.2 m。按 120° 开角、局部东西向坡度和多波束覆盖宽度逐网格重算，覆盖率为 100%，漏测率为 0%，相邻条带重叠超过 20% 的长度约 151.10 NM，平均重叠约 27.08%，与自报 147.98 NM 和 26.28% 接近。但逐网格的相邻重叠只有约 14.8% 落在题面建议的 10%–20% 区间，约 36.2% 低于 10%，约 51.0% 高于 20%，所以这是一份“覆盖可执行、质量约束需复核”的方案，不应写成完全满足题面质量要求。

Q3 的 33 条测线间距对应约 10% 的设计重叠，但最后一个中心位置为 7412.17 m，而 4 NM 横向边界为 7408 m。差值只有 4.17 m，可能来自端点/坐标定义或四舍五入；在没有原始测线文件和坐标约定说明前，标记为需要人工复核，不把它升级成 whole-task hard gate。

重点开放题限制

对榜单的影响

本轮只有证据充分的 whole-task 错误进入 hard-gated 榜：GLM 2023 A 定日镜高度、v4 flash 2023 A 额定功率、Gemini 2023 A 额定功率、Kimi 2025 B 的 unit/scale 错误、Kimi 2025 C 的推荐结构错误，以及既有的 ox-alpha 烟幕错误。Qwen 2023 A 因布局缺失保持 needs-review 不处罚；Qwen 2023 B 因覆盖几何通过但重叠质量超标改为 needs-review/overlap-quality-warning，不直接 hard gate；Qwen 2025 A 烟幕重放通过，不处罚；Hy4 的生产决策和 Juneau 不再处罚。原始 O-Eval 仍是主榜，hard-gated O-Eval 是可行性更保守的辅助榜，Robust BO-Eval 继续使用 hard-invalid=-100% 的失败惩罚。

复核边界

模型作答时生成的 /root/results 代码、Excel、CSV 和中间验证文件没有完整进入当前 Harbor artifact；因此本报告不会把轨迹中自报的“运行了仿真”当成独立证据。后续若要把某个开放题标成 verified feasible，应在 artifact 中保存最小可重放包：输入数据哈希、代码、参数、随机种子、约束检查结果和最终数值。

O-Eval and Robust BO-Eval: 2023-2025

Generated: 2026-09-14

Scope: 2023, 2024, and 2025 terminal-bench-math-modeling tasks, 18 tasks total. This report rescored saved artifacts only; it does not rerun models or modify job result files.

Primary O-Eval rule: clamp(model direction-aware raw / O raw, 0, 1), averaged over all 18 tasks. Since the O-award reproduction is normalized near raw=1 on these tasks, O-Eval is the easiest-to-read absolute oracle-normalized score, and overshoots are capped at 100%.

Secondary Robust BO-Eval rule: let gain = model raw - flash raw and gap = O raw - flash raw. If gap >= 0.10, score clip(gain / gap, -100%, +100%); otherwise score clip(gain, -10pp, +10pp). Normal completed tasks still use the clipped fallback on tiny-gap cases, but any missing or non-scoreable artifact is assigned -100% so a completely unfinished task gets the worst possible score.

Tempered hard-gated rule: only clearly non-feasible cells are whole-task penalized. Automatic scorer hard-invalid metrics and manually replay-proven invalid high-score cells receive gated raw 0 for O-Eval and -100% for Robust BO-Eval. Needs-review/proxy cells remain scored but are not used as stronger-than-O claims without a better replay verifier.

Robust ratio tasks with gap >= 0.10: 11. Saturated or near-zero-gap tasks using clipped B-Eval: 7.

Overall Mean

Model Artifacts Mean direction-aware raw Mean O-Eval on all 18 (%) Mean B-Eval vs flash (pp) Mean Robust BO-Eval on all 18 (%) Tokens input/cache/output Billable input/output Est. cost USD Est. cost RMB Canonical valid/running/error/pending Excluded retries
v4 flash baseline 17 0.838752 58.14% +0.00 pp 0.00% 33,032,997 / 31,802,112 / 1,896,174 1,230,885 / 1,896,174 $0.683019 ¥4.60 18/0/0/0 0
opencode + deepseek-flash 18 0.907032 62.19% +6.83 pp 12.24% 89,376,395 / 88,668,288 / 569,862 708,107 / 569,862 $2.536206 ¥17.09 18/0/0/0 6
codex + gpt-5.5 xhigh 18 0.854280 64.29% +1.55 pp 17.03% 108,584,170 / 105,199,744 / 994,910 3,384,426 / 994,910 $99.369302 ¥669.45 18/0/0/0 0
v4 pro 18 0.713865 58.44% -12.49 pp 6.91% 21,309,105 / 20,096,768 / 1,748,356 1,212,337 / 1,748,356 $10.247542 ¥69.04 18/0/0/0 0
GLM-5.3 18 0.646092 56.25% -19.27 pp 6.03% 92,056,972 / 89,637,696 / 2,638,779 2,419,276 / 2,638,779 $38.303415 ¥258.05 18/0/0/0 0
GPT-5.6 SOL high 18 0.892644 60.10% +5.39 pp 10.01% 8,774,606 / 7,566,848 / 497,473 1,207,758 / 497,473 $8.903616 ¥59.98 18/0/0/0 0
GPT-5.6 SOL xhigh 17 0.700131 56.84% -13.86 pp 3.68% 16,596,399 / 14,928,768 / 841,198 1,667,631 / 841,198 $14.732996 ¥99.26 17/0/1/0 3
Kimi K3 18 0.934701 64.24% +9.59 pp 21.27% 30,146,116 / 28,928,953 / 956,805 1,217,163 / 956,805 $24.687377 ¥166.32 17/0/1/0 0
Gemini 3.7 Flash high primary+retry 15 0.674352 53.58% -16.44 pp -8.14% 69,131,259 / 62,497,004 / 705,776 6,634,255 / 705,776 $12.309627 ¥82.93 18/0/0/0 1
Qwen3.8-27B-FP8 thinking 18 0.830722 62.24% -0.80 pp 16.30% 47,245,909 / 0 / 3,178,409 47,245,909 / 3,178,409 $18.215567 ¥122.72 17/0/1/0 0
GLM-5.3-Flash (ox-alpha) 18 0.724187 55.09% -11.46 pp 4.93% 107,726,029 / 101,466,688 / 3,683,366 6,259,341 / 3,683,366 $2.912292 ¥19.62 17/0/1/0 20
Qwen3.8 Flash (Bailian) 18 0.626646 51.32% -21.21 pp -1.82% 299,616,972 / 293,563,264 / 6,814,374 6,053,708 / 6,814,374 $8.807824 ¥59.34 16/0/2/0 0
Tencent Hy4 Preview 18 0.912611 61.82% +7.39 pp 11.21% 133,731,323 / 128,999,040 / 2,068,825 4,732,283 / 2,068,825 $14.538815 ¥97.95 18/0/0/0 0

Tempered Hard-Gated Leaderboard

Rank Model Hard-gated O-Eval Hard-gated Robust BO-Eval Original O-Eval Original Robust BO-Eval Hard-gated raw mean Hard gates Est. cost RMB
1 codex + gpt-5.5 xhigh 64.29% 17.03% 64.29% 17.03% 0.854280 0 ¥669.45
2 Qwen3.8-27B-FP8 thinking 62.24% 16.30% 62.24% 16.30% 0.830722 0 ¥122.72
3 opencode + deepseek-flash 62.19% 12.24% 62.19% 12.24% 0.907032 0 ¥17.09
4 Tencent Hy4 Preview 61.82% 11.21% 61.82% 11.21% 0.912611 0 ¥97.95
5 GPT-5.6 SOL high 60.10% 10.45% 60.10% 10.01% 0.892644 0 ¥59.98
6 v4 pro 58.44% 6.91% 58.44% 6.91% 0.713865 0 ¥69.04
7 GPT-5.6 SOL xhigh 56.84% 3.68% 56.84% 3.68% 0.700131 0 ¥99.26
8 v4 flash baseline 54.04% 0.00% 58.14% 0.00% 0.797740 1: cumcm-2023-a-heliostat-field ¥4.60
9 Kimi K3 53.13% 4.43% 64.24% 21.27% 0.687166 2: mcm-2025-b-juneau-tourism, mcm-2025-c-olympic-medals ¥166.32
10 Qwen3.8 Flash (Bailian) 51.32% -1.82% 51.32% -1.82% 0.626646 0 ¥59.34
11 GLM-5.3 50.70% -5.09% 56.25% 6.03% 0.568674 1: cumcm-2023-a-heliostat-field ¥258.05
12 GLM-5.3-Flash (ox-alpha) 49.53% -1.18% 55.09% 4.93% 0.582372 1: cumcm-2025-a-smoke-screen ¥19.62
13 Gemini 3.7 Flash high primary+retry 48.20% -18.60% 53.58% -8.14% 0.620518 1: cumcm-2023-a-heliostat-field ¥82.93

Hard Gate Decisions

Model Task Raw before gate Gated raw O-Eval before Hard-gated O-Eval Robust before Hard-gated Robust Reason
v4 flash baseline cumcm-2023-a-heliostat-field 0.738213 0.000000 73.82% 0.00% 0.00% 0.00% hard-invalid/heliostat-constraint: Q2 rated-power constraint violation: 53.795541 MW is below the required approximately 60 MW; Q3 rated-power constraint violation: 53.795541 MW is below the required approximately 60 MW; Q3 does not expose numeric mirror dimensions
GLM-5.3 cumcm-2023-a-heliostat-field 1.393536 0.000000 100.00% 0.00% 100.00% -100.00% explicit Q3 design note violates heliostat installation-height bound: one tail mirror uses z=1.9024 m, below the required 2 m minimum
Gemini 3.7 Flash high primary+retry cumcm-2023-a-heliostat-field 0.969010 0.000000 96.90% 0.00% 88.16% -100.00% hard-invalid/heliostat-constraint: Question 2 rated-power constraint violation: 55.460000 MW is below the required approximately 60 MW; Question 3 rated-power constraint violation: 54.966000 MW is below the required approximately 60 MW
GLM-5.3-Flash (ox-alpha) cumcm-2025-a-smoke-screen 2.552664 0.000000 100.00% 0.00% 10.00% -100.00% independent smoke-screen replay gives 0.00s coverage under O-reference line-of-sight geometry
Kimi K3 mcm-2025-b-juneau-tourism 1.460140 0.000000 100.00% 0.00% 100.00% -100.00% unit/scale invalid: resident_acceptance_index=1.5 and sustainability_score=232.2 on a unit-scale score
Kimi K3 mcm-2025-c-olympic-medals 2.995504 0.000000 100.00% 0.00% 10.00% -100.00% invalid high coach-effect result: only three scored recommendations and endpoint verifier reward is negative/BO 0

Primary Readout

Price Table

Model OpenRouter model Price source Input Cached read Cache write/create Output
v4 flash baseline deepseek/deepseek-v4-flash-0731 OpenRouter live ¥0.4042/M ¥0.0808/M N/A ¥0.8084/M
opencode + deepseek-flash deepseek/deepseek-v4.1-flash OpenRouter live ¥2.0211/M ¥0.0404/M N/A ¥8.0844/M
codex + gpt-5.5 xhigh openai/gpt-5.5 OpenRouter live ¥33.6851/M ¥3.3685/M N/A ¥202.1104/M
v4 pro deepseek/deepseek-v4-pro OpenRouter live ¥10.7792/M ¥0.9095/M N/A ¥21.5584/M
GLM-5.3 z-ai/glm-5.3 OpenRouter live ¥9.4318/M ¥1.7516/M N/A ¥29.6429/M
GPT-5.6 SOL high openai/gpt-5.6-sol OpenRouter live ¥13.4740/M ¥1.3474/M ¥16.8425/M ¥67.3701/M
GPT-5.6 SOL xhigh openai/gpt-5.6-sol OpenRouter live ¥13.4740/M ¥1.3474/M ¥16.8425/M ¥67.3701/M
Kimi K3 moonshotai/kimi-k3 OpenRouter live ¥17.8405/M ¥2.0389/M N/A ¥89.4859/M
Gemini 3.7 Flash high primary+retry google/gemini-3.7-flash OpenRouter live ¥5.0528/M ¥0.5053/M ¥0.2807/M ¥25.2638/M
Qwen3.8-27B-FP8 thinking qwen/qwen3.8-27b OpenRouter live ¥1.4417/M ¥1.0106/M ¥3.5790/M ¥17.1794/M
GLM-5.3-Flash (ox-alpha) z-ai/glm-5.3-flash user-supplied fixed snapshot ¥0.5053/M ¥0.1011/M N/A ¥1.6843/M
Qwen3.8 Flash (Bailian) qwen/qwen3.8-flash user-supplied fixed snapshot ¥1.0106/M ¥0.1078/M ¥1.3474/M ¥3.1664/M
Tencent Hy4 Preview tencent/hy4-preview OpenRouter live ¥5.6187/M ¥0.2830/M N/A ¥16.8493/M

Figures

Year Mean O-Eval

Model 2023 2024 2025
v4 flash baseline 67.74% 39.66% 67.03%
opencode + deepseek-flash 77.94% 48.40% 60.23%
codex + gpt-5.5 xhigh 66.93% 63.53% 62.39%
v4 pro 62.17% 56.92% 56.23%
GLM-5.3 65.89% 40.12% 62.76%
GPT-5.6 SOL high 78.80% 45.39% 56.12%
GPT-5.6 SOL xhigh 55.56% 57.06% 57.90%
Kimi K3 62.00% 51.89% 78.83%
Gemini 3.7 Flash high primary+retry 59.63% 44.05% 57.08%
Qwen3.8-27B-FP8 thinking 76.73% 64.08% 45.90%
GLM-5.3-Flash (ox-alpha) 60.91% 56.39% 47.97%
Qwen3.8 Flash (Bailian) 57.70% 38.06% 58.22%
Tencent Hy4 Preview 82.82% 43.08% 59.57%

Suite Mean O-Eval

Model CUMCM MCM
v4 flash baseline 79.24% 37.04%
opencode + deepseek-flash 87.82% 36.55%
codex + gpt-5.5 xhigh 88.23% 40.34%
v4 pro 78.07% 38.81%
GLM-5.3 68.05% 44.46%
GPT-5.6 SOL high 81.89% 38.31%
GPT-5.6 SOL xhigh 68.89% 44.79%
Kimi K3 85.82% 42.67%
Gemini 3.7 Flash high primary+retry 87.97% 19.20%
Qwen3.8-27B-FP8 thinking 87.28% 37.20%
GLM-5.3-Flash (ox-alpha) 73.12% 37.06%
Qwen3.8 Flash (Bailian) 67.81% 34.84%
Tencent Hy4 Preview 77.94% 45.70%

Year Mean Robust BO-Eval

Model 2023 2024 2025
v4 flash baseline 0.00% 0.00% 0.00%
opencode + deepseek-flash 22.00% 24.98% -10.25%
codex + gpt-5.5 xhigh 14.93% 45.70% -9.55%
v4 pro 9.43% 27.49% -16.18%
GLM-5.3 19.52% 5.94% -7.38%
GPT-5.6 SOL high 22.65% 21.52% -14.13%
GPT-5.6 SOL xhigh -20.25% 40.49% -9.21%
Kimi K3 9.51% 38.23% 16.06%
Gemini 3.7 Flash high primary+retry -4.74% -6.87% -12.83%
Qwen3.8-27B-FP8 thinking 19.69% 47.01% -17.79%
GLM-5.3-Flash (ox-alpha) -12.77% 39.99% -12.44%
Qwen3.8 Flash (Bailian) 9.30% -2.52% -12.25%
Tencent Hy4 Preview 29.83% 12.65% -8.84%

Suite Mean Robust BO-Eval

Model CUMCM MCM CUMCM artifacts MCM artifacts
v4 flash baseline 0.00% 0.00% 8 9
opencode + deepseek-flash 24.62% -0.13% 9 9
codex + gpt-5.5 xhigh 27.16% 6.89% 9 9
v4 pro 11.41% 2.42% 9 9
GLM-5.3 1.56% 10.49% 9 9
GPT-5.6 SOL high 12.39% 7.63% 9 9
GPT-5.6 SOL xhigh -4.35% 11.70% 8 9
Kimi K3 27.00% 15.53% 9 9
Gemini 3.7 Flash high primary+retry 13.34% -29.63% 9 6
Qwen3.8-27B-FP8 thinking 21.38% 11.21% 9 9
GLM-5.3-Flash (ox-alpha) -1.08% 10.94% 8 9
Qwen3.8 Flash (Bailian) -9.14% 5.49% 7 9
Tencent Hy4 Preview 4.48% 17.94% 9 9

Saturated Or Near-Zero Gap Cases

Year Suite Problem Task flash raw O raw
2023 CUMCM B cumcm-2023-b-multibeam-lines 1.492402 1.000000
2023 CUMCM C cumcm-2023-c-vegetable-pricing 2.550299 1.000000
2024 CUMCM A cumcm-2024-a-dragon-dance 1.347590 1.000000
2025 CUMCM A cumcm-2025-a-smoke-screen 1.527989 1.000000
2025 CUMCM C cumcm-2025-c-nipt 1.506359 1.000000
2023 MCM A mcm-2023-a-plant-community 1.632029 1.000000
2025 MCM C mcm-2025-c-olympic-medals 1.575307 1.000000

Per-Task Values

Cells are direction-aware raw / O-Eval % / B-Eval vs flash / Robust BO-Eval %.

Year Suite Problem Task v4 flash baseline opencode + deepseek-flash codex + gpt-5.5 xhigh v4 pro GLM-5.3 GPT-5.6 SOL high GPT-5.6 SOL xhigh Kimi K3 Gemini 3.7 Flash high primary+retry Qwen3.8-27B-FP8 thinking GLM-5.3-Flash (ox-alpha) Qwen3.8 Flash (Bailian) Tencent Hy4 Preview O raw
2023 CUMCM A cumcm-2023-a-heliostat-field 0.738213 / 73.82% / 0.00% / 0.00% 1.103930 / 100.00% / 139.70% / 100.00% 1.097346 / 100.00% / 137.19% / 100.00% 1.312936 / 100.00% / 219.54% / 100.00% 1.393536 / 100.00% / 250.33% / 100.00% 0.971969 / 97.20% / 89.29% / 89.29% 0.000000 / 0.00% / 0.00% / -100.00% 0.975341 / 97.53% / 90.58% / 90.58% 0.969010 / 96.90% / 88.16% / 88.16% 1.244533 / 100.00% / 193.41% / 100.00% 0.000000 / 0.00% / 0.00% / -100.00% 1.455864 / 100.00% / 274.14% / 100.00% 1.464003 / 100.00% / 277.24% / 100.00% 1.000000
2023 CUMCM B cumcm-2023-b-multibeam-lines 1.492402 / 100.00% / 0.00% / 0.00% 1.566098 / 100.00% / N/A / 7.37% 2.542996 / 100.00% / N/A / 10.00% 1.496072 / 100.00% / N/A / 0.37% 1.500666 / 100.00% / N/A / 0.83% 2.425664 / 100.00% / N/A / 10.00% 1.463138 / 100.00% / N/A / -2.93% 1.410390 / 100.00% / N/A / -8.20% 1.496423 / 100.00% / N/A / 0.40% 1.501820 / 100.00% / N/A / 0.94% 1.500621 / 100.00% / N/A / 0.82% 1.542730 / 100.00% / N/A / 5.03% 2.349865 / 100.00% / N/A / 10.00% 1.000000
2023 CUMCM C cumcm-2023-c-vegetable-pricing 2.550299 / 100.00% / 0.00% / 0.00% 1.714187 / 100.00% / N/A / -10.00% 1.635081 / 100.00% / N/A / -10.00% 0.597918 / 59.79% / N/A / -10.00% 0.355098 / 35.51% / N/A / -10.00% 1.589944 / 100.00% / N/A / -10.00% 1.427361 / 100.00% / N/A / -10.00% 1.134708 / 100.00% / N/A / -10.00% 2.523435 / 100.00% / N/A / -2.69% 1.292870 / 100.00% / N/A / -10.00% 1.707570 / 100.00% / N/A / -10.00% 1.755009 / 100.00% / N/A / -10.00% 0.963631 / 96.36% / N/A / -10.00% 1.000000
2024 CUMCM A cumcm-2024-a-dragon-dance 1.347590 / 100.00% / 0.00% / 0.00% 0.498202 / 49.82% / N/A / -10.00% 0.498202 / 49.82% / N/A / -10.00% 0.999998 / 100.00% / N/A / -10.00% 0.498202 / 49.82% / N/A / -10.00% 0.498202 / 49.82% / N/A / -10.00% 0.498202 / 49.82% / N/A / -10.00% 0.075390 / 7.54% / N/A / -10.00% 1.000000 / 100.00% / N/A / -10.00% 0.498231 / 49.82% / N/A / -10.00% 0.498202 / 49.82% / N/A / -10.00% 0.498202 / 49.82% / N/A / -10.00% 0.498202 / 49.82% / N/A / -10.00% 1.000000
2024 CUMCM B cumcm-2024-b-production-decision 0.000000 / 0.00% / 0.00% / 0.00% 0.737706 / 73.77% / 73.77% / 73.77% 0.788883 / 78.89% / 78.89% / 78.89% 0.318573 / 31.86% / 31.86% / 31.86% 0.257329 / 25.73% / 25.73% / 25.73% 0.444542 / 44.45% / 44.45% / 44.45% 0.479172 / 47.92% / 47.92% / 47.92% 0.943081 / 94.31% / 94.31% / 94.31% 0.469069 / 46.91% / 46.91% / 46.91% 1.445692 / 100.00% / 144.57% / 100.00% 0.390214 / 39.02% / 39.02% / 39.02% 0.000000 / 0.00% / 0.00% / -100.00% 0.366504 / 36.65% / 36.65% / 36.65% 1.000000
2024 CUMCM C cumcm-2024-c-crop-planting 0.631481 / 63.15% / 0.00% / 0.00% 1.593766 / 100.00% / 261.12% / 100.00% 1.361571 / 100.00% / 198.11% / 100.00% 1.448533 / 100.00% / 221.71% / 100.00% 0.455660 / 45.57% / 0.00% / -47.71% 0.918474 / 91.85% / 77.88% / 77.88% 1.015015 / 100.00% / 104.07% / 100.00% 1.076446 / 100.00% / 120.74% / 100.00% 0.756826 / 75.68% / 34.01% / 34.01% 1.081087 / 100.00% / 122.00% / 100.00% 1.121885 / 100.00% / 133.07% / 100.00% 0.939687 / 93.97% / 83.63% / 83.63% 0.625186 / 62.52% / 0.00% / -1.71% 1.000000
2025 CUMCM A cumcm-2025-a-smoke-screen 1.527989 / 100.00% / 0.00% / 0.00% 3.578239 / 100.00% / N/A / 10.00% 1.829285 / 100.00% / N/A / 10.00% 1.532372 / 100.00% / N/A / 0.44% 0.854445 / 85.44% / N/A / -10.00% 3.416382 / 100.00% / N/A / 10.00% 0.939201 / 93.92% / N/A / -10.00% 2.894037 / 100.00% / N/A / 10.00% 1.239279 / 100.00% / N/A / -10.00% 2.591825 / 100.00% / N/A / 10.00% 2.552664 / 100.00% / N/A / 10.00% 0.000000 / 0.00% / N/A / -100.00% 4.004026 / 100.00% / N/A / 10.00% 1.000000
2025 CUMCM B cumcm-2025-b-sic-thickness 0.762319 / 76.23% / 0.00% / 0.00% 0.668246 / 66.82% / 0.00% / -39.58% 0.704257 / 70.43% / 0.00% / -24.43% 0.109821 / 10.98% / 0.00% / -100.00% 0.703334 / 70.33% / 0.00% / -24.82% 0.537264 / 53.73% / 0.00% / -94.69% 0.657456 / 65.75% / 0.00% / -44.12% 0.729831 / 72.98% / 0.00% / -13.67% 0.722558 / 72.26% / 0.00% / -16.73% 0.357013 / 35.70% / 0.00% / -100.00% 0.691962 / 69.20% / 0.00% / -29.60% 0.664995 / 66.50% / 0.00% / -40.95% 0.561223 / 56.12% / 0.00% / -84.61% 1.000000
2025 CUMCM C cumcm-2025-c-nipt 1.506359 / 100.00% / 0.00% / 0.00% 1.235518 / 100.00% / N/A / -10.00% 0.949136 / 94.91% / N/A / -10.00% 1.360909 / 100.00% / N/A / -10.00% 1.071182 / 100.00% / N/A / -10.00% 1.452420 / 100.00% / N/A / -5.39% 0.626050 / 62.60% / N/A / -10.00% 1.289804 / 100.00% / N/A / -10.00% 1.234068 / 100.00% / N/A / -10.00% 1.521520 / 100.00% / N/A / 1.52% 1.073057 / 100.00% / N/A / -10.00% 1.287680 / 100.00% / N/A / -10.00% 1.184644 / 100.00% / N/A / -10.00% 1.000000
2023 MCM A mcm-2023-a-plant-community 1.632029 / 100.00% / 0.00% / 0.00% 1.340862 / 100.00% / N/A / -10.00% 0.702577 / 70.26% / N/A / -10.00% 1.179422 / 100.00% / N/A / -10.00% 1.538784 / 100.00% / N/A / -9.32% 1.364424 / 100.00% / N/A / -10.00% 1.364410 / 100.00% / N/A / -10.00% 0.469546 / 46.95% / N/A / -10.00% 0.545375 / 54.54% / N/A / -10.00% 1.070439 / 100.00% / N/A / -10.00% 1.163407 / 100.00% / N/A / -10.00% 0.373162 / 37.32% / N/A / -10.00% 1.296434 / 100.00% / N/A / -10.00% 1.000000
2023 MCM B mcm-2023-b-maasai-mara 0.102093 / 10.21% / 0.00% / 0.00% 0.130340 / 13.03% / 3.15% / 3.15% 0.033496 / 3.35% / 0.00% / -7.64% 0.034371 / 3.44% / 0.00% / -7.54% 0.068142 / 6.81% / 0.00% / -3.78% 0.032355 / 3.24% / 0.00% / -7.77% 0.073712 / 7.37% / 0.00% / -3.16% 0.028745 / 2.87% / 0.00% / -8.17% 0.063352 / 6.34% / 0.00% / -4.31% 0.024041 / 2.40% / 0.00% / -8.69% 0.088569 / 8.86% / 0.00% / -1.51% 0.023241 / 2.32% / 0.00% / -8.78% 0.022503 / 2.25% / 0.00% / -8.86% 1.000000
2023 MCM C mcm-2023-c-wordle 0.224201 / 22.42% / 0.00% / 0.00% 0.546040 / 54.60% / 41.48% / 41.48% 0.280001 / 28.00% / 7.19% / 7.19% 0.097978 / 9.80% / 0.00% / -16.27% 0.529999 / 53.00% / 39.42% / 39.42% 0.723478 / 72.35% / 64.36% / 64.36% 0.259776 / 25.98% / 4.59% / 4.59% 0.246521 / 24.65% / 2.88% / 2.88% 0.000000 / 0.00% / 0.00% / -100.00% 0.580000 / 58.00% / 45.86% / 45.86% 0.565840 / 56.58% / 44.04% / 44.04% 0.065441 / 6.54% / 0.00% / -20.46% 0.983080 / 98.31% / 97.82% / 97.82% 1.000000
2024 MCM A mcm-2024-a-lamprey 0.070175 / 7.02% / 0.00% / 0.00% 0.070175 / 7.02% / 0.00% / 0.00% 0.265383 / 26.54% / 20.99% / 20.99% 0.235294 / 23.53% / 17.76% / 17.76% 0.125000 / 12.50% / 5.90% / 5.90% 0.070175 / 7.02% / 0.00% / 0.00% 0.070175 / 7.02% / 0.00% / 0.00% 0.246711 / 24.67% / 18.99% / 18.99% 0.228957 / 22.90% / 17.08% / 17.08% 0.070175 / 7.02% / 0.00% / 0.00% 0.089589 / 8.96% / 2.09% / 2.09% 0.108108 / 10.81% / 4.08% / 4.08% 0.015564 / 1.56% / 0.00% / -5.87% 1.000000
2024 MCM B mcm-2024-b-submersible-search 0.371417 / 37.14% / 0.00% / 0.00% 0.212392 / 21.24% / 0.00% / -25.30% 0.403101 / 40.31% / 5.04% / 5.04% 0.296505 / 29.65% / 0.00% / -11.92% 0.709302 / 70.93% / 53.75% / 53.75% 0.389026 / 38.90% / 2.80% / 2.80% 0.662162 / 66.22% / 46.25% / 46.25% 0.470888 / 47.09% / 15.82% / 15.82% 0.187946 / 18.79% / 0.00% / -29.19% 0.753209 / 75.32% / 60.74% / 60.74% 0.632353 / 63.24% / 41.51% / 41.51% 0.272873 / 27.29% / 0.00% / -15.68% 0.300348 / 30.03% / 0.00% / -11.31% 1.000000
2024 MCM C mcm-2024-c-tennis-momentum 0.306291 / 30.63% / 0.00% / 0.00% 0.385581 / 38.56% / 11.43% / 11.43% 0.856263 / 85.63% / 79.28% / 79.28% 0.564619 / 56.46% / 37.24% / 37.24% 0.361433 / 36.14% / 7.95% / 7.95% 0.403266 / 40.33% / 13.98% / 13.98% 0.713777 / 71.38% / 58.74% / 58.74% 0.377542 / 37.75% / 10.27% / 10.27% 0.000000 / 0.00% / 0.00% / -100.00% 0.523386 / 52.34% / 31.29% / 31.29% 0.773319 / 77.33% / 67.32% / 67.32% 0.464638 / 46.46% / 22.83% / 22.83% 0.778964 / 77.90% / 68.14% / 68.14% 1.000000
2025 MCM A mcm-2025-a-stair-wear 0.000000 / 0.00% / 0.00% / 0.00% 0.000000 / 0.00% / 0.00% / 0.00% 0.000000 / 0.00% / 0.00% / 0.00% 0.000000 / 0.00% / 0.00% / 0.00% 0.000000 / 0.00% / 0.00% / 0.00% 0.000000 / 0.00% / 0.00% / 0.00% 0.000000 / 0.00% / 0.00% / 0.00% 0.000000 / 0.00% / 0.00% / 0.00% 0.000000 / 0.00% / 0.00% / 0.00% 0.233333 / 23.33% / 23.33% / 23.33% 0.000000 / 0.00% / 0.00% / 0.00% 0.000000 / 0.00% / 0.00% / 0.00% 0.000000 / 0.00% / 0.00% / 0.00% 1.000000
2025 MCM B mcm-2025-b-juneau-tourism 0.259364 / 25.94% / 0.00% / 0.00% 0.171015 / 17.10% / 0.00% / -11.93% 0.090096 / 9.01% / 0.00% / -22.85% 0.426076 / 42.61% / 22.51% / 22.51% 0.337214 / 33.72% / 10.51% / 10.51% 0.372904 / 37.29% / 15.33% / 15.33% 0.251056 / 25.11% / 0.00% / -1.12% 1.460140 / 100.00% / 162.13% / 100.00% 0.702044 / 70.20% / 59.77% / 59.77% 0.025227 / 2.52% / 0.00% / -31.61% 0.000000 / 0.00% / 0.00% / -35.02% 0.907133 / 90.71% / 87.46% / 87.46% 0.567213 / 56.72% / 41.57% / 41.57% 1.000000
2025 MCM C mcm-2025-c-olympic-medals 1.575307 / 100.00% / 0.00% / 0.00% 0.774277 / 77.43% / N/A / -10.00% 1.339365 / 100.00% / N/A / -10.00% 0.838169 / 83.82% / N/A / -10.00% 0.870336 / 87.03% / N/A / -10.00% 0.457106 / 45.71% / N/A / -10.00% 2.101688 / 100.00% / N/A / 10.00% 2.995504 / 100.00% / N/A / 10.00% 0.000000 / 0.00% / N/A / -100.00% 0.138589 / 13.86% / N/A / -10.00% 0.186115 / 18.61% / N/A / -10.00% 0.920868 / 92.09% / N/A / -10.00% 0.445610 / 44.56% / N/A / -10.00% 1.000000

用大白话看 terminal-bench-math-modeling 的 18 题 O-Eval / Robust BO-Eval

生成日期：2026-09-09

这篇文章解释 2023、2024、2025 三年共 18 道 terminal-bench-math-modeling 题。它不重新跑模型，只读取已经保存的 artifact，再用同一套 direction-aware scoring 重新算 O-Eval 主指标、Robust BO-Eval 辅助指标、token 和粗略成本。

先说结论

这个 benchmark 看的不是模型会不会写一篇像样的建模论文，而是：给它完整赛题和附件后，它最后交出来的关键数字，能不能追上优秀论文复现答案。

最终主指标现在是 O-Eval：clamp(模型 direction-aware raw / O raw, 0, 1)，再对 18 题取平均。大白话说，100% 就是平均达到 O 奖复现答案的 raw 水平；超过 O 奖锚点的部分不再继续加分。

这也是为什么 O-Eval 和 Robust BO-Eval 会出现排序不一致：O-Eval 看的是离 O 有多近，Robust 看的是比 flash 多追回了多少。一个是绝对分，一个是相对进步分，所以它们是互补的，不是二选一。

18 题总排名按 O-Eval 算是：Kimi K3 (58.08%) > Hy4 Preview (57.08%) > Qwen3.8 27B (55.06%) > GPT-5.6 Sol (55.00%) > GLM-5.3 (51.46%) > v4 pro (51.42%) > GPT-5.6 Sol XH (50.94%) > ox-alpha (48.94%) > Qwen3.8 Flash (Bailian) (45.15%) > Gemini 3.7 Flash (44.01%)。

另外新增一个温和版 hard-gated leaderboard：只把“明显不是可行解”的模型-题目格子整题清零，不把所有 needs-review/proxy 题一刀切。按这个谨慎口径，Hard-gated O-Eval 排名是：Hy4 Preview (57.08%) > Qwen3.8 27B (55.06%) > GPT-5.6 Sol (55.00%) > v4 pro (51.42%) > GPT-5.6 Sol XH (50.94%) > Kimi K3 (46.97%) > GLM-5.3 (45.91%) > Qwen3.8 Flash (Bailian) (45.15%) > ox-alpha (43.38%) > Gemini 3.7 Flash (38.63%)。

Robust BO-Eval 仍然保留做辅助解释：正常题用 (模型 raw - flash raw) / (O raw - flash raw)，而且赢很多和输很多都一起截到 ±100%；分母小于 0.10 的已完成题，改用 clipped B-Eval，也就是把 模型 raw - flash raw 截到 ±10pp。若 trial 没有产出可评分结果，就直接记 -100%。它回答的是“相对便宜 flash baseline 多追回多少”，并且不会让 841% 这种小分母离群值主导结论。

如果两个排名冲突，正式主榜以 O-Eval 为准，Robust 只做辅榜和解释。GLM-5.3-Flash 和 DeepSeek flash 的差别也属于这一类：一个可能在相对追赶上更猛，另一个可能在绝对接近 O 上更好。

按 Robust 辅助口径排序是：Kimi K3 (12.19%) > Hy4 Preview (11.70%) > Qwen3.8 27B (9.94%) > GPT-5.6 Sol (8.08%) > GLM-5.3 (5.45%) > v4 pro (2.28%) > ox-alpha (-1.46%) > GPT-5.6 Sol XH (-1.82%) > Qwen3.8 Flash (Bailian) (-7.33%) > Gemini 3.7 Flash (-14.37%)。

模型 artifacts 平均 raw O-Eval 主分 Hard-gated O-Eval Robust BO-Eval 辅助 Hard-gated Robust tokens input/cache/output 估算成本
v4 flash 17/18 0.756518 51.85% 47.75% 0.00% 0.00% 33,032,997 / 31,802,112 / 1,896,174 ¥6.27
Kimi K3 18/18 0.868798 58.08% 46.97% 12.19% -4.64% 30,146,116 / 28,928,953 / 956,805 ¥179.76
Hy4 Preview 18/18 0.865183 57.08% 57.08% 11.70% 11.70% 133,731,323 / 128,999,040 / 2,068,825 ¥97.95
Qwen3.8 27B 18/18 0.754457 55.06% 55.06% 9.94% 9.94% 47,245,909 / 0 / 3,178,409 ¥197.92
GPT-5.6 Sol 18/18 0.841554 55.00% 55.00% 8.08% 8.52% 8,774,606 / 7,566,848 / 497,473 ¥59.98
GLM-5.3 18/18 0.598189 51.46% 45.91% 5.45% -5.66% 92,056,972 / 89,637,696 / 2,638,779 ¥258.05
v4 pro 18/18 0.618719 51.42% 51.42% 2.28% 2.28% 21,309,105 / 20,096,768 / 1,748,356 ¥41.08
GPT-5.6 Sol XH 17/18 0.640327 50.94% 50.94% -1.82% -1.82% 16,596,399 / 14,928,768 / 841,198 ¥99.26
ox-alpha 18/18 0.655886 48.94% 43.38% -1.46% -7.57% 107,726,029 / 101,466,688 / 3,683,366 ¥19.62
Qwen3.8 Flash (Bailian) 18/18 0.564887 45.15% 45.15% -7.33% -7.33% 299,616,972 / 293,563,264 / 6,814,374 ¥59.34
Gemini 3.7 Flash 15/18 0.57861 44.01% 38.63% -14.37% -24.82% 69,131,259 / 62,497,004 / 705,776 ¥82.93

温和版 hard-gated 怎么算

hard-gated 不是把所有可疑题都删掉。它只惩罚三类很硬的失败：第一，score_config 已经标出 invalid_reason 的硬无效字段；第二，独立重放后确定几何/物理结果为零的高分；第三，明显量纲越界或结构缺失但被开放式“越高越好”指标错误奖励的高分。

被 hard gate 的格子，O-Eval 按 raw 0 进入 18 题平均；Robust BO-Eval 按 -100% 进入 18 题平均。只是 needs-review、proxy-score、还缺更强 replay verifier 的格子，先保留原分，但报告里会标注不能拿来 claim “强于 O”。

模型 Hard-gated O-Eval Hard-gated Robust 原始 O-Eval gate 数 成本
Hy4 Preview 57.08% 11.70% 57.08% 0 ¥97.95
Qwen3.8 27B 55.06% 9.94% 55.06% 0 ¥197.92
GPT-5.6 Sol 55.00% 8.52% 55.00% 0 ¥59.98
v4 pro 51.42% 2.28% 51.42% 0 ¥41.08
GPT-5.6 Sol XH 50.94% -1.82% 50.94% 0 ¥99.26
v4 flash 47.75% 0.00% 51.85% 1 ¥6.27
Kimi K3 46.97% -4.64% 58.08% 2 ¥179.76
GLM-5.3 45.91% -5.66% 51.46% 1 ¥258.05
Qwen3.8 Flash (Bailian) 45.15% -7.33% 45.15% 0 ¥59.34
ox-alpha 43.38% -7.57% 48.94% 1 ¥19.62
Gemini 3.7 Flash 38.63% -24.82% 44.01% 1 ¥82.93

这版最大的变化是：Kimi K3 的朱诺旅游和奥运教练效应高分被扣掉，ox-alpha 的烟幕高分被扣掉；七鳃鳗里凡是把原始种群量写成 0-1 归一化指数的格子，也按整题不可行处理。

模型 赛题 原 O-Eval gated O-Eval 原 Robust gated Robust 原因
v4 flash cumcm-2023-a-heliostat-field 73.82% 0.00% 0.00% 0.00% hard-invalid/heliostat-constraint: Q2 rated-power constraint violation: 53.795541 MW is below the required approximately 60 MW; Q3 rated-power constraint violation: 53.795541 MW is below the required approximately 60 MW; Q3 does not expose numeric mirror dimensions
GLM-5.3 cumcm-2023-a-heliostat-field 100.00% 0.00% 100.00% -100.00% explicit Q3 design note violates heliostat installation-height bound: one tail mirror uses z=1.9024 m, below the required 2 m minimum
Gemini 3.7 Flash cumcm-2023-a-heliostat-field 96.90% 0.00% 88.16% -100.00% hard-invalid/heliostat-constraint: Question 2 rated-power constraint violation: 55.460000 MW is below the required approximately 60 MW; Question 3 rated-power constraint violation: 54.966000 MW is below the required approximately 60 MW
ox-alpha cumcm-2025-a-smoke-screen 100.00% 0.00% 10.00% -100.00% independent smoke-screen replay gives 0.00s coverage under O-reference line-of-sight geometry
Kimi K3 mcm-2025-b-juneau-tourism 100.00% 0.00% 100.00% -100.00% unit/scale invalid: resident_acceptance_index=1.5 and sustainability_score=232.2 on a unit-scale score
Kimi K3 mcm-2025-c-olympic-medals 100.00% 0.00% 10.00% -100.00% invalid high coach-effect result: only three scored recommendations and endpoint verifier reward is negative/BO 0

图怎么读

第一组图看温和版 hard-gated O-Eval：它回答“把明显不可行解扣掉以后，谁还稳”。Hy4 Preview 在这张榜上排第一；Hy4 Preview 因新增的生产抽检阈值/旅游可持续性越界 gate 回落，Kimi K3 因朱诺旅游和奥运教练效应两个高杠杆坏题明显下滑；ox-alpha 因烟幕几何重放为零，也从原 O-Eval 里掉下来。

Hard-gated O-Eval 主效果柱状图
Hard-gated O-Eval vs Cost

第二组图看原始 O-Eval 主效果；它仍然有意义，因为它展示 verifier 当前定义下的可评分数值表现，但需要和 hard-gated 榜一起读。

O-Eval 主效果柱状图
O-Eval vs Cost

Robust 图保留下来，用来看“相对 v4 flash baseline 的增益”是不是稳定；token 和成本图用来解释为什么同样分数会有不同价格。没有可评分 artifact 的 trial 现在按 -100% 记分，不会再被当成普通小分母题。

Robust 辅助效果柱状图
Robust vs Cost

token 和成本图用来解释为什么同样 O-Eval 分数会有不同价格。

Token usage
Cost

成本统一优先按 OpenRouter 当前 catalog 里的 prompt、input_cache_read、input_cache_write、completion 价格算，再用 USD/CNY=6.737012 转成人民币/百万 tokens。价格快照写在 openrouter-pricing-used-2023-2025.json；当前 result.json 只有 input/cache/output 三类 token，没有单独的 cache write/create 字段，所以显式缓存创建费用不额外拆账。

按这个口径，Qwen3.8 27B 是 55.06% O-Eval、9.94% Robust 辅助、¥197.92 估算成本；它不会再被 841% 这类小分母离群值抬高。

Kimi K3 是 58.08% O-Eval、12.19% Robust 辅助、¥179.76 估算成本。Kimi 2023 的汇总 result.json 已经回到 3 completed / 0 error 的状态，所以这里不会再因为旧 error 计数低估 artifacts。

GLM-5.3-Flash (ox-alpha) 已完成 17/18 个有效任务；cumcm-2023-a-heliostat-field 因正常模型推理超时记为最终失败，不再重试。目录级 artifact 记录为 18/18，O-Eval 按可评分的有效结果计算。

Qwen3.8 Flash (Bailian) 有 16/18 个有效完成、2 个正常模型推理超时的最终 error；目录级 artifact 记录为 18/18，错误题不进入有效结果。

Hy4 Preview 已完成 18/18 个有效任务，O-Eval 是 57.08%、Robust 辅助是 11.70%。按 OpenRouter tencent/hy4-preview 价格估算成本为 ¥97.95。

B、O、Agent 各自是什么

为了别把三个角色混在一起，后面的逐题表会把它们拆开：

逐题表里的“题型大类”沿用 intro-mathmodel/数学建模题型-解法速查.md 的决策树口径，比如解析几何/方程、微分方程/动力系统、运筹优化、数据建模、综合评价/决策、图论网络。复杂题会写成组合类，因为真实赛题常常是“先数据建模，再优化决策”。

这些方法/库不是重新评判答案，只是给读者解释：同一个分数背后，大家到底把赛题抽象成了什么数学问题，又大概靠什么 Python 数值栈求出来。NumPy、Pandas、SciPy 这类是实现工具，不是数学模型；抽不到明确库时，我会写“未显式记录”，不强行脑补。

O-Eval 到底怎么算

先把每道题最后答案里的关键数字拆出来，比如定日镜场的年平均输出功率、网球势头题的预测准确率、烟幕题的遮蔽时长。每个数字根据方向算 reward：该高的越高越好，该低的越低越好，该贴目标值的就越接近越好。

多个指标平均起来，就是这道题的 direction-aware raw。然后 O-Eval 用 O 奖复现答案做分母：

本题 O-Eval = clamp(模型 raw / O raw, 0, 1)

最后对 18 道题取平均。它最像“绝对成绩单”：不关心 flash baseline 有多强或多弱，只问模型答案离 O 奖复现锚点有多近。缺失 artifact 仍按 raw 0 计入，所以覆盖不完整会直接掉分。

下面这张表是 18 道题的 O-Eval 展开。

赛题 Kimi K3 Hy4 Preview Qwen3.8 27B GPT-5.6 Sol GLM-5.3 v4 pro GPT-5.6 Sol XH ox-alpha Qwen3.8 Flash (Bailian) Gemini 3.7 Flash
CUMCM 2023 A 97.53% 100.00% 100.00% 97.20% 100.00% 100.00% 0.00% 0.00% 100.00% 96.90%
CUMCM 2023 B 100.00% 100.00% 100.00% 100.00% 100.00% 100.00% 100.00% 100.00% 100.00% 100.00%
CUMCM 2023 C 100.00% 96.36% 100.00% 100.00% 35.51% 59.79% 100.00% 100.00% 100.00% 100.00%
CUMCM 2024 A 6.81% 20.35% 20.35% 20.35% 20.35% 25.46% 20.35% 20.35% 20.35% 25.46%
CUMCM 2024 B 94.31% 36.65% 100.00% 44.45% 25.73% 31.86% 47.92% 39.02% 0.00% 46.91%
CUMCM 2024 C 19.11% 26.42% 17.29% 58.88% 28.52% 34.50% 57.51% 56.96% 44.83% 19.35%
CUMCM 2025 A 100.00% 100.00% 100.00% 100.00% 85.44% 100.00% 93.92% 100.00% 0.00% 100.00%
CUMCM 2025 B 43.61% 36.32% 18.71% 24.20% 30.62% 24.61% 31.55% 30.95% 33.94% 30.79%
CUMCM 2025 C 100.00% 100.00% 100.00% 100.00% 100.00% 100.00% 62.60% 100.00% 100.00% 100.00%
MCM 2023 A 46.95% 100.00% 100.00% 100.00% 100.00% 100.00% 100.00% 100.00% 37.32% 54.54%
MCM 2023 B 2.87% 2.25% 2.40% 3.24% 6.81% 3.44% 7.37% 8.86% 2.32% 6.34%
MCM 2023 C 24.65% 98.31% 58.00% 72.35% 53.00% 9.80% 25.98% 56.58% 6.54% 0.00%
MCM 2024 A 24.67% 1.56% 7.02% 7.02% 12.50% 23.53% 7.02% 8.96% 10.81% 22.90%
MCM 2024 B 47.09% 30.03% 75.32% 38.90% 70.93% 29.65% 66.22% 63.24% 27.29% 18.79%
MCM 2024 C 37.75% 77.90% 52.34% 40.33% 36.14% 56.46% 71.38% 77.33% 46.46% 0.00%
MCM 2025 A 0.00% 0.00% 23.33% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00%
MCM 2025 B 100.00% 56.72% 2.52% 37.29% 33.72% 42.61% 25.11% 0.00% 90.71% 70.20%
MCM 2025 C 100.00% 44.56% 13.86% 45.71% 87.03% 83.82% 100.00% 18.61% 92.09% 0.00%
最终平均 58.08% 57.08% 55.06% 55.00% 51.46% 51.42% 50.94% 48.94% 45.15% 44.01%

Robust BO-Eval 怎么辅助解释

有了每题的 direction-aware raw 以后，Robust BO-Eval 额外放进一个便宜 baseline：v4 flash。

它的公式还是先看相对 flash 的比例；如果 flash 已经很接近 O，或者分母不够大，就改用 clipped B-Eval，避免小分母把结果放大到离谱。

所以 Robust BO-Eval 辅助指标这样算：如果 O raw - flash raw >= 0.10，用比例但截到 ±100%；如果分母太小，完成了的题就用 clipped B-Eval 但截到 ±10pp；如果 trial 压根没跑出可评分结果，直接记 -100%。直白说，正常题看追回比例，没做出来的题按最坏值算，而且赢很多和输很多都不会冲破上限。

18 道题里有 12 道题满足 O raw > flash raw，完成但分母太小或失效的 6 类题会用 clipped B-Eval 进入最终平均；如果某个 trial 没有产出可评分结果，它会直接记 -100% 而不是躲进平均里。

举个真实例子：MCM 2025 B mcm-2025-b-juneau-tourism 里，flash raw=0.259364，O raw=1，分母是 0.740636。Kimi K3 raw=1.46014，但进入 Robust 辅助分的是 100.00%。

下面这张表是 18 道题的 Robust 辅助指标展开。这里没有 N/A 逃逸口：完成但分母太小的题会用 clipped B-Eval 进入平均，最终失败或缺失的 trial 则直接记 -100%。

赛题 Kimi K3 Hy4 Preview Qwen3.8 27B GPT-5.6 Sol GLM-5.3 v4 pro GPT-5.6 Sol XH ox-alpha Qwen3.8 Flash (Bailian) Gemini 3.7 Flash
CUMCM 2023 A 90.58% 100.00% 100.00% 89.29% 100.00% 100.00% -100.00% -100.00% 100.00% 88.16%
CUMCM 2023 B -8.20% 10.00% 0.94% 10.00% 0.83% 0.37% -2.93% 0.82% 5.03% 0.40%
CUMCM 2023 C -10.00% -10.00% -10.00% -10.00% -10.00% -10.00% -10.00% -10.00% -10.00% -2.69%
CUMCM 2024 A -100.00% -100.00% -100.00% -100.00% -100.00% -100.00% -100.00% -100.00% -100.00% -100.00%
CUMCM 2024 B 94.31% 36.65% 100.00% 44.45% 25.73% 31.86% 47.92% 39.02% -100.00% 46.91%
CUMCM 2024 C -7.38% 2.32% -9.79% 45.41% 5.11% 13.06% 43.60% 42.87% 26.76% -7.05%
CUMCM 2025 A 10.00% 10.00% 10.00% 10.00% -10.00% 0.44% -10.00% 10.00% -100.00% -10.00%
CUMCM 2025 B 20.40% 10.10% -14.76% -7.00% 2.06% -6.43% 3.38% 2.52% 6.74% 2.30%
CUMCM 2025 C -10.00% -10.00% 1.52% -5.39% -10.00% -10.00% -10.00% -10.00% -10.00% -10.00%
MCM 2023 A -10.00% -10.00% -10.00% -10.00% -9.32% -10.00% -10.00% -10.00% -10.00% -10.00%
MCM 2023 B -8.17% -8.86% -8.69% -7.77% -3.78% -7.54% -3.16% -1.51% -8.78% -4.31%
MCM 2023 C 2.88% 97.82% 45.86% 64.36% 39.42% -16.27% 4.59% 44.04% -20.46% -100.00%
MCM 2024 A 18.99% -5.87% 0.00% 0.00% 5.90% 17.76% 0.00% 2.09% 4.08% 17.08%
MCM 2024 B 15.82% -11.31% 60.74% 2.80% 53.75% -11.92% 46.25% 41.51% -15.68% -29.19%
MCM 2024 C 10.27% 68.14% 31.29% 13.98% 7.95% 37.24% 58.74% 67.32% 22.83% -100.00%
MCM 2025 A 0.00% 0.00% 23.33% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00%
MCM 2025 B 100.00% 41.57% -31.61% 15.33% 10.51% 22.51% -1.12% -35.02% 87.46% 59.77%
MCM 2025 C 10.00% -10.00% -10.00% -10.00% -10.00% -10.00% 10.00% -10.00% -10.00% -100.00%
最终平均 12.19% 11.70% 9.94% 8.08% 5.45% 2.28% -1.82% -1.46% -7.33% -14.37%

分年份和赛制看

同一个 O-Eval 总分拆开看，会发现 2023、2024、2025 的难点不一样；CUMCM 和 MCM 也不是同一种口味。

模型 2023 2024 2025
Kimi K3 62.00% 38.29% 73.94%
Hy4 Preview 82.82% 32.15% 56.27%
Qwen3.8 27B 76.73% 45.39% 43.07%
GPT-5.6 Sol 78.80% 34.99% 51.20%
GLM-5.3 65.89% 32.36% 56.14%
v4 pro 62.17% 33.58% 58.51%
GPT-5.6 Sol XH 55.56% 45.07% 52.20%
ox-alpha 60.91% 44.31% 41.59%
Qwen3.8 Flash (Bailian) 57.70% 24.96% 52.79%
Gemini 3.7 Flash 59.63% 22.24% 50.17%
模型 CUMCM MCM CUMCM artifacts MCM artifacts
Kimi K3 73.49% 42.67% 9 9
Hy4 Preview 68.46% 45.70% 9 9
Qwen3.8 27B 72.93% 37.20% 9 9
GPT-5.6 Sol 71.68% 38.31% 9 9
GLM-5.3 58.46% 44.46% 9 9
v4 pro 64.02% 38.81% 9 9
GPT-5.6 Sol XH 57.10% 44.79% 8 9
ox-alpha 60.81% 37.06% 8 9
Qwen3.8 Flash (Bailian) 55.46% 34.84% 7 9
Gemini 3.7 Flash 68.82% 19.20% 9 6

18 道题逐题看

CUMCM 2023 A: 定日镜场布局优化

任务 slug：cumcm-2023-a-heliostat-field

这题在问什么：在定日镜尺寸和安装高度都可以变化时，重新设计镜场，在满足约 60 MW 年平均输出功率的同时，让单位镜面面积输出尽量大。

BO/O 答案是什么：O 奖复现给出的核心设计是年平均热功率 60.336111 MW，单位面积功率 0.506192417 kW/m2，年平均光学效率 0.496428083，镜面总面积 119196 m2，定日镜 3311 面。

baseline 解法大概是什么：baseline 用几何解析和太阳运动参数方程做一个简化镜场拟合，再从几何约束中估计设计参数。

B / O / Agent 用的题型大类、数学模型和库：

角色 题型大类 中文数学模型 主要库/求解器 备注
B：v4 flash baseline 解析几何/方程 + 物理仿真 + 运筹优化 太阳高度角和 DNI 大气辐照模型 + 镜面余弦、遮挡、截断效率的几何光学模型；用坐标附件做数值复现。 numpy、openpyxl 实际 baseline agent artifact；题目基准描述：baseline 用几何解析和太阳运动参数方程做一个简化镜场拟合，再从几何约束中估计设计参数。
O：O 奖复现 解析几何/方程 + 物理仿真 + 运筹优化 几何光学效率代理 + O 奖目标校准 + 固定、优化、可变布局的镜场设计汇总。 matplotlib、numpy、pandas 来自 O 奖论文 A175 的可运行复现/expected_result
Agent：Hy4 Preview 解析几何/方程 + 物理仿真 + 运筹优化 太阳轨迹采样 + 向量反射/圆柱接收器射线追踪 + 镜场遮挡校正。 matplotlib、numpy、openpyxl、pandas、scipy 本题 O-Eval 100.00%，这里取非 baseline 中本题最高者

这题怎么换成 O-Eval / Robust：O-Eval 直接用 clamp(模型 raw / O raw, 0, 1)；这题进入 Robust 比例口径。分母是 O raw - flash raw = 1 - 0.738213 = 0.261787。Robust 辅助指标用 (模型 raw - flash raw) / 这个分母，但最终截到 ±100%，所以超大离群值不会继续放大。

本题 raw、O-Eval、B-Eval vs flash 和 Robust 辅助指标：

模型 本题 raw O-Eval 主分 B-Eval vs flash Robust BO-Eval 辅助
O 奖复现答案 1 100.00% N/A N/A
v4 flash baseline 0.738213 73.82% +0.00 pp 0.00%
Kimi K3 0.975341 97.53% +23.71 pp 90.58%
Hy4 Preview 1.464 100.00% +72.58 pp 100.00%
Qwen3.8 27B 1.24453 100.00% +50.63 pp 100.00%
GPT-5.6 Sol 0.971969 97.20% +23.38 pp 89.29%
GLM-5.3 1.39354 100.00% +65.53 pp 100.00%
v4 pro 1.31294 100.00% +57.47 pp 100.00%
GPT-5.6 Sol XH 0 0.00% -73.82 pp -100.00%
ox-alpha 0 0.00% -73.82 pp -100.00%
Qwen3.8 Flash (Bailian) 1.45586 100.00% +71.77 pp 100.00%
Gemini 3.7 Flash 0.96901 96.90% +23.08 pp 88.16%

评测问题和模型答案：下面表里的“/ 分”是单指标 reward，不是整题分。a→b 表示评测器做了单位换算或百分比归一化后用 b 计分。

评测指标 方向 BO/O 答案 v4 flash Kimi K3 Hy4 Preview Qwen3.8 27B GPT-5.6 Sol GLM-5.3 v4 pro GPT-5.6 Sol XH ox-alpha Qwen3.8 Flash (Bailian) Gemini 3.7 Flash
reproduced.design_summary[2].annual_optical_efficiency 越高越好 0.496428 / 分 1 0.456517 / 分 0.7504 0.5094 / 分 1.10265 0.702888 / 分 2.00081 0.5251 / 分 1.21425 0.513639 / 分 1.13403 0.533961 / 分 1.27215 0.562315 / 分 1.43764 无 artifact 无 artifact 0.5678 / 分 1.46673 0.4749 / 分 0.8479
reproduced.design_summary[2].mirror_area_m2 越低越好 119,196 / 分 1 121,176 / 分 0.8784 120,168 / 分 0.9364 88,745 / 分 2.14069 117,012 / 分 1.1421 120,400 / 分 0.9224 113,707 / 分 1.3248 111,276 / 分 1.44065 无 artifact 无 artifact 108,402 / 分 1.56226 120,780 / 分 0.9003
reproduced.design_summary[2].mirror_count 越低越好 3,311 / 分 1 3,366 / 分 0.8784 3,338 / 分 0.9364 4,306 / 分 0.2854 2,786 / 分 1.84215 3,375 / 分 0.8613 2,321 / 分 2.25039 3,091 / 分 1.44065 无 artifact 无 artifact 2,670 / 分 1.96062 2,805 / 分 1.82133
reproduced.design_summary[2].unit_area_power_kw_m2 越高越好 0.506192 / 分 1 0.443946 / 分 0.6584 0.4993 / 分 0.9457 0.679762 / 分 1.89462 0.5134 / 分 1.05833 0.50041 / 分 0.954 0.527675 / 分 1.16469 0.544185 / 分 1.27506 无 artifact 无 artifact 0.5536 / 分 1.33294 0.4551 / 分 0.7014
target_comparison.q3_annual_thermal_power_mw.actual 越接近越好 60.3361 / 分 1 53.7955 / 分 0.5254 60 / 分 0.9556 60.3254 / 分 0.9985 60.08 / 分 0.9658 60.2494 / 分 0.9882 60.0002 / 分 0.9557 60.5548 / 分 0.9707 无 artifact 无 artifact 60.009 / 分 0.9568 54.966 / 分 0.5742

一句话带走：这题真正看的不是模型有没有写出漂亮过程，而是最后几个关键数值能不能落在正确方向上。

CUMCM 2023 B: 多波束测线布设

任务 slug：cumcm-2023-b-multibeam-lines

这题在问什么：给定真实海深数据，设计测线方案，尽量减少测线总长度，同时控制漏测面积和重叠过大的测线长度。

BO/O 答案是什么：O 奖复现的核心方案总测线长度 622.0 海里，漏测面积 3.48%，重叠超过 20% 的测线长度 30.0 海里，平均重叠率约 10.48%。

baseline 解法大概是什么：baseline 先用数据拟合近似海底地形，再用规则化/贪心测线布置估计覆盖质量。

B / O / Agent 用的题型大类、数学模型和库：

角色 题型大类 中文数学模型 主要库/求解器 备注
B：v4 flash baseline 解析几何/方程 + 运筹优化 局部平面海底上的多波束扇形覆盖几何；按等深线和重叠率规则做贪心测线布设。 未显式记录；可能只用 Python 标准库或未在轨迹中留下安装/import 线索 实际 baseline agent artifact；题目基准描述：baseline 先用数据拟合近似海底地形，再用规则化/贪心测线布置估计覆盖质量。
O：O 奖复现 解析几何/方程 + 运筹优化 多波束覆盖宽度公式 + 贪心线距 + 模拟退火对比，并按 O 奖测线长度、漏测率和重叠率校准。 matplotlib、numpy、pandas 来自 O 奖论文 B226 的可运行复现/expected_result
Agent：Kimi K3 解析几何/方程 + 运筹优化 局部平面射线-海底相交模型 + 不对称半幅覆盖 + 区间重叠计算 + 贪心测线搜索。 matplotlib、numpy、openpyxl、pandas、scipy 本题 O-Eval 100.00%，这里取非 baseline 中本题最高者

这题怎么换成 O-Eval / Robust：O-Eval 直接用 clamp(模型 raw / O raw, 0, 1)；这题鲁棒辅助口径失效：flash raw=1.4924，O raw=1，flash 已经达到或超过 O，分母不为正。Robust 辅助指标改用 clipped B-Eval：把 gain = 模型 raw - flash raw 截到 ±10pp 再进平均。

本题 raw、O-Eval、B-Eval vs flash 和 Robust 辅助指标：

模型 本题 raw O-Eval 主分 B-Eval vs flash Robust BO-Eval 辅助
O 奖复现答案 1 100.00% N/A N/A
v4 flash baseline 1.4924 100.00% +0.00 pp 0.00%
Kimi K3 1.41039 100.00% -8.20 pp -8.20%
Hy4 Preview 2.34986 100.00% +85.75 pp 10.00%
Qwen3.8 27B 1.50182 100.00% +0.94 pp 0.94%
GPT-5.6 Sol 2.42566 100.00% +93.33 pp 10.00%
GLM-5.3 1.50067 100.00% +0.83 pp 0.83%
v4 pro 1.49607 100.00% +0.37 pp 0.37%
GPT-5.6 Sol XH 1.46314 100.00% -2.93 pp -2.93%
ox-alpha 1.50062 100.00% +0.82 pp 0.82%
Qwen3.8 Flash (Bailian) 1.54273 100.00% +5.03 pp 5.03%
Gemini 3.7 Flash 1.49642 100.00% +0.40 pp 0.40%

评测问题和模型答案：下面表里的“/ 分”是单指标 reward，不是整题分。a→b 表示评测器做了单位换算或百分比归一化后用 b 计分。

评测指标 方向 BO/O 答案 v4 flash Kimi K3 Hy4 Preview Qwen3.8 27B GPT-5.6 Sol GLM-5.3 v4 pro GPT-5.6 Sol XH ox-alpha Qwen3.8 Flash (Bailian) Gemini 3.7 Flash
reproduced.problem4_summary.overlap_over_20pct_length_nautical_miles 越低越好 30 / 分 1 162.22 / 分 0.02651 319.46 / 分 0.01228 0.3816 / 分 3.22217<br>需复核: review_extreme_actual_oracle_ratio 147.98 / 分 0.02961 0 / 分 3.23359 151.167 / 分 0.02885 156.13 / 分 0.02775 196.92 / 分 0.02111 151.9 / 分 0.02869 102.195 / 分 0.0475 156.58 / 分 0.02765
reproduced.problem4_summary.sa_avg_overlap_pct 越接近越好 10.48 / 分 1 28.6623 / 分 0.06469 47.517 / 分 0.03284 16.4288 / 分 0.1745 26.28 / 分 0.07373 12.0574 / 分 0.4436 27.2229 / 分 0.06986 28.4878 / 分 0.06528 45.879 / 分 0.03431 27.2259 / 分 0.06985 17.984 / 分 0.1435 28.01 / 分 0.06694
target_comparison.problem4_missed_area_pct.actual 越低越好 3.48 / 分 1 0 / 分 3.23359 0 / 分 3.23359 1e-06 / 分 3.23359<br>需复核: review_extreme_actual_oracle_ratio 0 / 分 3.23359 6.57901e-09 / 分 3.23359<br>需复核: review_extreme_actual_oracle_ratio 1.4184e-12 / 分 3.23359<br>需复核: review_extreme_actual_oracle_ratio 4.44089e-17 / 分 3.23359 0.00198212 / 分 3.23308<br>需复核: review_extreme_actual_oracle_ratio 0 / 分 3.23359 0.00169 / 分 3.23316<br>需复核: review_extreme_actual_oracle_ratio 0.000618794 / 分 3.23343<br>需复核: review_extreme_actual_oracle_ratio
target_comparison.problem4_total_length_nm.actual 越低越好 622 / 分 1 310 / 分 2.64482 405 / 分 2.36284 258.7966 / 分 2.76918 300 / 分 2.67035 248.75 / 分 2.79187 300 / 分 2.67035 305 / 分 2.65767 340 / 分 2.56405 300 / 分 2.67035 268.519 / 分 2.74673 305 / 分 2.65767

一句话带走：这题真正看的不是模型有没有写出漂亮过程，而是最后几个关键数值能不能落在正确方向上。

CUMCM 2023 C: 蔬菜类商品定价

任务 slug：cumcm-2023-c-vegetable-pricing

这题在问什么：最后一问本身是让商超说明还应采集哪些数据、这些数据怎样帮助补货和定价；它主要是文字建议。

BO/O 答案是什么：当前数值 verifier 只看支撑这些建议的最后可量化补货定价结果：未来一周最大利润 5105.6 元，并选择 29 个单品进入补货定价方案。

baseline 解法大概是什么：baseline 用规划优化和资源配置模型，把可售空间、补货量和价格决策转成利润最大化问题。

B / O / Agent 用的题型大类、数学模型和库：

角色 题型大类 中文数学模型 主要库/求解器 备注
B：v4 flash baseline 数据建模 + 运筹优化 线性需求回归 + 利润最大化的定价/补货优化。 matplotlib、numpy、openpyxl、pandas、scipy、scikit-learn、xlrd 实际 baseline agent artifact；题目基准描述：baseline 用规划优化和资源配置模型，把可售空间、补货量和价格决策转成利润最大化问题。
O：O 奖复现 数据建模 + 运筹优化 K-means++ 商品聚类 + 销量/加价率相关分析 + 线性价格-需求回归 + 网格搜索定价。 matplotlib、numpy、pandas、scikit-learn 来自 O 奖论文 C050 的可运行复现/expected_result
Agent：Kimi K3 数据建模 + 运筹优化 K-means 聚类 + OLS 需求定价回归 + 非线性/混合整数约束利润优化。 matplotlib、numpy、openpyxl、pandas、scipy、scikit-learn 本题 O-Eval 100.00%，这里取非 baseline 中本题最高者

这题怎么换成 O-Eval / Robust：O-Eval 直接用 clamp(模型 raw / O raw, 0, 1)；这题鲁棒辅助口径失效：flash raw=2.5503，O raw=1，flash 已经达到或超过 O，分母不为正。Robust 辅助指标改用 clipped B-Eval：把 gain = 模型 raw - flash raw 截到 ±10pp 再进平均。

本题 raw、O-Eval、B-Eval vs flash 和 Robust 辅助指标：

模型 本题 raw O-Eval 主分 B-Eval vs flash Robust BO-Eval 辅助
O 奖复现答案 1 100.00% N/A N/A
v4 flash baseline 2.5503 100.00% +0.00 pp 0.00%
Kimi K3 1.13471 100.00% -141.56 pp -10.00%
Hy4 Preview 0.963631 96.36% -158.67 pp -10.00%
Qwen3.8 27B 1.29287 100.00% -125.74 pp -10.00%
GPT-5.6 Sol 1.58994 100.00% -96.04 pp -10.00%
GLM-5.3 0.355098 35.51% -219.52 pp -10.00%
v4 pro 0.597918 59.79% -195.24 pp -10.00%
GPT-5.6 Sol XH 1.42736 100.00% -112.29 pp -10.00%
ox-alpha 1.70757 100.00% -84.27 pp -10.00%
Qwen3.8 Flash (Bailian) 1.75501 100.00% -79.53 pp -10.00%
Gemini 3.7 Flash 2.52343 100.00% -2.69 pp -2.69%

评测问题和模型答案：下面表里的“/ 分”是单指标 reward，不是整题分。a→b 表示评测器做了单位换算或百分比归一化后用 b 计分。

评测指标 方向 BO/O 答案 v4 flash Kimi K3 Hy4 Preview Qwen3.8 27B GPT-5.6 Sol GLM-5.3 v4 pro GPT-5.6 Sol XH ox-alpha Qwen3.8 Flash (Bailian) Gemini 3.7 Flash
target_comparison.future_week_max_profit_yuan.actual 越高越好 5,105.6 / 分 1 27,722.65 / 分 4.63536 5,862.16 / 分 1.80418 5,465.41 / 分 1.46202 6,371.6175 / 分 2.1205 7,896.15 / 分 2.71465 3,217.1071 / 分 0.245 4,256.2218 / 分 0.419 6,951.4365 / 分 2.38948 8,798.7708 / 分 2.9499 9,227.31 / 分 3.04478 20,614.5 / 分 4.27008
target_comparison.problem3_selected_item_count.actual 越接近越好 29 / 分 1 33 / 分 0.4652 33 / 分 0.4652 33 / 分 0.4652 33 / 分 0.4652 33 / 分 0.4652 33 / 分 0.4652 30 / 分 0.7768 33 / 分 0.4652 33 / 分 0.4652 33 / 分 0.4652 30 / 分 0.7768

一句话带走：这题真正看的不是模型有没有写出漂亮过程，而是最后几个关键数值能不能落在正确方向上。

CUMCM 2024 A: 板凳龙调头

任务 slug：cumcm-2024-a-dragon-dance

这题在问什么：沿着前面求出的调头路径行进时，求龙头最大能跑多快，才能保证所有把手速度都不超过 2 m/s。

BO/O 答案是什么：O 奖复现给出的最大龙头速度约 2.00002 m/s；当龙头速度为 1 m/s 时，全队最大速度比例约 0.99999。

baseline 解法大概是什么：baseline 用几何解析和运动学参数方程，沿路径传播各把手位置，再由速度约束反推龙头速度上限。

B / O / Agent 用的题型大类、数学模型和库：

角色 题型大类 中文数学模型 主要库/求解器 备注
B：v4 flash baseline 解析几何/方程 + 运动学 阿基米德螺线弧长参数化 + 刚体板凳运动学 + 速度约束反推。 openpyxl 实际 baseline agent artifact；题目基准描述：baseline 用几何解析和运动学参数方程，沿路径传播各把手位置，再由速度约束反推龙头速度上限。
O：O 奖复现 解析几何/方程 + 运动学 等距螺线弧长反解 + 把手递推 + 非相邻碰撞检测 + 螺距搜索 + 速度比例缩放。 matplotlib、numpy、pandas、scipy 来自 O 奖论文 A016 的可运行复现/expected_result
Agent：Gemini 3.7 Flash 解析几何/方程 + 运动学 非线性弧长反解 + 刚性弦长约束 + 多边形碰撞检测。 matplotlib、numpy、openpyxl、pandas、scipy、shapely 本题 O-Eval 25.46%，这里取非 baseline 中本题最高者

这题怎么换成 O-Eval / Robust：O-Eval 直接用 clamp(模型 raw / O raw, 0, 1)；这题进入 Robust 比例口径。分母是 O raw - flash raw = 1 - 0.722875 = 0.277125。Robust 辅助指标用 (模型 raw - flash raw) / 这个分母，但最终截到 ±100%，所以超大离群值不会继续放大。

本题 raw、O-Eval、B-Eval vs flash 和 Robust 辅助指标：

模型 本题 raw O-Eval 主分 B-Eval vs flash Robust BO-Eval 辅助
O 奖复现答案 1 100.00% N/A N/A
v4 flash baseline 0.722875 72.29% +0.00 pp 0.00%
Kimi K3 0.0681377 6.81% -65.47 pp -100.00%
Hy4 Preview 0.203536 20.35% -51.93 pp -100.00%
Qwen3.8 27B 0.203541 20.35% -51.93 pp -100.00%
GPT-5.6 Sol 0.203536 20.35% -51.93 pp -100.00%
GLM-5.3 0.203536 20.35% -51.93 pp -100.00%
v4 pro 0.254589 25.46% -46.83 pp -100.00%
GPT-5.6 Sol XH 0.203536 20.35% -51.93 pp -100.00%
ox-alpha 0.203536 20.35% -51.93 pp -100.00%
Qwen3.8 Flash (Bailian) 0.203536 20.35% -51.93 pp -100.00%
Gemini 3.7 Flash 0.25459 25.46% -46.83 pp -100.00%

评测问题和模型答案：下面表里的“/ 分”是单指标 reward，不是整题分。a→b 表示评测器做了单位换算或百分比归一化后用 b 计分。

评测指标 方向 BO/O 答案 v4 flash Kimi K3 Hy4 Preview Qwen3.8 27B GPT-5.6 Sol GLM-5.3 v4 pro GPT-5.6 Sol XH ox-alpha Qwen3.8 Flash (Bailian) Gemini 3.7 Flash
experiment_result.q5.max_head_speed_mps 越高越好 2.00002 / 分 1 1.91 / 分 0.7272 0.241298 / 分 0.1201 1.24627 / 分 0.2415 1.24628 / 分 0.2415 1.24627 / 分 0.2415 1.24627 / 分 0.2415 1.40628 / 分 0.2879 1.24627 / 分 0.2415 1.24627 / 分 0.2415 1.24627 / 分 0.2415 1.40628 / 分 0.2879
experiment_result.q5.max_speed_ratio_when_head_1mps 越低越好 0.99999 / 分 1 1.047 / 分 0.7185 8.28851 / 分 0.0162 1.60479 / 分 0.1656 1.60477 / 分 0.1656 1.60479 / 分 0.1656 1.60479 / 分 0.1656 1.4222 / 分 0.2213 1.60479 / 分 0.1656 1.60479 / 分 0.1656 1.60479 / 分 0.1656 1.4222 / 分 0.2213

一句话带走：这题真正看的不是模型有没有写出漂亮过程，而是最后几个关键数值能不能落在正确方向上。

CUMCM 2024 B: 生产过程抽检与决策

任务 slug：cumcm-2024-b-production-decision

这题在问什么：把零配件和成品次品率看成抽样估出来的不确定量，然后重新求问题 2 和问题 3 的最优检测、装配、拆解决策。

BO/O 答案是什么：O 奖复现用 3 组后验缺陷率情景重算利润：Q2 case1 利润约 25.9691、25.8694、25.7715；Q3 最优策略后验利润约 86.8529、86.5588、86.2647。

baseline 解法大概是什么：baseline 用二项抽样/贝叶斯后验估计次品率，再用期望利润枚举和多阶段决策搜索求最优策略。

B / O / Agent 用的题型大类、数学模型和库：

角色 题型大类 中文数学模型 主要库/求解器 备注
B：v4 flash baseline 统计推断 + 运筹优化/决策 二项分布抽样检验 + 期望利润递推/枚举 + 拆解决策搜索。 未显式记录；可能只用 Python 标准库或未在轨迹中留下安装/import 线索 实际 baseline agent artifact；题目基准描述：baseline 用二项抽样/贝叶斯后验估计次品率，再用期望利润枚举和多阶段决策搜索求最优策略。
O：O 奖复现 统计推断 + 运筹优化/决策 二项假设检验 + 期望利润枚举 + 状态-决策遗传搜索 + Beta 后验更新。 matplotlib、numpy、pandas、scipy 来自 O 奖论文 B159 的可运行复现/expected_result
Agent：Qwen3.8 27B 统计推断 + 运筹优化/决策 Clopper-Pearson 单侧二项置信规则 + 检验功效设计 + 期望利润/返修拆解决策优化。 matplotlib、numpy、openpyxl、pandas、scipy 本题 O-Eval 100.00%，这里取非 baseline 中本题最高者

这题怎么换成 O-Eval / Robust：O-Eval 直接用 clamp(模型 raw / O raw, 0, 1)；这题进入 Robust 比例口径。分母是 O raw - flash raw = 1 - 0 = 1。Robust 辅助指标用 (模型 raw - flash raw) / 这个分母，但最终截到 ±100%，所以超大离群值不会继续放大。

本题 raw、O-Eval、B-Eval vs flash 和 Robust 辅助指标：

模型 本题 raw O-Eval 主分 B-Eval vs flash Robust BO-Eval 辅助
O 奖复现答案 1 100.00% N/A N/A
v4 flash baseline 0 0.00% +0.00 pp 0.00%
Kimi K3 0.943081 94.31% +94.31 pp 94.31%
Hy4 Preview 0.366504 36.65% +36.65 pp 36.65%
Qwen3.8 27B 1.44569 100.00% +144.57 pp 100.00%
GPT-5.6 Sol 0.444542 44.45% +44.45 pp 44.45%
GLM-5.3 0.257329 25.73% +25.73 pp 25.73%
v4 pro 0.318573 31.86% +31.86 pp 31.86%
GPT-5.6 Sol XH 0.479172 47.92% +47.92 pp 47.92%
ox-alpha 0.390214 39.02% +39.02 pp 39.02%
Qwen3.8 Flash (Bailian) 0 0.00% +0.00 pp -100.00%
Gemini 3.7 Flash 0.469069 46.91% +46.91 pp 46.91%

评测问题和模型答案：下面表里的“/ 分”是单指标 reward，不是整题分。a→b 表示评测器做了单位换算或百分比归一化后用 b 计分。

评测指标 方向 BO/O 答案 v4 flash Kimi K3 Hy4 Preview Qwen3.8 27B GPT-5.6 Sol GLM-5.3 v4 pro GPT-5.6 Sol XH ox-alpha Qwen3.8 Flash (Bailian) Gemini 3.7 Flash
experiment_result.q4.posterior_rows[0].q2_best_profit_case1 越高越好 25.9691 / 分 1 无 artifact 26.4171 / 分 1.13432 24.4854 / 分 0.6775 27.6194 / 分 1.42499 25.1307 / 分 0.788 22.3441 / 分 0.4623 23.3696 / 分 0.5452 25.6826 / 分 0.9158 24.1494 / 分 0.6313 无 artifact 24.0993 / 分 0.625
experiment_result.q4.posterior_rows[0].q3_best_policy_profit_under_posterior 越高越好 86.8529 / 分 1 无 artifact 90.6398 / 分 1.30994 73.9907 / 分 0.4476 98.6291 / 分 1.75608 80.8201 / 分 0.6334 62.7448 / 分 0.3018 68.9831 / 分 0.3684 82.2811 / 分 0.6951 76.6675 / 分 0.5057 无 artifact 77.7896 / 分 0.5349
experiment_result.q4.posterior_rows[1].q2_best_profit_case1 越高越好 25.8694 / 分 1 无 artifact 23.7692 / 分 0.5965 20.4692 / 分 0.365 27.2215 / 分 1.36155 21.2324 / 分 0.401 17.8629 / 分 0.2794 18.5079 / 分 0.2966 20.3757 / 分 0.3611 20.3405 / 分 0.3596 无 artifact 22.3374 / 分 0.4678
experiment_result.q4.posterior_rows[1].q3_best_policy_profit_under_posterior 越高越好 86.5588 / 分 1 无 artifact 88.6841 / 分 1.18616 57.0648 / 分 0.2605 93.2924 / 分 1.49973 64.5483 / 分 0.3206 46.6109 / 分 0.2064 59 / 分 0.2737 67.9535 / 分 0.3583 64.4756 / 分 0.3199 无 artifact 73.5791 / 分 0.4445
experiment_result.q4.posterior_rows[2].q2_best_profit_case1 越高越好 25.7715 / 分 1 无 artifact 21.5173 / 分 0.4209 17.0845 / 分 0.2625 26.8051 / 分 1.28835 18.3198 / 分 0.2933 11.6857 / 分 0.18 13.8601 / 分 0.2061 17.6341 / 分 0.2754 16.8862 / 分 0.2582 无 artifact 20.4424 / 分 0.3672
experiment_result.q4.posterior_rows[2].q3_best_policy_profit_under_posterior 越高越好 86.2647 / 分 1 无 artifact 86.3756 / 分 1.01066 40.9473 / 分 0.186 90.5071 / 分 1.34346 51.7936 / 分 0.2309 5.88401 / 分 0.1141 49.8571 / 分 0.2214 58.1951 / 分 0.2694 57.7778 / 分 0.2665 无 artifact 69.0139 / 分 0.375

一句话带走：这题真正看的不是模型有没有写出漂亮过程，而是最后几个关键数值能不能落在正确方向上。

CUMCM 2024 C: 农作物种植策略

任务 slug：cumcm-2024-c-crop-planting

这题在问什么：在问题 2 的基础上加入作物之间的替代、互补和价格/成本/销量相关性，求 2024-2030 年的稳健种植策略。

BO/O 答案是什么：O 奖复现的相关性稳健方案给出 best correlated CVaR10 利润 118550698.19 元，价格和成本的 Spearman 相关系数约 0.2551。

baseline 解法大概是什么：baseline 用规划优化和资源配置模型，在随机场景下比较候选种植方案的收益和风险。

B / O / Agent 用的题型大类、数学模型和库：

角色 题型大类 中文数学模型 主要库/求解器 备注
B：v4 flash baseline 运筹优化 + 不确定性仿真 模式化种植组合优化 + Monte Carlo 场景仿真，用来评估收益和风险。 openpyxl、scipy 实际 baseline agent artifact；题目基准描述：baseline 用规划优化和资源配置模型，在随机场景下比较候选种植方案的收益和风险。
O：O 奖复现 运筹优化 + 不确定性仿真 附件清洗 + 候选种植组合 + 贪心/风险调整优化 + Monte Carlo 情景 + CVaR 风险度量 + Spearman 相关性。 matplotlib、numpy、pandas 来自 O 奖论文 C038 的可运行复现/expected_result
Agent：GPT-5.6 Sol 运筹优化 + 不确定性仿真 七年混合整数线性规划（MILP）：地块-季次-作物面积连续变量、种植选择二元变量和模式变量，目标是利润最大化。 matplotlib、numpy、openpyxl、pandas、pulp、scipy、scikit-learn 本题 O-Eval 58.88%，这里取非 baseline 中本题最高者

这题怎么换成 O-Eval / Robust：O-Eval 直接用 clamp(模型 raw / O raw, 0, 1)；这题进入 Robust 比例口径。分母是 O raw - flash raw = 1 - 0.246679 = 0.753321。Robust 辅助指标用 (模型 raw - flash raw) / 这个分母，但最终截到 ±100%，所以超大离群值不会继续放大。

本题 raw、O-Eval、B-Eval vs flash 和 Robust 辅助指标：

模型 本题 raw O-Eval 主分 B-Eval vs flash Robust BO-Eval 辅助
O 奖复现答案 1 100.00% N/A N/A
v4 flash baseline 0.246679 24.67% +0.00 pp 0.00%
Kimi K3 0.191121 19.11% -5.56 pp -7.38%
Hy4 Preview 0.264186 26.42% +1.75 pp 2.32%
Qwen3.8 27B 0.172944 17.29% -7.37 pp -9.79%
GPT-5.6 Sol 0.588775 58.88% +34.21 pp 45.41%
GLM-5.3 0.285151 28.52% +3.85 pp 5.11%
v4 pro 0.345043 34.50% +9.84 pp 13.06%
GPT-5.6 Sol XH 0.575125 57.51% +32.84 pp 43.60%
ox-alpha 0.569595 56.96% +32.29 pp 42.87%
Qwen3.8 Flash (Bailian) 0.448288 44.83% +20.16 pp 26.76%
Gemini 3.7 Flash 0.193549 19.35% -5.31 pp -7.05%

评测问题和模型答案：下面表里的“/ 分”是单指标 reward，不是整题分。a→b 表示评测器做了单位换算或百分比归一化后用 b 计分。

评测指标 方向 BO/O 答案 v4 flash Kimi K3 Hy4 Preview Qwen3.8 27B GPT-5.6 Sol GLM-5.3 v4 pro GPT-5.6 Sol XH ox-alpha Qwen3.8 Flash (Bailian) Gemini 3.7 Flash
experiment_result.q2_q3.best_correlated_cvar10_profit_yuan 越高越好 118,550,698.19 / 分 1 68,608,982.09 / 分 0.2217 65,279,284.4 / 分 0.2108 57,447,583.18 / 分 0.1889 55,792,832.9 / 分 0.1848 62,135,198.07 / 分 0.2014 32,201,769.57 / 分 0.1414 24,746,820.26 / 分 0.1317 43,547,118.88 / 分 0.1594 39,892,125.71 / 分 0.1532 38,421,280.4 / 分 0.1508 63,032,703.57 / 分 0.204
experiment_result.q2_q3.spearman_price_cost 越接近越好 0.2551 / 分 1 0.576833 / 分 0.2717 -0.3247 / 分 0.1715 0.0216601 / 分 0.3395 0.88 / 分 0.1611 0.25217 / 分 0.9762 0.414915 / 分 0.4289 0.35 / 分 0.5584 0.256212 / 分 0.9908 0.2534 / 分 0.986 0.296 / 分 0.7458 0.7904 / 分 0.1831

一句话带走：这题真正看的不是模型有没有写出漂亮过程，而是最后几个关键数值能不能落在正确方向上。

CUMCM 2025 A: 烟幕遮蔽导弹

任务 slug：cumcm-2025-a-smoke-screen

这题在问什么：5 架无人机、每架最多 3 枚烟幕弹，同时对 3 枚导弹实施遮蔽，求总体遮蔽时间尽量长的投放方案。

BO/O 答案是什么：O 奖复现的联合遮蔽时长为 M1 10.3 s、M2 6.2 s、M3 3.4 s，总计 19.9 s。

baseline 解法大概是什么：baseline 用轨迹几何和规划优化，把无人机速度、航向、投放时刻、起爆时刻一起搜索，最大化有效遮蔽时长。

B / O / Agent 用的题型大类、数学模型和库：

角色 题型大类 中文数学模型 主要库/求解器 备注
B：v4 flash baseline 解析几何/方程 + 运动学 + 运筹优化 三维运动学轨迹 + 视线-烟球相交判定 + 紧凑搜索投放参数。 openpyxl 实际 baseline agent artifact；题目基准描述：baseline 用轨迹几何和规划优化，把无人机速度、航向、投放时刻、起爆时刻一起搜索，最大化有效遮蔽时长。
O：O 奖复现 解析几何/方程 + 运动学 + 运筹优化 三维运动学 + 圆柱目标视线遮蔽判定 + 随机搜索 + 多弹贪心分配。 matplotlib、numpy、pandas 来自 O 奖论文 A196 的可运行复现/expected_result
Agent：Kimi K3 解析几何/方程 + 运动学 + 运筹优化 弹道释放 + 下沉烟球 + 采样圆柱视线并集优化，目标为有效遮蔽时间并集。 matplotlib、numpy、openpyxl、pandas、scipy 本题 O-Eval 100.00%，这里取非 baseline 中本题最高者

这题怎么换成 O-Eval / Robust：O-Eval 直接用 clamp(模型 raw / O raw, 0, 1)；这题鲁棒辅助口径失效：flash raw=1.52799，O raw=1，flash 已经达到或超过 O，分母不为正。Robust 辅助指标改用 clipped B-Eval：把 gain = 模型 raw - flash raw 截到 ±10pp 再进平均。

本题 raw、O-Eval、B-Eval vs flash 和 Robust 辅助指标：

模型 本题 raw O-Eval 主分 B-Eval vs flash Robust BO-Eval 辅助
O 奖复现答案 1 100.00% N/A N/A
v4 flash baseline 1.52799 100.00% +0.00 pp 0.00%
Kimi K3 2.89404 100.00% +136.60 pp 10.00%
Hy4 Preview 4.00403 100.00% +247.60 pp 10.00%
Qwen3.8 27B 2.59182 100.00% +106.38 pp 10.00%
GPT-5.6 Sol 3.41638 100.00% +188.84 pp 10.00%
GLM-5.3 0.854445 85.44% -67.35 pp -10.00%
v4 pro 1.53237 100.00% +0.44 pp 0.44%
GPT-5.6 Sol XH 0.939201 93.92% -58.88 pp -10.00%
ox-alpha 2.55266 100.00% +102.47 pp 10.00%
Qwen3.8 Flash (Bailian) 0 0.00% -152.80 pp -100.00%
Gemini 3.7 Flash 1.23928 100.00% -28.87 pp -10.00%

评测问题和模型答案：下面表里的“/ 分”是单指标 reward，不是整题分。a→b 表示评测器做了单位换算或百分比归一化后用 b 计分。

评测指标 方向 BO/O 答案 v4 flash Kimi K3 Hy4 Preview Qwen3.8 27B GPT-5.6 Sol GLM-5.3 v4 pro GPT-5.6 Sol XH ox-alpha Qwen3.8 Flash (Bailian) Gemini 3.7 Flash
experiment_result.q5_union_duration_s.M1 越高越好 10.3 / 分 1 13.16 / 分 2.19813 11.1 / 分 1.49911 27.543 / 分 3.70475 7.703 / 分 0.3225 17.8668 / 分 2.9632 6.6904 / 分 0.2551 5.97825 / 分 0.2224 7.6 / 分 0.314 18.295 / 分 3.01069 无 artifact 5.0659 / 分 0.191
experiment_result.q5_union_duration_s.M2 越高越好 6.2 / 分 1 7.6 / 分 2.05839 14.865 / 分 3.53738 20.9208 / 分 4.03428 12.0755 / 分 3.18573 13.1348 / 分 3.33418 3.91439 / 分 0.2456 8.51003 / 分 2.41218 3.06 / 分 0.1916 5.265 / 分 0.4431 无 artifact 6.4811 / 分 1.3205
experiment_result.q5_union_duration_s.M3 越高越好 3.4 / 分 1 1.47 / 分 0.1745 8.405 / 分 3.58529 14.4207 / 分 4.33262 11.874 / 分 4.08051 11.3905 / 分 4.02454 4.93947 / 分 2.56302 5.06029 / 分 2.62321 5.6 / 分 2.85507 10.04 / 分 3.84923 无 artifact 5.8739 / 分 2.95494
experiment_result.q5_union_duration_s.total 越高越好 19.9 / 分 1 22.23 / 分 1.68093 34.37 / 分 2.95437 62.8845 / 分 3.94445 31.6525 / 分 2.77859 42.3921 / 分 3.34361 15.5443 / 分 0.3541 19.5486 / 分 0.8717 16.26 / 分 0.3962 33.6 / 分 2.90762 无 artifact 17.4209 / 分 0.4906

一句话带走：这题真正看的不是模型有没有写出漂亮过程，而是最后几个关键数值能不能落在正确方向上。

CUMCM 2025 B: 外延层厚度反演

任务 slug：cumcm-2025-b-sic-thickness

这题在问什么：把多光束反射/透射造成的干涉也考虑进去，重新确定碳化硅外延层厚度，并分析结果可靠性。

BO/O 答案是什么：O 奖复现推荐厚度为 SiC 8.9815 um、Si 10.5145 um。

baseline 解法大概是什么：baseline 用数据拟合与回归分析，从光谱条纹周期和非线性拟合中反推出外延层厚度。

B / O / Agent 用的题型大类、数学模型和库：

角色 题型大类 中文数学模型 主要库/求解器 备注
B：v4 flash baseline 解析几何/物理反演 + 数据拟合 双光束干涉测厚 + Airy 多光束修正。 未显式记录；可能只用 Python 标准库或未在轨迹中留下安装/import 线索 实际 baseline agent artifact；题目基准描述：baseline 用数据拟合与回归分析，从光谱条纹周期和非线性拟合中反推出外延层厚度。
O：O 奖复现 解析几何/物理反演 + 数据拟合 Snell/Fresnel 光学 + Cauchy 色散模型 + FFT 初值 + 非线性最小二乘 + Airy 多光束修正。 matplotlib、numpy、pandas、scipy 来自 O 奖论文 B157 的可运行复现/expected_result
Agent：Kimi K3 解析几何/物理反演 + 数据拟合 广义 Airy 多光束反射率模型 + 光谱非线性拟合 + 外延层厚度反演。 matplotlib、numpy、openpyxl、pandas、scipy 本题 O-Eval 43.61%，这里取非 baseline 中本题最高者

这题怎么换成 O-Eval / Robust：O-Eval 直接用 clamp(模型 raw / O raw, 0, 1)；这题进入 Robust 比例口径。分母是 O raw - flash raw = 1 - 0.291621 = 0.708379。Robust 辅助指标用 (模型 raw - flash raw) / 这个分母，但最终截到 ±100%，所以超大离群值不会继续放大。

本题 raw、O-Eval、B-Eval vs flash 和 Robust 辅助指标：

模型 本题 raw O-Eval 主分 B-Eval vs flash Robust BO-Eval 辅助
O 奖复现答案 1 100.00% N/A N/A
v4 flash baseline 0.291621 29.16% +0.00 pp 0.00%
Kimi K3 0.436145 43.61% +14.45 pp 20.40%
Hy4 Preview 0.363177 36.32% +7.16 pp 10.10%
Qwen3.8 27B 0.187085 18.71% -10.45 pp -14.76%
GPT-5.6 Sol 0.242011 24.20% -4.96 pp -7.00%
GLM-5.3 0.306245 30.62% +1.46 pp 2.06%
v4 pro 0.246099 24.61% -4.55 pp -6.43%
GPT-5.6 Sol XH 0.315543 31.55% +2.39 pp 3.38%
ox-alpha 0.309492 30.95% +1.79 pp 2.52%
Qwen3.8 Flash (Bailian) 0.339399 33.94% +4.78 pp 6.74%
Gemini 3.7 Flash 0.307888 30.79% +1.63 pp 2.30%

评测问题和模型答案：下面表里的“/ 分”是单指标 reward，不是整题分。a→b 表示评测器做了单位换算或百分比归一化后用 b 计分。

评测指标 方向 BO/O 答案 v4 flash Kimi K3 Hy4 Preview Qwen3.8 27B GPT-5.6 Sol GLM-5.3 v4 pro GPT-5.6 Sol XH ox-alpha Qwen3.8 Flash (Bailian) Gemini 3.7 Flash
experiment_result.si_recommended_thickness_um 越接近越好 10.5145 / 分 1 3.38 / 分 0.1503 3.8 / 分 0.1582 3.3816 / 分 0.1503 3.4391 / 分 0.1513 3.37611 / 分 0.1502 3.41874 / 分 0.151 7.87019 / 分 0.323 3.38354 / 分 0.1503 3.42229 / 分 0.151 3.55 / 分 0.1534 3.4836 / 分 0.1522
experiment_result.sic_recommended_thickness_um 越接近越好 8.9815 / 分 1 7.57 / 分 0.433 8.55 / 分 0.7141 8.1883 / 分 0.5761 12.7405 / 分 0.2228 6.83062 / 分 0.3338 7.72399 / 分 0.4615 14.2745 / 分 0.1692 7.8174 / 分 0.4807 7.75608 / 分 0.4679 8.008 / 分 0.5254 7.7346 / 分 0.4636

一句话带走：这题真正看的不是模型有没有写出漂亮过程，而是最后几个关键数值能不能落在正确方向上。

CUMCM 2025 C: 女胎 NIPT 异常判定

任务 slug：cumcm-2025-c-nipt

这题在问什么：对女胎样本，用染色体 Z 值、GC 含量、读段数、BMI 等指标判断胎儿是否异常。

BO/O 答案是什么：O 奖复现的女胎异常判定模型 leave-one-out accuracy 为 0.8659，F1 为 0.3721。

baseline 解法大概是什么：baseline 用综合评价和权重决策，把多项检测指标合成风险分数，再给出异常判定。

B / O / Agent 用的题型大类、数学模型和库：

角色 题型大类 中文数学模型 主要库/求解器 备注
B：v4 flash baseline 数据建模/统计推断 + 综合评价/决策 男胎 Y 浓度 logit 线性模型 + 女胎 Z 值阈值判别 + BMI 分组时点决策。 matplotlib、numpy、openpyxl、pandas、scipy、scikit-learn、statsmodels 实际 baseline agent artifact；题目基准描述：baseline 用综合评价和权重决策，把多项检测指标合成风险分数，再给出异常判定。
O：O 奖复现 数据建模/统计推断 + 综合评价/决策 胎儿浓度 logit 混合效应近似 + BMI 时点优化 + 女胎异常分类器。 matplotlib、numpy、pandas、scipy、scikit-learn 来自 O 奖论文 C023 的可运行复现/expected_result
Agent：Kimi K3 数据建模/统计推断 + 综合评价/决策 REML 随机截距线性混合模型拟合 logit(Y 浓度) + BMI 分组风险时点预测 + 留一验证。 matplotlib、numpy、openpyxl、pandas、scipy、scikit-learn、statsmodels 本题 O-Eval 100.00%，这里取非 baseline 中本题最高者

这题怎么换成 O-Eval / Robust：O-Eval 直接用 clamp(模型 raw / O raw, 0, 1)；这题鲁棒辅助口径失效：flash raw=1.50636，O raw=1，flash 已经达到或超过 O，分母不为正。Robust 辅助指标改用 clipped B-Eval：把 gain = 模型 raw - flash raw 截到 ±10pp 再进平均。

本题 raw、O-Eval、B-Eval vs flash 和 Robust 辅助指标：

模型 本题 raw O-Eval 主分 B-Eval vs flash Robust BO-Eval 辅助
O 奖复现答案 1 100.00% N/A N/A
v4 flash baseline 1.50636 100.00% +0.00 pp 0.00%
Kimi K3 1.2898 100.00% -21.66 pp -10.00%
Hy4 Preview 1.18464 100.00% -32.17 pp -10.00%
Qwen3.8 27B 1.52152 100.00% +1.52 pp 1.52%
GPT-5.6 Sol 1.45242 100.00% -5.39 pp -5.39%
GLM-5.3 1.07118 100.00% -43.52 pp -10.00%
v4 pro 1.36091 100.00% -14.55 pp -10.00%
GPT-5.6 Sol XH 0.62605 62.60% -88.03 pp -10.00%
ox-alpha 1.07306 100.00% -43.33 pp -10.00%
Qwen3.8 Flash (Bailian) 1.28768 100.00% -21.87 pp -10.00%
Gemini 3.7 Flash 1.23407 100.00% -27.23 pp -10.00%

评测问题和模型答案：下面表里的“/ 分”是单指标 reward，不是整题分。a→b 表示评测器做了单位换算或百分比归一化后用 b 计分。

评测指标 方向 BO/O 答案 v4 flash Kimi K3 Hy4 Preview Qwen3.8 27B GPT-5.6 Sol GLM-5.3 v4 pro GPT-5.6 Sol XH ox-alpha Qwen3.8 Flash (Bailian) Gemini 3.7 Flash
experiment_result.female_loo_accuracy 越高越好 0.8659 / 分 1 0.9007 / 分 1.25464 0.895868 / 分 1.22293 0.861157 / 分 0.962 0.910744 / 分 1.31751 0.894215 / 分 1.21185 0.798347 / 分 0.6398 0.912397 / 分 1.32748 0.733884 / 分 0.4762 0.876033 / 分 1.08107 0.9056 / 分 1.28581 0.8909 / 分 1.18924
female_abnormality.leave_one_out_f1 越高越好 0.3721 / 分 1 0.5082 / 分 1.75808 0.423529 / 分 1.35668 0.432432 / 分 1.40731 0.5 / 分 1.72553 0.492063 / 分 1.693 0.45045 / 分 1.50254 0.430108 / 分 1.39433 0.337449 / 分 0.7759 0.380165 / 分 1.06505 0.4124 / 分 1.28956 0.4107 / 分 1.27889

一句话带走：这题真正看的不是模型有没有写出漂亮过程，而是最后几个关键数值能不能落在正确方向上。

MCM 2023 A: 植物群落抗旱韧性

任务 slug：mcm-2023-a-plant-community

这题在问什么：综合物种数、干旱、污染和栖息地压力，说明怎样保证植物群落长期可生存。

BO/O 答案是什么：O 奖复现的核心量化结论包括最优/阈值物种数 2，beta 压力下生物量下降 32.0%，五物种均匀度 0.8826。

baseline 解法大概是什么：baseline 把物种数阈值、功能性状、干旱敏感性和污染/栖息地压力合成为管理前沿。

B / O / Agent 用的题型大类、数学模型和库：

角色 题型大类 中文数学模型 主要库/求解器 备注
B：v4 flash baseline 微分方程/动力系统 + 生态仿真 Lotka-Volterra 竞争动力系统 + 物种功能性状/干旱敏感性参数化。 numpy 实际 baseline agent artifact；题目基准描述：baseline 把物种数阈值、功能性状、干旱敏感性和污染/栖息地压力合成为管理前沿。
O：O 奖复现 微分方程/动力系统 + 生态仿真 Lotka-Volterra 启发的差分生态仿真 + 干旱脉冲 + 多样性稳定性校准。 matplotlib、numpy、pandas 来自 O 奖论文 2309229 的可运行复现/expected_result
Agent：Hy4 Preview 微分方程/动力系统 + 生态仿真 离散年度群落动力学：物种生物量、干旱记忆和性状参数共同递推。 matplotlib、numpy、pandas、scipy 本题 O-Eval 100.00%，这里取非 baseline 中本题最高者

这题怎么换成 O-Eval / Robust：O-Eval 直接用 clamp(模型 raw / O raw, 0, 1)；这题鲁棒辅助口径失效：flash raw=1.63203，O raw=1，flash 已经达到或超过 O，分母不为正。Robust 辅助指标改用 clipped B-Eval：把 gain = 模型 raw - flash raw 截到 ±10pp 再进平均。

本题 raw、O-Eval、B-Eval vs flash 和 Robust 辅助指标：

模型 本题 raw O-Eval 主分 B-Eval vs flash Robust BO-Eval 辅助
O 奖复现答案 1 100.00% N/A N/A
v4 flash baseline 1.63203 100.00% +0.00 pp 0.00%
Kimi K3 0.469546 46.95% -116.25 pp -10.00%
Hy4 Preview 1.29643 100.00% -33.56 pp -10.00%
Qwen3.8 27B 1.07044 100.00% -56.16 pp -10.00%
GPT-5.6 Sol 1.36442 100.00% -26.76 pp -10.00%
GLM-5.3 1.53878 100.00% -9.32 pp -9.32%
v4 pro 1.17942 100.00% -45.26 pp -10.00%
GPT-5.6 Sol XH 1.36441 100.00% -26.76 pp -10.00%
ox-alpha 1.16341 100.00% -46.86 pp -10.00%
Qwen3.8 Flash (Bailian) 0.373162 37.32% -125.89 pp -10.00%
Gemini 3.7 Flash 0.545375 54.54% -108.67 pp -10.00%

评测问题和模型答案：下面表里的“/ 分”是单指标 reward，不是整题分。a→b 表示评测器做了单位换算或百分比归一化后用 b 计分。

评测指标 方向 BO/O 答案 v4 flash Kimi K3 Hy4 Preview Qwen3.8 27B GPT-5.6 Sol GLM-5.3 v4 pro GPT-5.6 Sol XH ox-alpha Qwen3.8 Flash (Bailian) Gemini 3.7 Flash
target_comparison.beta_decline_pct.actual 越低越好 32 / 分 1 2.0207 / 分 3.17556 51.07 / 分 0.1676 15.5953 / 分 2.66242 14.5724 / 分 2.71171 20.4702 / 分 2.38693 1.87062 / 分 3.17999 12.453 / 分 2.80671 20.3261 / 分 2.39626 15.2259 / 分 2.6805 37.7449 / 分 0.4006 35.63 / 分 0.5141
target_comparison.five_species_pielou_evenness.actual 越高越好 0.8826 / 分 1 0.999955 / 分 1.68207 0.90847 / 分 1.19522 0.902412 / 分 1.15281 0.7206 / 分 0.4255 0.9949 / 分 1.66054 0.941244 / 分 1.3979 0.810421 / 分 0.6244 0.986318 / 分 1.62289 0.8318 / 分 0.7026 0.8214 / 分 0.6623 0.8885 / 分 1.048
target_comparison.optimal_species_count.actual 越接近越好 2 / 分 1 8 / 分 0.03846 7 / 分 0.0458 5 / 分 0.07407 5 / 分 0.07407 7 / 分 0.0458 8 / 分 0.03846 4 / 分 0.1071 5 / 分 0.07407 4 / 分 0.1071 6 / 分 0.0566 5 / 分 0.07407

一句话带走：这题真正看的不是模型有没有写出漂亮过程，而是最后几个关键数值能不能落在正确方向上。

MCM 2023 B: 马赛马拉保护区

任务 slug：mcm-2023-b-maasai-mara

这题在问什么：把土地分区和政策方案整理成给当地管理者的非技术报告，说明推荐方案的收益和用地分配。

BO/O 答案是什么：O 奖复现的方案 2 收益指标值约 154948.974，农业/狩猎/旅游/保护区格点数分别为 12、2、9、13。

baseline 解法大概是什么：baseline 用空间土地利用优化，把农业、狩猎、旅游和野生动物保护的格点分配成收益最大化问题。

B / O / Agent 用的题型大类、数学模型和库：

角色 题型大类 中文数学模型 主要库/求解器 备注
B：v4 flash baseline 空间规划/图论网络 + 运筹优化 + 动力系统 元胞/格点空间分配的多目标规划 + Lotka-Volterra 生态动态 + 多准则决策。 未显式记录；可能只用 Python 标准库或未在轨迹中留下安装/import 线索 实际 baseline agent artifact；题目基准描述：baseline 用空间土地利用优化，把农业、狩猎、旅游和野生动物保护的格点分配成收益最大化问题。
O：O 奖复现 空间规划/图论网络 + 运筹优化 + 动力系统 6x6 空间规划评分 + Dijkstra 交互距离 + 经济/生态场景效益校准。 matplotlib、numpy、pandas 来自 O 奖论文 2315379 的可运行复现/expected_result
Agent：ox-alpha 空间规划/图论网络 + 运筹优化 + 动力系统 100 格点多目标功能分区 + 离散 logistic 野生动物、旅游和经济动态。 未显式记录；可能只用 Python 标准库或未在轨迹中留下安装/import 线索 本题 O-Eval 8.86%，这里取非 baseline 中本题最高者

这题怎么换成 O-Eval / Robust：O-Eval 直接用 clamp(模型 raw / O raw, 0, 1)；这题进入 Robust 比例口径。分母是 O raw - flash raw = 1 - 0.102093 = 0.897907。Robust 辅助指标用 (模型 raw - flash raw) / 这个分母，但最终截到 ±100%，所以超大离群值不会继续放大。

本题 raw、O-Eval、B-Eval vs flash 和 Robust 辅助指标：

模型 本题 raw O-Eval 主分 B-Eval vs flash Robust BO-Eval 辅助
O 奖复现答案 1 100.00% N/A N/A
v4 flash baseline 0.102093 10.21% +0.00 pp 0.00%
Kimi K3 0.028745 2.87% -7.33 pp -8.17%
Hy4 Preview 0.0225035 2.25% -7.96 pp -8.86%
Qwen3.8 27B 0.0240411 2.40% -7.81 pp -8.69%
GPT-5.6 Sol 0.0323553 3.24% -6.97 pp -7.77%
GLM-5.3 0.0681417 6.81% -3.40 pp -3.78%
v4 pro 0.0343714 3.44% -6.77 pp -7.54%
GPT-5.6 Sol XH 0.0737116 7.37% -2.84 pp -3.16%
ox-alpha 0.0885694 8.86% -1.35 pp -1.51%
Qwen3.8 Flash (Bailian) 0.023241 2.32% -7.89 pp -8.78%
Gemini 3.7 Flash 0.0633515 6.34% -3.87 pp -4.31%

评测问题和模型答案：下面表里的“/ 分”是单指标 reward，不是整题分。a→b 表示评测器做了单位换算或百分比归一化后用 b 计分。

评测指标 方向 BO/O 答案 v4 flash Kimi K3 Hy4 Preview Qwen3.8 27B GPT-5.6 Sol GLM-5.3 v4 pro GPT-5.6 Sol XH ox-alpha Qwen3.8 Flash (Bailian) Gemini 3.7 Flash
target_comparison.scenario2_agriculture_cells.actual 越接近越好 12 / 分 1 42 / 分 0.0458 630 / 分 0.002325<br>需复核: review_extreme_actual_oracle_ratio 700 / 分 0.002089<br>需复核: review_extreme_actual_oracle_ratio 872 / 分 0.001672<br>需复核: review_extreme_actual_oracle_ratio 100 / 分 0.0161 34 / 分 0.06143 60 / 分 0.02913 30 / 分 0.07407 19 / 分 0.1706 250 / 分 0.006014 0 / 分 0.1071
target_comparison.scenario2_benefit_million.actual 越高越好 154,948.974 / 分 1 25.3 / 分 0.1072<br>需复核: review_extreme_actual_oracle_ratio 47.699 / 分 0.1072<br>需复核: review_extreme_actual_oracle_ratio 249.491 / 分 0.1073<br>需复核: review_extreme_actual_oracle_ratio 6,796.8 / 分 0.1115 16.8217 / 分 0.1072<br>需复核: review_extreme_actual_oracle_ratio 31.3485 / 分 0.1072<br>需复核: review_extreme_actual_oracle_ratio 22.16 / 分 0.1072<br>需复核: review_extreme_actual_oracle_ratio 40.69 / 分 0.1072<br>需复核: review_extreme_actual_oracle_ratio 44.1259 / 分 0.1072<br>需复核: review_extreme_actual_oracle_ratio 408.45 / 分 0.1074<br>需复核: review_extreme_actual_oracle_ratio 82.4 / 分 0.1072<br>需复核: review_extreme_actual_oracle_ratio
target_comparison.scenario2_hunting_cells.actual 越接近越好 2 / 分 1 3 / 分 0.1935 58 / 分 0.004267 518 / 分 0.0004649<br>需复核: review_extreme_actual_oracle_ratio 100 / 分 0.002443 60 / 分 0.004121 10 / 分 0.02913 16 / 分 0.01685 10 / 分 0.02913 10 / 分 0.02913 1,204 / 分 0.0001996<br>需复核: review_extreme_actual_oracle_ratio 16 / 分 0.01685
target_comparison.scenario2_tourism_cells.actual 越接近越好 9 / 分 1 30 / 分 0.04891 67 / 分 0.01828 1,000 / 分 0.001089<br>需复核: review_extreme_actual_oracle_ratio 1,080 / 分 0.001007<br>需复核: review_extreme_actual_oracle_ratio 50 / 分 0.02567 25 / 分 0.06323 104 / 分 0.01124 18 / 分 0.1071 19 / 分 0.09747 736 / 分 0.001483<br>需复核: review_extreme_actual_oracle_ratio 30 / 分 0.04891
target_comparison.scenario2_wildlife_cells.actual 越接近越好 13 / 分 1 25 / 分 0.115 145 / 分 0.01168 1,000 / 分 0.001578<br>需复核: review_extreme_actual_oracle_ratio 448 / 分 0.003573 190 / 分 0.008737 31 / 分 0.07975 220 / 分 0.00748 42 / 分 0.05105 52 / 分 0.03846 1,414 / 分 0.001112<br>需复核: review_extreme_actual_oracle_ratio 54 / 分 0.03665

一句话带走：这题真正看的不是模型有没有写出漂亮过程，而是最后几个关键数值能不能落在正确方向上。

MCM 2023 C: Wordle 难度评估

任务 slug：mcm-2023-c-wordle

这题在问什么：在给纽约时报编辑的总结信之前，最后一个可量化核心是判断 EERIE 的难度，并给出难度分类模型准确率。

BO/O 答案是什么：O 奖复现把 EERIE 判为中等难度组 2，难度分类模型 holdout accuracy 为 0.7。

baseline 解法大概是什么：baseline 用报告量时间序列、单词属性特征和分类模型来预测 Wordle 分布及难度等级。

B / O / Agent 用的题型大类、数学模型和库：

角色 题型大类 中文数学模型 主要库/求解器 备注
B：v4 flash baseline 数据建模/时间序列 + 分类/聚类 带星期效应的对数线性时间序列预测 + 词特征 KNN 难度估计。 numpy、openpyxl、pandas、scipy、scikit-learn 实际 baseline agent artifact；题目基准描述：baseline 用报告量时间序列、单词属性特征和分类模型来预测 Wordle 分布及难度等级。
O：O 奖复现 数据建模/时间序列 + 分类/聚类 移动平均差分预测 + 单词词汇特征 + K-means 难度聚类 + 树模型分类。 matplotlib、numpy、pandas、scikit-learn 来自 O 奖论文 2307946 的可运行复现/expected_result
Agent：Hy4 Preview 数据建模/时间序列 + 分类/聚类 峰后对数幂律衰减预测 + 星期效应 + 滚动校准 + 词特征难度分类。 matplotlib、numpy、openpyxl、pandas、scikit-learn、statsmodels 本题 O-Eval 98.31%，这里取非 baseline 中本题最高者

这题怎么换成 O-Eval / Robust：O-Eval 直接用 clamp(模型 raw / O raw, 0, 1)；这题进入 Robust 比例口径。分母是 O raw - flash raw = 1 - 0.224201 = 0.775799。Robust 辅助指标用 (模型 raw - flash raw) / 这个分母，但最终截到 ±100%，所以超大离群值不会继续放大。

本题 raw、O-Eval、B-Eval vs flash 和 Robust 辅助指标：

模型 本题 raw O-Eval 主分 B-Eval vs flash Robust BO-Eval 辅助
O 奖复现答案 1 100.00% N/A N/A
v4 flash baseline 0.224201 22.42% +0.00 pp 0.00%
Kimi K3 0.246521 24.65% +2.23 pp 2.88%
Hy4 Preview 0.98308 98.31% +75.89 pp 97.82%
Qwen3.8 27B 0.58 58.00% +35.58 pp 45.86%
GPT-5.6 Sol 0.723478 72.35% +49.93 pp 64.36%
GLM-5.3 0.529999 53.00% +30.58 pp 39.42%
v4 pro 0.0979775 9.80% -12.62 pp -16.27%
GPT-5.6 Sol XH 0.259776 25.98% +3.56 pp 4.59%
ox-alpha 0.56584 56.58% +34.16 pp 44.04%
Qwen3.8 Flash (Bailian) 0.0654407 6.54% -15.88 pp -20.46%
Gemini 3.7 Flash 0 0.00% -22.42 pp -100.00%

评测问题和模型答案：下面表里的“/ 分”是单指标 reward，不是整题分。a→b 表示评测器做了单位换算或百分比归一化后用 b 计分。

评测指标 方向 BO/O 答案 v4 flash Kimi K3 Hy4 Preview Qwen3.8 27B GPT-5.6 Sol GLM-5.3 v4 pro GPT-5.6 Sol XH ox-alpha Qwen3.8 Flash (Bailian) Gemini 3.7 Flash
target_comparison.lightgbm_like_accuracy.actual 越高越好 0.7 / 分 1 0.4845 / 分 0.2242 0.4907 / 分 0.2465 0.6953 / 分 0.9831 0.583333 / 分 0.58 0.623188 / 分 0.7235 0.569444 / 分 0.53 0.449438 / 分 0.09798 0.494382 / 分 0.2598 0.5794 / 分 0.5658 0.4404 / 分 0.06544 无 artifact

一句话带走：这题真正看的不是模型有没有写出漂亮过程，而是最后几个关键数值能不能落在正确方向上。

MCM 2024 A: 七鳃鳗生态影响

任务 slug：mcm-2024-a-lamprey

这题在问什么：判断七鳃鳗可变性别比例是否也会让生态系统中的其他生物受益，尤其是寄生者/宿主相关指标。

BO/O 答案是什么：O 奖复现的共存情景资源水平为 0.55，寄生者指数 8.562，宿主鱼指数 1080.356。

baseline 解法大概是什么：baseline 用生态动力系统仿真，把资源水平、性别比例、七鳃鳗、宿主鱼和寄生者一起演化。

B / O / Agent 用的题型大类、数学模型和库：

角色 题型大类 中文数学模型 主要库/求解器 备注
B：v4 flash baseline 微分方程/动力系统 + 生态仿真 分阶段确定性常微分方程（ODE）种群模型 + Euler 数值积分。 matplotlib 实际 baseline agent artifact；题目基准描述：baseline 用生态动力系统仿真，把资源水平、性别比例、七鳃鳗、宿主鱼和寄生者一起演化。
O：O 奖复现 微分方程/动力系统 + 生态仿真 资源驱动性别比 + 分阶段种群动力学 + Lotka-Volterra/Nicholson-Bailey 生态模型 + 稳定性指标。 matplotlib、numpy、pandas 来自 O 奖论文 2407093 的可运行复现/expected_result
Agent：Kimi K3 微分方程/动力系统 + 生态仿真 四仓室食物网常微分方程（ODE）+ 四阶 Runge-Kutta（RK4）数值积分。 matplotlib、numpy、pandas、scipy 本题 O-Eval 24.67%，这里取非 baseline 中本题最高者

这题怎么换成 O-Eval / Robust：O-Eval 直接用 clamp(模型 raw / O raw, 0, 1)；这题进入 Robust 比例口径。分母是 O raw - flash raw = 1 - 0.0701754 = 0.929825。Robust 辅助指标用 (模型 raw - flash raw) / 这个分母，但最终截到 ±100%，所以超大离群值不会继续放大。

本题 raw、O-Eval、B-Eval vs flash 和 Robust 辅助指标：

模型 本题 raw O-Eval 主分 B-Eval vs flash Robust BO-Eval 辅助
O 奖复现答案 1 100.00% N/A N/A
v4 flash baseline 0.0701754 7.02% +0.00 pp 0.00%
Kimi K3 0.246711 24.67% +17.65 pp 18.99%
Hy4 Preview 0.0155642 1.56% -5.46 pp -5.87%
Qwen3.8 27B 0.0701754 7.02% +0.00 pp 0.00%
GPT-5.6 Sol 0.0701754 7.02% +0.00 pp 0.00%
GLM-5.3 0.125 12.50% +5.48 pp 5.90%
v4 pro 0.235294 23.53% +16.51 pp 17.76%
GPT-5.6 Sol XH 0.0701754 7.02% +0.00 pp 0.00%
ox-alpha 0.0895894 8.96% +1.94 pp 2.09%
Qwen3.8 Flash (Bailian) 0.108108 10.81% +3.79 pp 4.08%
Gemini 3.7 Flash 0.228957 22.90% +15.88 pp 17.08%

评测问题和模型答案：下面表里的“/ 分”是单指标 reward，不是整题分。a→b 表示评测器做了单位换算或百分比归一化后用 b 计分。

评测指标 方向 BO/O 答案 v4 flash Kimi K3 Hy4 Preview Qwen3.8 27B GPT-5.6 Sol GLM-5.3 v4 pro GPT-5.6 Sol XH ox-alpha Qwen3.8 Flash (Bailian) Gemini 3.7 Flash
experiment_result.parasite_coexistence_case.final_parasite_index 越接近越好 8.562 / 分 1 0.436551 / 分 0<br>无效: invalid_normalized_value_for_raw_population_index 6.1147 / 分 0.2957 0.05606 / 分 0<br>无效: invalid_normalized_value_for_raw_population_index 0.523833 / 分 0<br>无效: invalid_normalized_value_for_raw_population_index 0.384952 / 分 0<br>无效: invalid_normalized_value_for_raw_population_index 0.480867 / 分 0<br>无效: invalid_normalized_value_for_raw_population_index 1 / 分 0<br>无效: invalid_normalized_value_for_raw_population_index 0.593156 / 分 0<br>无效: invalid_normalized_value_for_raw_population_index 69.7873 / 分 0.0165 0.7266 / 分 0<br>无效: invalid_normalized_value_for_raw_population_index 5.3513 / 分 0.2424
experiment_result.parasite_coexistence_case.host_fish_index 越高越好 1,080.356 / 分 1 0.256981 / 分 0<br>无效: invalid_normalized_value_for_raw_population_index 0.395114 / 分 0<br>无效: invalid_normalized_value_for_raw_population_index 1 / 分 0<br>无效: invalid_normalized_value_for_raw_population_index 0.843327 / 分 0<br>无效: invalid_normalized_value_for_raw_population_index 0.185551 / 分 0<br>无效: invalid_normalized_value_for_raw_population_index 0.845848 / 分 0<br>无效: invalid_normalized_value_for_raw_population_index 0.501714 / 分 0<br>无效: invalid_normalized_value_for_raw_population_index 0.774634 / 分 0<br>无效: invalid_normalized_value_for_raw_population_index 367.6338 / 分 0.1539 0.8596 / 分 0<br>无效: invalid_normalized_value_for_raw_population_index 8.6612 / 分 0<br>无效: invalid_normalized_value_for_raw_population_index
experiment_result.parasite_coexistence_case.resource_level 越接近越好 0.55 / 分 1 1 / 分 0.2105 0.4 / 分 0.4444 3 / 分 0.04669 1 / 分 0.2105 1 / 分 0.2105 0.75 / 分 0.375 0.6 / 分 0.7059 1 / 分 0.2105 1.65 / 分 0.09836 0.3 / 分 0.3243 0.4 / 分 0.4444

一句话带走：这题真正看的不是模型有没有写出漂亮过程，而是最后几个关键数值能不能落在正确方向上。

MCM 2024 B: 潜水器搜索迁移

任务 slug：mcm-2024-b-submersible-search

这题在问什么：把潜水器搜索模型迁移到加勒比海场景，并说明洋流、海底地形和多潜水器协同时需要怎样调整。

BO/O 答案是什么：O 奖复现给出的加勒比海调整为洋流不确定性乘数 1.35、地形不确定性乘数 1.2。

baseline 解法大概是什么：baseline 用贝叶斯搜索规划，先估计位置后验，再按海流和地形不确定性调整搜索区域。

B / O / Agent 用的题型大类、数学模型和库：

角色 题型大类 中文数学模型 主要库/求解器 备注
B：v4 flash baseline 随机仿真/贝叶斯搜索 + 综合评价/路径规划 SIR 粒子滤波 + 平流扩散漂移模型 + 多准则装备评价 + 贝叶斯搜索更新。 numpy 实际 baseline agent artifact；题目基准描述：baseline 用贝叶斯搜索规划，先估计位置后验，再按海流和地形不确定性调整搜索区域。
O：O 奖复现 随机仿真/贝叶斯搜索 + 综合评价/路径规划 RK4 动力漂移 + Monte Carlo 粒子群 + 熵权装备评分 + Bayesian 搜索更新 + 类蚁群路径排序。 matplotlib、numpy、pandas 来自 O 奖论文 2419984 的可运行复现/expected_result
Agent：Qwen3.8 27B 随机仿真/贝叶斯搜索 + 综合评价/路径规划 5 万粒子 Monte Carlo 位置后验 + 海流漂移/扩散不确定性 + 搜索区域规划。 numpy 本题 O-Eval 75.32%，这里取非 baseline 中本题最高者

这题怎么换成 O-Eval / Robust：O-Eval 直接用 clamp(模型 raw / O raw, 0, 1)；这题进入 Robust 比例口径。分母是 O raw - flash raw = 1 - 0.371417 = 0.628583。Robust 辅助指标用 (模型 raw - flash raw) / 这个分母，但最终截到 ±100%，所以超大离群值不会继续放大。

本题 raw、O-Eval、B-Eval vs flash 和 Robust 辅助指标：

模型 本题 raw O-Eval 主分 B-Eval vs flash Robust BO-Eval 辅助
O 奖复现答案 1 100.00% N/A N/A
v4 flash baseline 0.371417 37.14% +0.00 pp 0.00%
Kimi K3 0.470888 47.09% +9.95 pp 15.82%
Hy4 Preview 0.300348 30.03% -7.11 pp -11.31%
Qwen3.8 27B 0.753209 75.32% +38.18 pp 60.74%
GPT-5.6 Sol 0.389026 38.90% +1.76 pp 2.80%
GLM-5.3 0.709302 70.93% +33.79 pp 53.75%
v4 pro 0.296505 29.65% -7.49 pp -11.92%
GPT-5.6 Sol XH 0.662162 66.22% +29.07 pp 46.25%
ox-alpha 0.632353 63.24% +26.09 pp 41.51%
Qwen3.8 Flash (Bailian) 0.272873 27.29% -9.85 pp -15.68%
Gemini 3.7 Flash 0.187946 18.79% -18.35 pp -29.19%

评测问题和模型答案：下面表里的“/ 分”是单指标 reward，不是整题分。a→b 表示评测器做了单位换算或百分比归一化后用 b 计分。

评测指标 方向 BO/O 答案 v4 flash Kimi K3 Hy4 Preview Qwen3.8 27B GPT-5.6 Sol GLM-5.3 v4 pro GPT-5.6 Sol XH ox-alpha Qwen3.8 Flash (Bailian) Gemini 3.7 Flash
experiment_result.caribbean_adaptation.current_multiplier 越接近越好 1.35 / 分 1 1.5 / 分 0.5192 2 / 分 0.1995 1.6 / 分 0.3932 1.4 / 分 0.7642 1.75 / 分 0.2883 1.35 / 分 1 1.9 / 分 0.2275 1.35 / 分 1 1.35 / 分 1 1.6 / 分 0.3932 2.15 / 分 0.1684
experiment_result.caribbean_adaptation.terrain_uncertainty_multiplier 越接近越好 1.2 / 分 1 1.7 / 分 0.2236 1.25 / 分 0.7423 1.75 / 分 0.2075 1.25 / 分 0.7423 1.35 / 分 0.4898 1.4 / 分 0.4186 1.45 / 分 0.3655 1.5 / 分 0.3243 1.6 / 分 0.2647 2 / 分 0.1525 1.75 / 分 0.2075

一句话带走：这题真正看的不是模型有没有写出漂亮过程，而是最后几个关键数值能不能落在正确方向上。

MCM 2024 C: 网球势头预警

任务 slug：mcm-2024-c-tennis-momentum

这题在问什么：把势头模型转成教练能用的赛中提示：什么时候可能发生势头转换，应重点监控哪些指标。

BO/O 答案是什么：O 奖复现的最终比赛预警率为 0.006；前三个势头预警特征相关系数约为 0.0302、-0.0223、0.0154。

baseline 解法大概是什么：baseline 用势头时间序列、随机性检验和贝叶斯/分类预警模型，把比赛数据转成教练提示。

B / O / Agent 用的题型大类、数学模型和库：

角色 题型大类 中文数学模型 主要库/求解器 备注
B：v4 flash baseline 数据建模/时间序列 + 统计检验/分类预警 发球校正 EWMA 势头指标 + 游程/Ljung-Box 随机性检验 + Markov 链 + 预警分类。 未显式记录；可能只用 Python 标准库或未在轨迹中留下安装/import 线索 实际 baseline agent artifact；题目基准描述：baseline 用势头时间序列、随机性检验和贝叶斯/分类预警模型，把比赛数据转成教练提示。
O：O 奖复现 数据建模/时间序列 + 统计检验/分类预警 发球校正残差 + 双时间 EWMA 势头指标 + Ljung-Box/游程检验 + Bayesian 转移预警。 matplotlib、numpy、pandas、scipy 来自 O 奖论文 2401298 的可运行复现/expected_result
Agent：Hy4 Preview 数据建模/时间序列 + 统计检验/分类预警 发球和破发点基准胜率 + EWMA 残差势头 + Ljung-Box/游程检验 + 转折预警。 matplotlib、numpy、pandas、scipy、statsmodels 本题 O-Eval 77.90%，这里取非 baseline 中本题最高者

这题怎么换成 O-Eval / Robust：O-Eval 直接用 clamp(模型 raw / O raw, 0, 1)；这题进入 Robust 比例口径。分母是 O raw - flash raw = 1 - 0.306291 = 0.693709。Robust 辅助指标用 (模型 raw - flash raw) / 这个分母，但最终截到 ±100%，所以超大离群值不会继续放大。

本题 raw、O-Eval、B-Eval vs flash 和 Robust 辅助指标：

模型 本题 raw O-Eval 主分 B-Eval vs flash Robust BO-Eval 辅助
O 奖复现答案 1 100.00% N/A N/A
v4 flash baseline 0.306291 30.63% +0.00 pp 0.00%
Kimi K3 0.377542 37.75% +7.13 pp 10.27%
Hy4 Preview 0.778964 77.90% +47.27 pp 68.14%
Qwen3.8 27B 0.523386 52.34% +21.71 pp 31.29%
GPT-5.6 Sol 0.403266 40.33% +9.70 pp 13.98%
GLM-5.3 0.361433 36.14% +5.51 pp 7.95%
v4 pro 0.564619 56.46% +25.83 pp 37.24%
GPT-5.6 Sol XH 0.713777 71.38% +40.75 pp 58.74%
ox-alpha 0.773319 77.33% +46.70 pp 67.32%
Qwen3.8 Flash (Bailian) 0.464638 46.46% +15.83 pp 22.83%
Gemini 3.7 Flash 0 0.00% -30.63 pp -100.00%

评测问题和模型答案：下面表里的“/ 分”是单指标 reward，不是整题分。a→b 表示评测器做了单位换算或百分比归一化后用 b 计分。

评测指标 方向 BO/O 答案 v4 flash Kimi K3 Hy4 Preview Qwen3.8 27B GPT-5.6 Sol GLM-5.3 v4 pro GPT-5.6 Sol XH ox-alpha Qwen3.8 Flash (Bailian) Gemini 3.7 Flash
experiment_result.dual_temporal_bayes.final_match_warning_rate 越接近越好 0.006 / 分 1 0.333333 / 分 0.2683 0.4844 / 分 0.2005 0.0988 / 分 0.5639 0.212766 / 分 0.3672 0.5 / 分 0.1954 0.303797 / 分 0.2872 0.253049 / 分 0.3269 0.166667 / 分 0.4276 0.011976 / 分 0.9526 0.06587 / 分 0.6671 无 artifact
experiment_result.top_swing_features[0].warning_correlation 越接近越好 0.0302 / 分 1 -0.412335 / 分 0.2133 0.1819 / 分 0.4417 0.0415 / 分 0.9139 0.289185 / 分 0.3166 0.25068 / 分 0.3524 -0.226975 / 分 0.3182 -0.0651453 / 分 0.5572 -0.0256758 / 分 0.6823 0.0882577 / 分 0.6739 -0.1901 / 分 0.3526 无 artifact
experiment_result.top_swing_features[1].warning_correlation 越接近越好 -0.0223 / 分 1 -0.242174 / 分 0.3531 0.1637 / 分 0.3922 -0.0351 / 分 0.9036 -0.0676086 / 分 0.7259 0.185976 / 分 0.3655 -0.21091 / 分 0.3888 -0.0605063 / 分 0.7585 -0.0235936 / 分 0.9893 0.0751836 / 分 0.5518 0.1483 / 分 0.4129 无 artifact
experiment_result.top_swing_features[2].warning_correlation 越接近越好 0.0154 / 分 1 -0.171886 / 分 0.3905 0.1476 / 分 0.4758 -0.028 / 分 0.7344 -0.040101 / 分 0.6838 0.066918 / 分 0.6996 -0.130371 / 分 0.4515 -0.0594703 / 分 0.6158 -0.023347 / 分 0.7559 0.0265459 / 分 0.915 -0.1464 / 分 0.4258 无 artifact

一句话带走：这题真正看的不是模型有没有写出漂亮过程，而是最后几个关键数值能不能落在正确方向上。

MCM 2025 A: 楼梯磨损反推人流

任务 slug：mcm-2025-a-stair-wear

这题在问什么：根据楼梯磨损反推典型一天大约多少人使用，以及这些人是短时间集中经过还是长时间稀疏经过。

BO/O 答案是什么：O 奖复现估计日均使用人数 73.52，短时峰值约 27.6 人，若分散到 10 小时则每小时约 4.6 人。

baseline 解法大概是什么：baseline 用物理磨损反演，把磨损深度、材料假设和年龄区间换算成通行次数与典型日使用模式。

B / O / Agent 用的题型大类、数学模型和库：

角色 题型大类 中文数学模型 主要库/求解器 备注
B：v4 flash baseline 解析几何/物理反演 + 数据估计 磨损体积反演交通量模型。 未显式记录；可能只用 Python 标准库或未在轨迹中留下安装/import 线索 实际 baseline agent artifact；题目基准描述：baseline 用物理磨损反演，把磨损深度、材料假设和年龄区间换算成通行次数与典型日使用模式。
O：O 奖复现 解析几何/物理反演 + 数据估计 磨损体积模型（WVM）+ 磨损分布模型（WDM）。 matplotlib、numpy、pandas 来自 O 奖论文 2501909 的可运行复现/expected_result
Agent：Qwen3.8 27B 解析几何/物理反演 + 数据估计 WVM/WDM 反演楼梯交通量：由踏面磨损形态推日均和峰值人流。 matplotlib、numpy、openpyxl、pandas 本题 O-Eval 23.33%，这里取非 baseline 中本题最高者

这题怎么换成 O-Eval / Robust：O-Eval 直接用 clamp(模型 raw / O raw, 0, 1)；这题进入 Robust 比例口径。分母是 O raw - flash raw = 1 - 0 = 1。Robust 辅助指标用 (模型 raw - flash raw) / 这个分母，但最终截到 ±100%，所以超大离群值不会继续放大。

本题 raw、O-Eval、B-Eval vs flash 和 Robust 辅助指标：

模型 本题 raw O-Eval 主分 B-Eval vs flash Robust BO-Eval 辅助
O 奖复现答案 1 100.00% N/A N/A
v4 flash baseline 0 0.00% +0.00 pp 0.00%
Kimi K3 0 0.00% +0.00 pp 0.00%
Hy4 Preview 0 0.00% +0.00 pp 0.00%
Qwen3.8 27B 0.233333 23.33% +23.33 pp 23.33%
GPT-5.6 Sol 0 0.00% +0.00 pp 0.00%
GLM-5.3 0 0.00% +0.00 pp 0.00%
v4 pro 0 0.00% +0.00 pp 0.00%
GPT-5.6 Sol XH 0 0.00% +0.00 pp 0.00%
ox-alpha 0 0.00% +0.00 pp 0.00%
Qwen3.8 Flash (Bailian) 0 0.00% +0.00 pp 0.00%
Gemini 3.7 Flash 0 0.00% +0.00 pp 0.00%

评测问题和模型答案：下面表里的“/ 分”是单指标 reward，不是整题分。a→b 表示评测器做了单位换算或百分比归一化后用 b 计分。

评测指标 方向 BO/O 答案 v4 flash Kimi K3 Hy4 Preview Qwen3.8 27B GPT-5.6 Sol GLM-5.3 v4 pro GPT-5.6 Sol XH ox-alpha Qwen3.8 Flash (Bailian) Gemini 3.7 Flash
daily_use_pattern.peak_period_users 越接近越好 27.6 / 分 1 54 / 分 0 21.1 / 分 0 69.3 / 分 0 15.98 / 分 0 7.305 / 分 0 1.82 / 分 0 28.72 / 分 0 72.1415 / 分 0 7 / 分 0 7.6 / 分 0 90.8 / 分 0
daily_use_pattern.regular_hour_users_if_spread_over_10_hours 越接近越好 4.6 / 分 1 7.8 / 分 0 6 / 分 0 19.8 / 分 0 4.57 / 分 0.7 1.178 / 分 0 0.48 / 分 0 4.42 / 分 0 11.0987 / 分 0 2 / 分 0 14.4 / 分 0 13.97 / 分 0
experiment_result.estimated_daily_users 越接近越好 73.52 / 分 1 78.2 / 分 0 60.2 / 分 0 197.9 / 分 0 45.66 / 分 0 11.783 / 分 0 4.8 / 分 0 44.18 / 分 0 110.9869 / 分 0 20 / 分 0 152 / 分 0 139.74 / 分 0

一句话带走：这题真正看的不是模型有没有写出漂亮过程，而是最后几个关键数值能不能落在正确方向上。

MCM 2025 B: 朱诺旅游可持续政策

任务 slug：mcm-2025-b-juneau-tourism

这题在问什么：给朱诺旅游委员会写一页备忘录，概括预测、各种限制/收费措施的效果，并推荐最优可持续旅游政策。

BO/O 答案是什么：O 奖复现推荐终端政策：日容量 11000 人，游客费 55 USD，年游客 1491526，总收入 431610327.83 USD，居民接受度 1.0，可持续得分 1.007。

baseline 解法大概是什么：baseline 用可持续旅游政策优化，把游客量、收费、保护投入、居民接受度和冰川压力一起做动态规划。

B / O / Agent 用的题型大类、数学模型和库：

角色 题型大类 中文数学模型 主要库/求解器 备注
B：v4 flash baseline 系统动力学 + 动态规划/多目标优化 系统动力学反馈模型 + 有限期动态规划优化。 未显式记录；可能只用 Python 标准库或未在轨迹中留下安装/import 线索 实际 baseline agent artifact；题目基准描述：baseline 用可持续旅游政策优化，把游客量、收费、保护投入、居民接受度和冰川压力一起做动态规划。
O：O 奖复现 系统动力学 + 动态规划/多目标优化 游客需求、经济收益、环境压力、社会接受度耦合的动态规划。 matplotlib、numpy、pandas 来自 O 奖论文 2504448 的可运行复现/expected_result
Agent：Kimi K3 系统动力学 + 动态规划/多目标优化 游客需求-冰川健康-居民接受度耦合系统动力学 + 有限期动态规划。 matplotlib、numpy、pandas、scipy 本题 O-Eval 100.00%，这里取非 baseline 中本题最高者

这题怎么换成 O-Eval / Robust：O-Eval 直接用 clamp(模型 raw / O raw, 0, 1)；这题进入 Robust 比例口径。分母是 O raw - flash raw = 1 - 0.259364 = 0.740636。Robust 辅助指标用 (模型 raw - flash raw) / 这个分母，但最终截到 ±100%，所以超大离群值不会继续放大。

本题 raw、O-Eval、B-Eval vs flash 和 Robust 辅助指标：

模型 本题 raw O-Eval 主分 B-Eval vs flash Robust BO-Eval 辅助
O 奖复现答案 1 100.00% N/A N/A
v4 flash baseline 0.259364 25.94% +0.00 pp 0.00%
Kimi K3 1.46014 100.00% +120.08 pp 100.00%
Hy4 Preview 0.567213 56.72% +30.78 pp 41.57%
Qwen3.8 27B 0.0252273 2.52% -23.41 pp -31.61%
GPT-5.6 Sol 0.372904 37.29% +11.35 pp 15.33%
GLM-5.3 0.337214 33.72% +7.78 pp 10.51%
v4 pro 0.426076 42.61% +16.67 pp 22.51%
GPT-5.6 Sol XH 0.251056 25.11% -0.83 pp -1.12%
ox-alpha 0 0.00% -25.94 pp -35.02%
Qwen3.8 Flash (Bailian) 0.907133 90.71% +64.78 pp 87.46%
Gemini 3.7 Flash 0.702044 70.20% +44.27 pp 59.77%

评测问题和模型答案：下面表里的“/ 分”是单指标 reward，不是整题分。a→b 表示评测器做了单位换算或百分比归一化后用 b 计分。

评测指标 方向 BO/O 答案 v4 flash Kimi K3 Hy4 Preview Qwen3.8 27B GPT-5.6 Sol GLM-5.3 v4 pro GPT-5.6 Sol XH ox-alpha Qwen3.8 Flash (Bailian) Gemini 3.7 Flash
experiment_result.annual_visitors 越高越好 1,491,526 / 分 1 1,504,148 / 分 1.14073 1,176,317 / 分 0 1,600,000 / 分 1.83234 1,200,000 / 分 0 1,600,000 / 分 1.83234 1,575,000 / 分 1.69284 1,600,000 / 分 1.83234 1,450,292 / 分 0.5063 1,185,309 / 分 0 2,258,158 / 分 3.32026 1,740,224 / 分 2.38065
experiment_result.optimal_daily_cap 越接近越好 11,000 / 分 1 12,000 / 分 0 8,000 / 分 0 20,000 / 分 0 15,000 / 分 0 20,000 / 分 0 15,000 / 分 0 16,000 / 分 0 20,000 / 分 0 15,000 / 分 0 12,000 / 分 0 16,500 / 分 0
experiment_result.optimal_visitor_fee_usd 越接近越好 55 / 分 1 30 / 分 0 20 / 分 0 20 / 分 0 50 / 分 0 20 / 分 0 35 / 分 0 30 / 分 0 20 / 分 0 60 / 分 0 30 / 分 0 15 / 分 0
experiment_result.resident_acceptance_index 越高越好 1 / 分 1 87.14→0.8714 / 分 0.4155 1.5 / 分 0<br>无效: invalid_unit_interval_out_of_range 0.6496 / 分 0 81.33→0.8133 / 分 0.1514 0.61511 / 分 0 0.667084 / 分 0 75.8→0.758 / 分 0 1 / 分 1 0.636608 / 分 0 0.6817 / 分 0 1 / 分 1
experiment_result.sustainability_score 越高越好 1.007 / 分 1 79.3886→0.793886 / 分 0 232.2 / 分 8.76084<br>需复核: review_extreme_actual_oracle_ratio 95.8906→0.958906 / 分 0.512 86.51→0.8651 / 分 0 69.7742→0.697742 / 分 0 78.5144→0.785144 / 分 0 68.5976→0.685976 / 分 0 0.833326 / 分 0 70.0293→0.700293 / 分 0 43.223→0.43223 / 分 0 74.76→0.7476 / 分 0
experiment_result.total_revenue_usd 越高越好 431,610,327.83 / 分 1 397,696,731.2 / 分 0 299,225,756 / 分 0 433,505,235.6 / 分 1.05894 341,250,000 / 分 0 413,042,845.93 / 分 0.4051 410,713,333.84 / 分 0.3304 423,000,000 / 分 0.7241 345,937,862.94 / 分 0 348,925,381.94 / 分 0 496,297,968.11 / 分 2.12254 426,354,880 / 分 0.8316

一句话带走：这题真正看的不是模型有没有写出漂亮过程，而是最后几个关键数值能不能落在正确方向上。

MCM 2025 C: 奥运奖牌与强教练效应

任务 slug：mcm-2025-c-olympic-medals

这题在问什么：说明模型还能发现哪些原创奖牌规律，以及这些规律怎样指导国家奥委会分配项目和教练资源。

BO/O 答案是什么：O 奖复现的教练效应建议中，四个候选投资的预计奖牌增益为 1.666667、2.0、3.0、1.777778，全局强教练效应 75 分位跳升为 6.0。

baseline 解法大概是什么：baseline 用奥运奖牌预测、项目重要性分析和滚动三届历史成绩跳升来筛选可能的强教练效应。

B / O / Agent 用的题型大类、数学模型和库：

角色 题型大类 中文数学模型 主要库/求解器 备注
B：v4 flash baseline 数据建模/机器学习 + Monte Carlo 仿真 历史加权平均 + 主办国效应 + Monte Carlo 奖牌仿真。 matplotlib、numpy、pandas、scipy、scikit-learn 实际 baseline agent artifact；题目基准描述：baseline 用奥运奖牌预测、项目重要性分析和滚动三届历史成绩跳升来筛选可能的强教练效应。
O：O 奖复现 数据建模/机器学习 + Monte Carlo 仿真 运动员能力特征工程 + 随机森林 + Monte Carlo 奖牌分配 + Poisson 项目弹性。 matplotlib、numpy、pandas、scikit-learn 来自 O 奖论文 2505964 的可运行复现/expected_result
Agent：Kimi K3 数据建模/机器学习 + Monte Carlo 仿真 按项目训练随机森林二分类器预测金牌/奖牌 + Monte Carlo 2028 奖牌表投影。 matplotlib、numpy、pandas、scikit-learn 本题 O-Eval 100.00%，这里取非 baseline 中本题最高者

这题怎么换成 O-Eval / Robust：O-Eval 直接用 clamp(模型 raw / O raw, 0, 1)；这题鲁棒辅助口径失效：flash raw=1.57531，O raw=1，flash 已经达到或超过 O，分母不为正。Robust 辅助指标改用 clipped B-Eval：把 gain = 模型 raw - flash raw 截到 ±10pp 再进平均。

本题 raw、O-Eval、B-Eval vs flash 和 Robust 辅助指标：

模型 本题 raw O-Eval 主分 B-Eval vs flash Robust BO-Eval 辅助
O 奖复现答案 1 100.00% N/A N/A
v4 flash baseline 1.57531 100.00% +0.00 pp 0.00%
Kimi K3 2.9955 100.00% +142.02 pp 10.00%
Hy4 Preview 0.44561 44.56% -112.97 pp -10.00%
Qwen3.8 27B 0.138589 13.86% -143.67 pp -10.00%
GPT-5.6 Sol 0.457106 45.71% -111.82 pp -10.00%
GLM-5.3 0.870336 87.03% -70.50 pp -10.00%
v4 pro 0.838169 83.82% -73.71 pp -10.00%
GPT-5.6 Sol XH 2.10169 100.00% +52.64 pp 10.00%
ox-alpha 0.186115 18.61% -138.92 pp -10.00%
Qwen3.8 Flash (Bailian) 0.920868 92.09% -65.44 pp -10.00%
Gemini 3.7 Flash 0 0.00% -157.53 pp -100.00%

评测问题和模型答案：下面表里的“/ 分”是单指标 reward，不是整题分。a→b 表示评测器做了单位换算或百分比归一化后用 b 计分。

评测指标 方向 BO/O 答案 v4 flash Kimi K3 Hy4 Preview Qwen3.8 27B GPT-5.6 Sol GLM-5.3 v4 pro GPT-5.6 Sol XH ox-alpha Qwen3.8 Flash (Bailian) Gemini 3.7 Flash
great_coach_model.global_top_jump_75pct 越高越好 6 / 分 1 3 / 分 0.1935 10 / 分 2.88031 3 / 分 0.1935 2 / 分 0.1525 3.333 / 分 0.2126 3.6667 / 分 0.2358 0 / 分 0.1071 3.66667 / 分 0.2358 1.66667 / 分 0.1425 9.33 / 分 2.72722 无 artifact
great_coach_model.recommendations[0].estimated_medal_count_gain 越高越好 1.66667 / 分 1 3 / 分 3.03688 4 / 分 3.53897 1.667 / 分 1.00166 0.429 / 分 0.1391 1.667 / 分 1.00166 2 / 分 1.98083 2 / 分 1.98083 3.5 / 分 3.31911 0.666667 / 分 0.1667 1.44 / 分 0.4687 无 artifact
great_coach_model.recommendations[1].estimated_medal_count_gain 越高越好 2 / 分 1 3 / 分 2.64223 4 / 分 3.23359 1.667 / 分 0.4188 0.491 / 分 0.1372 1.667 / 分 0.4188 2 / 分 1 2 / 分 1 3.5 / 分 2.981 1.2 / 分 0.2308 1.44 / 分 0.3 无 artifact
great_coach_model.recommendations[2].estimated_medal_count_gain 越高越好 3 / 分 1 2.52 / 分 0.4286 4 / 分 2.32914 1.222 / 分 0.1684 0.491 / 分 0.1255 1.517 / 分 0.1953 2 / 分 0.2647 2 / 分 0.2647 3.5 / 分 1.87083 1.6 / 分 0.2045 1.44 / 分 0.1875 无 artifact

一句话带走：这题真正看的不是模型有没有写出漂亮过程，而是最后几个关键数值能不能落在正确方向上。

为什么排名会长这样

O-Eval 第一的是 Kimi K3，主分是 58.08%。这说明它在 18 题平均 raw 上最接近 O 奖复现锚点，不是靠某一道小分母题爆表冲上去。

Robust 辅助第一的是 Kimi K3，辅助分是 12.19%。这个口径说明它在 flash 弱项上追回 gap 的能力强，但它不再是唯一主表，因为它仍然依赖 flash 和 O 之间那段尺子的形状。

温和版 hard-gated 第一的是 Hy4 Preview，主分是 57.08%。这张榜不是新的数学分数，而是给公开解读加了一道保守阀门：明显不可行的高分不再继续抬平均数。

GLM-5.3 和 v4 pro 的位置很接近，说明它们在 flash 弱项上整体有稳定增益；GPT-5.6 Sol high、Kimi K3、Qwen3.8 27B 都有强题，但 O-Eval 会把强题、弱题、缺失题放到同一张绝对成绩单里平均。

Gemini 3.7 Flash 只有 15/18 个 artifact，所以缺失题按 raw 0 进入统计；这会直接压低它的 O-Eval 主分。

所以这套结果要分三眼看：O-Eval 是最终主排名，Robust BO-Eval 是相对 flash 的辅助口径，score-cost 图再加一眼：同样的分，到底花了多少钱。