ベンチマークの限界

ベンチマークや人間評価は強力だが、設定・バイアス・タスク依存で結果が変わる。主要な注意点を3つの研究から整理する。

結論

• LLM-as-a-judgeにはposition等のbiasがあり、単一judgeの自動順位付けは断定的に公開すべきでない。
• human preference（人間の好み）とobjective correctness（客観的正解率）は別の評価軸。
• real-worldコーディング課題は単純コード生成より複合的（repository理解・複数ファイル・実行環境）。

Research question

公開されているベンチマークスコアを、そのまま「このモデルが優れている」根拠にしてよいか。設定依存性とバイアスをどう扱うか。

実用への含意（Practical implication）

• 順位表を引用するときは、benchmark名・version・date・verified statusを明記する。
• LLM-judgeを使うならrandomized order・multiple judges・human reviewを組み合わせる。
• コーディング評価は、単体生成ではなく実行・検証を含むharnessで測る。

モデル選定への影響（Model selection impact）

本サイトは、provider独自のbenchmarkを「独立研究」として扱わず、公式仕様（spec）と独立研究（research）を明確に分離する（Loop 3 Claim Graph）。現行モデルの具体的スコアは、exact version一致の独立研究がない限り掲載しない。

限界（Limitations）

• 引用論文は2023-2024年の方法論であり、現行モデルの性能証明には使用していない。
• リーダーボードのvariant・date・verified statusを不明記にして順位を比較しない。

論文の適用可能性（Study applicability）

各論文が「実際に何を示したか」「どこまで一般化できるか」を明示。現行2026モデルへの過剰一般化を避ける。

参考文献（References）

• Judging the Judges: A Systematic Study of Position Bias in LLM-as-a-Judge（Guangyu Yang et al., 2024）— : 2406.07791 研究上の一般的注意
  LLM judge には position 等の bias があり得る。single judge の自動順位を断定的に公開しない。
• Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge（Yuhan Liu et al., 2024）— : 2410.02736 研究上の一般的注意
  LLM-as-a-judge に複数の bias が定量的に確認されている。
• Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference（Wei-Lin Chiang et al., 2024）— : 2403.04132 研究上の一般的注意
  pairwise human preference は一つの評価軸。crowdsourced preference には価値があるが preference と objective correctness は別。
• SWE-bench: Can Language Models Resolve Real-World GitHub Issues?（Carlos E. Jimenez et al., 2023）— : 2310.06770 研究上の一般的注意
  real-world software issue 解決は単純コード生成より複合的。repository理解・複数ファイル・実行環境が重要。

関連ページ

更新日: 2026-07-16。出典は各論文のarXiv公開情報（preprint）。