ベンチマーク解説 · Artificial Analysis 知能指数

Artificial Analysis 知能指数はどう計算されるか
9項目の加重平均、重み配分は公開されている

AA 知能指数は9つのサブ評価の加重平均だ:Agents が34%、コーディングと科学的推論がそれぞれ24%、汎用能力が18%。同じモデルでも榜単や時点によってスコアが異なるのは、多くの場合モデルが変わったのではなく指数のバージョンやデータ取得時点の違いによるものだ。

#AA 知能指数#v4.1#9項目加重#pass@1

4つの重要事実

34%

Agents の重みが最大

9つのサブ評価のうち Agents カテゴリーの比重が最も高く、GDPval-AA v2 が20%、τ³-Banking が14%を占める。

24% + 24%

コーディングと科学的推論が同率2位

コーディングは24%(Terminal-Bench v2.1 が16%、SciCode が8%)。科学的推論も同じく24%(Humanity's Last Exam が12%、GPQA Diamond と CritPt がそれぞれ6%)。

18%

汎用能力の重みが最小

汎用能力は18%(AA-LCR が6%、AA-Omniscience の精度が8%、非幻覚率が4%)。

pass@1

採点方法

大半のサブ評価は pass@1(初回で正解)方式を採用し、複数回の試行を集計してスコア化する。

9つのサブ評価と重みの全表

AA 知能指数 v4.1 は9つの評価の加重平均だ:Agents カテゴリーが34%(GDPval-AA v2 が20%、τ³-Banking が14%)、コーディングカテゴリーが24%(Terminal-Bench v2.1 が16%、SciCode が8%)、科学的推論カテゴリーが24%(Humanity's Last Exam が12%、GPQA Diamond が6%、CritPt が6%)、汎用能力カテゴリーが18%(AA-LCR が6%、AA-Omniscience の精度8%+非幻覚率4%)。採点方法は主に pass@1——モデルは初回の試行で正解を出す必要があり、複数回の試行結果を集計してスコア化する。

なぜ同じモデルのスコアが場所によって違って見えるのか

総合スコアが同じ2つのモデルが、必ずしも同じ能力プロファイルを持つとは限らない——まったく異なる強みの組み合わせが、加重合計すると偶然同じ数字になっているだけということもある。さらに、Artificial Analysis は指数のバージョン(現行は v4.1、2026年6月導入)とサブ評価の構成を継続的に改訂しており、バージョンが異なれば重み配分も異なる。同じバージョンでも、データ取得時点が違えばモデル自体の更新や評価環境の変化を反映するため、同じモデルのスコアが変動することがある。

タイムライン

初期バージョン

Artificial Analysis が、モデル横断の総合能力比較のための加重総合スコアとして知能指数を導入。

2026-06

指数 v4.1 が導入され、9つのサブ評価とそれぞれの重み配分(Agents 34%、コーディング24%、科学的推論24%、汎用18%)が公式に明示された。

継続中

サブ評価の構成と重みはバージョンごとに調整され、異なるデータ取得時点のスコアは完全には一致しないことがある。

確認済み vs よくある誤解

確認済み

AA 知能指数 v4.1 の9つのサブ評価とその重み配分(Agents 34%、コーディング24%、科学的推論24%、汎用18%、およびそれぞれの内訳)は Artificial Analysis の公式方法論ページで公開されている。採点は主に pass@1 だ。

よくある誤解

多くの人が総合スコアを単一次元の能力ランキングとして扱い、そのまま「どちらが上か」を語ってしまう。しかし総合スコアは9つの異質な評価の加重合計であり、総合点が近い2つのモデルでも Agents、コーディング、科学的推論での強弱の分布はまったく異なる可能性がある。総合点だけを見ると偏った結論に陥りやすい。

総合スコアを見る vs 内訳を見る

総合スコアだけを見る

おおまかな能力の階層を素早く把握するのには向いているが、モデルが具体的にどこで強くどこで弱いかは分からない。

内訳に分解して見る

自分の用途が明確に Agents やコーディングに偏っているなら、対応するサブ評価(Terminal-Bench v2.1 の項目など)を直接見るほうが総合スコアより的確だ。

この指数を正しく使う方法

第1歩、自分の用途が9カテゴリーのどれ(Agents、コーディング、科学的推論、汎用)に近いかを明確にし、総合スコアより対応するサブ評価のスコアを優先して参照する。第2歩、モデルを比較する際は、両方が同じ指数バージョン・同じデータ取得回のものかを確認する——バージョンや時点をまたいだ比較は誤解を招きやすい。第3歩、総合スコアは粗い絞り込みのツールとして扱い、最終結論とはしない。具体的な意思決定の前には、実際のタスクで小規模な実測を行うのが望ましい。

QCode 上での対処法

指数のどの項目を重視するかにかかわらず、QCode の1つのキーで総合スコア上位の複数のモデルファミリーに同時に接続でき、総合数値だけに頼らず、実際のタスクで小規模な比較テストができる。

よくある質問

AA 知能指数は具体的にどう計算されますか?

9つのサブ評価の加重平均だ:Agents 34%(GDPval-AA v2 20% + τ³-Banking 14%)、コーディング24%(Terminal-Bench v2.1 16% + SciCode 8%)、科学的推論24%(HLE 12% + GPQA Diamond 6% + CritPt 6%)、汎用18%(AA-LCR 6% + AA-Omniscience 精度8% + 非幻覚率4%)。

同じモデルなのに、前回見たスコアと違うのはなぜですか?

最も多い理由は指数バージョンのアップグレード(重みやサブ評価構成の変更)や、データ取得時点の違い(モデル自体が更新されていたり、評価環境が調整されていたりする)だ。

総合スコアが同じ2つのモデルは、実力も本当に同じですか?

必ずしもそうではない。総合スコアは加重合計の結果であり、2つのモデルがそれぞれ異なるサブ項目で強み・弱みを持ちながら、加重後にたまたま近い数字になっているだけということも十分あり得る。実際の能力プロファイルは大きく異なる場合がある。

pass@1 とは何ですか?

モデルに1回だけ回答の機会を与え、初回で正解した場合のみ合格とみなすことを指す。大半のサブ評価は複数回試行を行い、pass@1 の結果を集計してスコア化する。

Terminal-Bench v2.1 はコーディング項目の一部に過ぎないのに、なぜサイト内の他のページでは独立した榜単として扱われているのですか?

Terminal-Bench は独立した公開榜単であると同時に、AA 知能指数のコーディングカテゴリーの構成要素(コーディング24%のうち16%)でもある。2つの見方は矛盾しておらず、単に分析の粒度が異なるだけだ。

この指数を見てモデルを選ぶ際、他に注意すべきことはありますか?

指数はあくまで総合的な参考であり、唯一の判断材料ではない。タスクが具体的なら、対応するサブ評価のスコアを直接見て、小規模な実測と組み合わせて最終判断することを勧める。

情報源

AA 知能指数 v4.1 の9つのサブ評価の構成と重み配分、採点方法(pass@1)、バージョン導入時期(2026年6月)は、いずれも Artificial Analysis の公式方法論ページに基づく。本ページは2026-08-27時点で確認した。

総合スコア1つだけで判断しない

QCode の1つのキーで総合スコア上位の複数のモデルファミリーに接続し、実際のタスクで小規模比較テストを。

関連記事

本ページの Artificial Analysis 知能指数の方法論解説は同社の公式公開情報に基づくものであり、QCode の公式見解ではありません。具体的な重み配分とサブ評価の構成は Artificial Analysis 公式ページのリアルタイムデータに従います。