新しいモデルが出た。乗り換える価値があるか
公開ベンチマークが答えるのは「標準的な問題での成績」です。知りたいのは「自分のコードベースでの成績」でしょう。この 2 つの答えはしばしば食い違います。
4 つの原則
自分のタスクを使う
最近実際に処理したタスク 20 件のほうが、どの公開ランキングより価値を正確に予測します。
全候補に同じ問題を
異なる問題で比べた結論には意味がありません。問題セットは固定してください。
採点時は名前を隠す
どの出力がどのモデルかを知っていると判断が明確に動きます。名前を伏せてから採点してください。
1 回では決まらない
各問題を 3 回。3 回で結果が大きくばらつくなら、「こちらが優れている」という結論自体が不安定です。
公開ベンチマークが役に立たない理由
公開ベンチマークが解くのは比較可能性の問題です。固定の問題群と固定の採点方法により、異なるモデルを同じ座標に置けます。研究には価値がありますが、選定への寄与は限定的です。理由は 3 つ。問題があなたのコードベースや領域と無関係であること、採点方法があなたの重視する品質軸と対応するとは限らないこと、そして広く使われるほど問題が学習データに混入する可能性が時間とともに上がることです。高スコアは「あなたにとって良い」を意味しません。
新モデルの公開直後について
公開直後の数日は評価が大きく揺れます。初期利用者はサンプルが小さく、タスクの分布も偏っており、公開直後の容量逼迫により遅延の問題を品質の問題と取り違えがちです。急がないのであれば 1〜2 週間おいてから評価すると、はるかに安定した情報が得られます。
手順
実タスク 20 件を選んで固定します。この段階の質が評価全体の価値を決めます。
全候補が同じセットを、1 問あたり 3 回。コストと所要時間も記録します。
名前を伏せて重視する軸で採点し、最後にコストを戻して合わせて見ます。
ランキングで絞り、自分の実行で決める
本ページが断言できること
自作評価の方法論は汎用で、対象がどのモデルかに依存しません。問題セットを固定する、同じ問題で比べる、名前を伏せて採点する、繰り返し標本を取る、コストを併記する。いずれもあらゆるモデル選定に当てはまります。
本ページが書かないこと
Ornith-1.5 について体系的な評価を実施していないため、スコアの数値、ランキングの順位、「どのモデルを上回る」といった結論は一切書きません。この種の数値は伝聞で容易に歪み、モデル選定は費用と時間を要する判断です。未検証の数字の上に置くべきではありません。
2 つの判断材料
公開ランキングを見る
費用ゼロで候補を素早く絞れます。ただし「自分の仕事に向くか」には答えず、公開直後はノイズが大きくなります。
小規模な評価を自作する
2 時間ほどで完了し、結論が自分の状況に直結し、問題セットは次回も再利用できます。代償は最初に問題を揃える手間です。
2 時間で終わる自己評価
第 1 段階。直近 2 週間に実際に処理したタスクから 20 件を選び、普段の分布を反映させます。難問だけを選ばないでください。日常の作業のほうが比率は高いはずです。第 2 段階。その 20 件を固定し、全候補に同じセットを回します。第 3 段階。採点前にモデル名を外し、本当に重視する軸で評価します。手戻りが必要だったか、別の場所を壊さなかったか、文脈を理解していたか。第 4 段階。各問題を 3 回回して安定性を見ます。第 5 段階。コストも併記します。品質が近いなら、決め手はコストと速度です。
QCode は Ornith-1.5 を提供しているか
明確に記します。QCode は現在 Ornith-1.5 を提供していません。提供しているのは Claude、GPT/Codex、Gemini、GLM、Kimi、DeepSeek、Qwen の 7 系列で、1 つのキーで共通に使えます。評価したい対象が Ornith-1.5 そのものであれば、公開元の公式チャネルをご利用ください。本ページの方法はそちらでも同様に使えます。評価の結果、上記の系列にとどまると判断された場合には、日次の固定枠で課金されコストの読めるアクセスを提供できます。
よくある質問
QCode で Ornith-1.5 は使えますか？
現時点では使えません。QCode が提供するのは Claude、GPT/Codex、Gemini、GLM、Kimi、DeepSeek、Qwen の各系列で、Ornith-1.5 は含まれていません。
なぜスコアを載せないのですか？
自分たちで測っていないからです。未検証の数値を出すことは、選定の判断をする人にとって有害です。費用と時間を伴う判断だからです。
タスク 20 件で足りますか？
個人の判断には通常十分です。ただしその 20 件が普段の分布を正しく反映していることが前提です。候補間の差が非常に小さい場合は 50 件に広げて見てください。
なぜモデル名を伏せるのですか？
出所を知っていると採点が明確に動くためです。公開直後のモデルでは特に顕著で、期待そのものが点数を押し上げます。
各問題 3 回は無駄では？
そこが最も節約になる段階です。3 回で大きくばらつくなら「こちらが優れている」という結論は不安定で、それに基づく移行判断のほうがはるかに高くつきます。
評価の結果、今のモデルで十分だった場合は？
それは価値ある結果です。選定評価のよくある成果は「乗り換えるべき」ではなく「乗り換える必要はない」であり、移行コストを節約できたことになります。
情報源
モデルの能力と提供状況は公開元の公式説明に従います。本ページは評価の方法のみを示し、第三者のベンチマーク数値は繰り返しません。
関連記事
サードパーティのモデルの能力と提供状況は公開元の公式説明に従います。本ページはベンチマーク数値を示さず、自分で実行できる評価方法のみを提供します。QCode が現在提供する系列はサイト内のモデルページをご覧ください。