AI 回答での言及数を見せられたら、まず聞くこと — 何回、どの質問で測ったか
AI の回答は聞くたびに変わります。だから「AI 回答に御社は X% 出ています」という数字は、測り方しだいで大きく変わります。数字を受け取る側が確かめるべき 3 つの質問と、その根拠になる計測をまとめました。
たとえば「AI 回答で、御社の名前は X% の質問で挙がっています」。AI 可視性のサービスを検討すると、こうした数字を見せられる場面が増えてきました。当社も同じような数字を出す側です。
ただ、この数字は測り方しだいで大きく変わります。同じ質問を AI に 2 回すると、違う答えが返ってくることがあるからです。ある回では御社の名前が挙がり、次の回では挙がらない。1 回だけ聞いて「挙がった」と記録した数字と、何度も聞いて確かめた数字とでは、意味がまったく違います。
数字を受け取る側が確かめるべきことは、3 つの質問にまとめられます。
1. 1 つの質問を何回聞きましたか?
AI の回答がばらつくことは、海外ではすでにいくつもの調査で示されています。
- SparkToro の調査では、600 人のボランティアが 12 の質問を ChatGPT・Claude・Google の AI で計 2,961 回実行しました。同じブランドの並びが 2 回続く確率は 100 回に 1 回未満で、全体像をつかむには 60〜100 回程度くり返して平均すべきだとしています1。
- Conductor は 10 業種・4 つの AI で質問ごとに 50 回ずつ、計 14,000 回の呼び出しを行い、4 つのうち Gemini の回答がもっとも安定しなかったと報告しています2。
日本語の B2B の購買の質問でも同じことが起きるかを、当社でも確かめました3。日本の業務用機器の 1 カテゴリについて、購買担当者が聞きそうな質問を 50 問用意し、ChatGPT と Gemini に 6 回ずつ聞いたところ、ある企業の名前が 6 回のうちで出たり消えたりした質問は、次の割合でした。
| 聞き方 | ChatGPT | Gemini |
|---|---|---|
| 同じ日に 6 回 | 50% | 46% |
| 6 日に 1 回ずつ | 46% | 30% |
半分近くの質問で、聞くたびに答えが変わっています。1 回だけ聞いた数字は、その日たまたま出た 1 回分にすぎません。 何回聞いて、そのうち何回挙がったのかを確かめてください。
2. いつ、どう分けて聞きましたか?
では、くり返すなら日を分けたほうがよいのでしょうか。上の表の 2 行は、同じ 50 問を「同じ日に 6 回」と「6 日に 1 回ずつ」で聞き比べたものです。
ばらつきの大きさ(分散)の差は、ChatGPT で −0.004(95% 信頼区間 −0.032〜+0.025)、Gemini で −0.023(同 −0.055〜+0.010)でした。どちらも区間に 0 を含み、2 つの聞き方に差は確認できませんでした3。最初に名前が挙がる企業や、一緒に挙がる競合の顔ぶれも、ほぼ同じでした。
AI が引用する出典について、同じ日のばらつきと日をまたいだばらつきがほぼ同じ範囲だったという Schulte らの報告4とも合っています。少なくとも数日の範囲なら、くり返しは同じ日にまとめても見落としは増えません。
ですから、「毎日 1 回ずつ測っています」という説明は、それだけでは安心材料になりません。大事なのは、1 回の計測のなかで各質問を何回聞いたかです。一方、モデルの更新のような数週間〜数か月の変化は別の話で、それを見るには期間を空けた計測が要ります。
3. どの質問を、何問で測りましたか?
もう一つ分かったのは、ばらつくかどうかが質問ごとにかなり決まっていることです。以前の計測で答えが揺れた 25 問は今回も揺れ(分散 0.10〜0.15)、安定していた 25 問は今回も安定していました(同 0.03〜0.07)3。
つまり、数字は「どの質問を選んだか」で大きく動きます。揺れない質問ばかりなら数字は安定して見え、揺れる質問が多ければ上下します。質問のリストそのものと、なぜその数なのかを聞いてください。
当社の測り方
この 3 つに、当社は次のように答えています。
- 回数は、揺れるところに使う。 まず全部の質問を数回ずつ聞いて揺れる質問を見つけ、そこを多く聞きます。安定している質問は少なくします。同じ費用で、知りたいところの精度が上がります。
- 1 回の計測のなかで、まとめてくり返す。 長い期間の変化は、別の計測として扱います。
- 質問の数は、飽和するまで増やす。 質問を足しても新しい指摘が出なくなったところを、その会社の質問セットの大きさにします。
- 判定には必ず根拠を付ける。 「挙がった」と判定した回答には、その AI の文と、AI が引用した出典をいっしょに残します。数字から、どの回答のどの文かまでたどれます。
スコアの定義は ZAG Standard で公開しています。
この計測の範囲
当社の比較は、50 問・2 つの AI・6 日間の予備的なものです。質問の長さや曖昧さがばらつきに効くかも見ましたが、この数では一貫した傾向は分かりませんでした。数週間以上にわたる変化も、この比較の範囲外です。
出典
-
SparkToro「NEW Research: AIs are highly inconsistent when recommending brands or products」(Rand Fishkin、Patrick O'Donnell)。https://sparktoro.com/blog/new-research-ais-are-highly-inconsistent-when-recommending-brands-or-products-marketers-should-take-care-when-tracking-ai-visibility/ ↩
-
Conductor「AI recommendation consistency analysis」。10 業種、7 つの意図、4 つの AI、各 50 回、計 14,000 回。https://www.conductor.com/academy/ai-recommendation-consistency-analysis/ ↩
-
ZAG 調べ。2026 年 10 月 29 日〜11 月 3 日。日本語の B2B 購買の質問 50 問 × ChatGPT・Gemini。同じ日に 6 回と 6 日に 1 回ずつを質問ごとに対応させて比較(n=50 問、各 AI)。ばらつきは、6 回の回答で企業名が挙がったかどうか(0/1)の分散の平均。信頼区間は質問単位の差から算出。 ↩ ↩2 ↩3
-
J. Schulte, M. Bleeker, P. Kaufmann「Don't Measure Once: Measuring Visibility in AI Search (GEO)」arXiv:2604.07585(2026 年 4 月)。https://arxiv.org/abs/2604.07585 ↩