測定
AI に一度聞いただけで「うちのブランドは出てこない」と結論づけてはいけない理由
ChatGPT に「うちの業種でおすすめの店」を聞いたら、自社の名前がありませんでした。その場で「AI にはうちは出てこないのか」と結論づけたくなります。けれどその答えは、その日、そのアカウント、その一回の結果にすぎません。今日は、なぜ一回では足りないのか、そして何回どう聞けば測定になるのかを一緒に決めていきましょう。
一度の答えは「結果」ではなく「標本ひとつ」です
体重計に一度乗って出た数字を信じるように、AI の答えも一度見ればそれがすべてに思えます。けれど AI の答えは体重計より天気に近いものです。同じ場所でも時間ごとに少しずつ変わります。ですから「出てこない」と結論づけるには、少なくとも同じ条件で何度か聞き直し、何回中何回出たかを数える必要があります。
なぜ変わるのかが分かれば、どう聞くべきかも決まります。大きく三つの理由があります。
同じ質問なのに答えが変わる三つの理由
①②を切る方法:一時チャットで聞く
ChatGPT の一時チャットは、保存されたメモリを使わず、以前の会話を知らず、その会話から新しい記憶も作らないと OpenAI のヘルプに書かれています。履歴にも残りません。つまり「自分を知らない ChatGPT」に聞くいちばん近い方法です。ただしカスタム指示(Custom instructions)はオンならそのまま適用されるので、測定のときは切っておくのがよいでしょう。
Gemini も 2025 年 8 月から一時チャットを提供しています。最近のチャットやアクティビティに残らず、その後の会話のパーソナライズにも使われません。過去の会話に基づくパーソナライズは既定でオンなので、普段の画面で聞くと自分の過去の会話が答えに混ざります。
同じ質問、違うウィンドウ
③を扱う方法:同じ文で三回聞く
記憶を切っても答えは揺れます。だから一回ではなく何度か聞いて「何回中何回」と書きます。私は三回を基本にしています。三回なら「3回中0回」と「3回中2回」が区別でき、一回増やすごとにかかる時間もまだ負担になりません。大事なのは回数より条件を固定することです。モデルも、文も、ウィンドウも同じでなければなりません。
一回の測定の手順
- 01質問文を固定お客様が打ちそうな文をひとつ例「ソウルでオーガニックの犬用おやつを教えて」
- 02ウィンドウを固定一時チャット、カスタム指示オフ理由記憶・パーソナライズの影響を除くため
- 03モデルを固定同じモデル名を確認理由モデルが変われば別の測定です
- 04三回繰り返す新しい一時チャットで同じ文記録言及の有無、何番目に出たか、どんな説明が付いたか
- 05比率で書く「3回中N回」記録日付、モデル、文と一緒に表に書きます
一度見る vs 三回数える 説明用の図
今日やってみる3分チェック
ツールなしで、スマートフォン一台でできます。
- 1分 · 文お客様の質問を一行書く自社商品を知らない人が検索窓に打ちそうな文を一行書きます。ブランド名は入れません。
- 1分 · ウィンドウ一時チャットを開き、カスタム指示を確認ChatGPT の一時チャットを開き、設定でカスタム指示がオフになっているか見ます。モデル名も控えておきます。
- 1分 · 記録三回聞いて「3回中N回」と書く毎回新しい一時チャットで同じ文を送ります。自社名が出たか、何番目だったかをメモに書きます。
手作業ではどこで行き詰まるか
質問がひとつ、AI がひとつなら3分です。けれどお客様が聞きそうな文が十個あり、ChatGPT と Gemini の両方を見て、来月も同じ条件で測るとしたら。毎月 60 回の一時チャットと 60 行の記録が生まれます。そのうち条件がそっと変わります。別のモデルで聞いたり、文を少し直したり、疲れて一度だけ見て書いたり。その瞬間から、先月と比べられない数字になります。
ここで AIOudit が役に立ちます。自社ページの URL を入れると、お客様と AI がそのページをどう読むかを一度に整理し、何から手を入れるとよいかを順番に示します。上で書いた「3回中N回」の記録と並べれば、ページを直したあとに比率が動くかどうかを見られます。
ただし AIOudit は、AI がある日どんな答えを出すかを代わりに保証することはできません。価格、在庫、広告、評判、季節のようなページの外の理由も見られません。ですから測定表はご自身で書き留めておく必要があります。
自社ページはお客様と AI にどう読まれているか。AIOudit で診断してみてください。
出典
- OpenAI ヘルプ · Temporary Chat FAQ(メモリ不使用、以前の会話を参照しない、履歴に残らない、カスタム指示は適用)
- Google ブログ · Gemini adds Temporary Chats and new personalization features(2025-08-13、過去の会話に基づくパーソナライズは既定でオン、一時チャットはパーソナライズに不使用)
- OpenAI Cookbook · How to make your completions outputs consistent with the new seed parameter(2023-11-06、既定で非決定的、決定性は非保証)
- Google 検索セントラル · AI features and your website(AI による概要は付加価値があるときのみ表示、AI モードとは結果・リンクが異なりうる)