← レポート一覧

測定

AI に一度聞いただけで「うちのブランドは出てこない」と結論づけてはいけない理由

ChatGPT に「うちの業種でおすすめの店」を聞いたら、自社の名前がありませんでした。その場で「AI にはうちは出てこないのか」と結論づけたくなります。けれどその答えは、その日、そのアカウント、その一回の結果にすぎません。今日は、なぜ一回では足りないのか、そして何回どう聞けば測定になるのかを一緒に決めていきましょう。

一度の答えは「結果」ではなく「標本ひとつ」です

体重計に一度乗って出た数字を信じるように、AI の答えも一度見ればそれがすべてに思えます。けれど AI の答えは体重計より天気に近いものです。同じ場所でも時間ごとに少しずつ変わります。ですから「出てこない」と結論づけるには、少なくとも同じ条件で何度か聞き直し、何回中何回出たかを数える必要があります。

なぜ変わるのかが分かれば、どう聞くべきかも決まります。大きく三つの理由があります。

同じ質問なのに答えが変わる三つの理由

① 記憶自分のアカウントは自分を知っているChatGPT は保存されたメモリや以前の会話を参照できます。自社ブランドの話をよくしているアカウントでは、自社ブランドが出やすくなります。お客様のアカウントはそうではありません。
② パーソナライズ過去の会話に合わせて答えを調整するGemini は過去の会話をもとに回答をパーソナライズする機能が既定でオンだと明らかにしています。自分の画面の答えとお客様の画面の答えが違う理由です。
③ 性質そもそも毎回少しずつ違う答えを返すOpenAI は、同じリクエストでも既定では異なる結果が出ることがあり、再現用の設定を使っても完全な一致は保証されないと説明しています。記憶をすべて切っても残る揺らぎです。
①②は切れますが、③は切れません。 だから条件をそろえたあとも「繰り返し」が必要なのです。

①②を切る方法:一時チャットで聞く

ChatGPT の一時チャットは、保存されたメモリを使わず、以前の会話を知らず、その会話から新しい記憶も作らないと OpenAI のヘルプに書かれています。履歴にも残りません。つまり「自分を知らない ChatGPT」に聞くいちばん近い方法です。ただしカスタム指示(Custom instructions)はオンならそのまま適用されるので、測定のときは切っておくのがよいでしょう。

Gemini も 2025 年 8 月から一時チャットを提供しています。最近のチャットやアクティビティに残らず、その後の会話のパーソナライズにも使われません。過去の会話に基づくパーソナライズは既定でオンなので、普段の画面で聞くと自分の過去の会話が答えに混ざります。

同じ質問、違うウィンドウ

普段使っているウィンドウ 自分を知っている AI に聞く 保存されたメモリを参照 過去の会話でパーソナライズ 自社ブランドが過大評価されうる 「よく出ているな」と安心しやすいウィンドウです。
一時チャット 自分を知らない AI に聞く メモリを使わない 以前の会話を知らない お客様が見る答えに近い 測定はこのウィンドウでだけ。カスタム指示も切ります。
お客様は、私たちを知らないアカウントで聞きます。 その条件を真似ることが測定の始まりです。

③を扱う方法:同じ文で三回聞く

記憶を切っても答えは揺れます。だから一回ではなく何度か聞いて「何回中何回」と書きます。私は三回を基本にしています。三回なら「3回中0回」と「3回中2回」が区別でき、一回増やすごとにかかる時間もまだ負担になりません。大事なのは回数より条件を固定することです。モデルも、文も、ウィンドウも同じでなければなりません。

一回の測定の手順

  1. 01質問文を固定お客様が打ちそうな文をひとつ例「ソウルでオーガニックの犬用おやつを教えて」
  2. 02ウィンドウを固定一時チャット、カスタム指示オフ理由記憶・パーソナライズの影響を除くため
  3. 03モデルを固定同じモデル名を確認理由モデルが変われば別の測定です
  4. 04三回繰り返す新しい一時チャットで同じ文記録言及の有無、何番目に出たか、どんな説明が付いたか
  5. 05比率で書く「3回中N回」記録日付、モデル、文と一緒に表に書きます
この手順を月に一度、同じ文で繰り返して はじめて「変わった」と言えます。

一度見る vs 三回数える 説明用の図

ブランド A ブランド B 1回目 2回目 3回目 濃い枠 = 答えに自社名があった 1回目だけ見ていたら、A も「出ない」と記録されたはずです。 三回数えると A は3回中2回、B は3回中0回です。
実データではなく説明用の図です。 最初の答えだけ見れば二つのブランドは同じに見えます。三回数えてはじめて差が見えます。
もうひとつ。 Google は、AI による概要は従来の検索に付加価値があるときだけ表示され、頻繁には現れないこと、また AI モードと AI による概要は異なるモデルや方式を使うことがあり、表示される答えやリンクが変わることを説明しています。ですから「AI による概要に一度出なかった」も結論ではありません。同じ検索語を日を変えてもう一度見る必要があります。

今日やってみる3分チェック

ツールなしで、スマートフォン一台でできます。

  1. 1分 · 文お客様の質問を一行書く自社商品を知らない人が検索窓に打ちそうな文を一行書きます。ブランド名は入れません。
  2. 1分 · ウィンドウ一時チャットを開き、カスタム指示を確認ChatGPT の一時チャットを開き、設定でカスタム指示がオフになっているか見ます。モデル名も控えておきます。
  3. 1分 · 記録三回聞いて「3回中N回」と書く毎回新しい一時チャットで同じ文を送ります。自社名が出たか、何番目だったかをメモに書きます。

手作業ではどこで行き詰まるか

質問がひとつ、AI がひとつなら3分です。けれどお客様が聞きそうな文が十個あり、ChatGPT と Gemini の両方を見て、来月も同じ条件で測るとしたら。毎月 60 回の一時チャットと 60 行の記録が生まれます。そのうち条件がそっと変わります。別のモデルで聞いたり、文を少し直したり、疲れて一度だけ見て書いたり。その瞬間から、先月と比べられない数字になります。

ここで AIOudit が役に立ちます。自社ページの URL を入れると、お客様と AI がそのページをどう読むかを一度に整理し、何から手を入れるとよいかを順番に示します。上で書いた「3回中N回」の記録と並べれば、ページを直したあとに比率が動くかどうかを見られます。

ただし AIOudit は、AI がある日どんな答えを出すかを代わりに保証することはできません。価格、在庫、広告、評判、季節のようなページの外の理由も見られません。ですから測定表はご自身で書き留めておく必要があります。

自社ページはお客様と AI にどう読まれているか。AIOudit で診断してみてください。

出典

  1. OpenAI ヘルプ · Temporary Chat FAQ(メモリ不使用、以前の会話を参照しない、履歴に残らない、カスタム指示は適用)
  2. Google ブログ · Gemini adds Temporary Chats and new personalization features(2025-08-13、過去の会話に基づくパーソナライズは既定でオン、一時チャットはパーソナライズに不使用)
  3. OpenAI Cookbook · How to make your completions outputs consistent with the new seed parameter(2023-11-06、既定で非決定的、決定性は非保証)
  4. Google 検索セントラル · AI features and your website(AI による概要は付加価値があるときのみ表示、AI モードとは結果・リンクが異なりうる)