AI에 한 번 물어보고 "우리 브랜드는 안 나온다"고 결론 내리면 안 되는 이유

한 번의 답은 "결과"가 아니라 "표본 하나"예요

체중계에 한 번 올라가서 나온 숫자를 믿듯이, AI의 답도 한 번 보면 그게 전부인 것 같아요. 그런데 AI 답변은 체중계보다 날씨에 가까워요. 같은 자리에서도 시간마다 조금씩 달라요. 그래서 "안 나온다"는 결론을 내리려면, 적어도 같은 조건에서 몇 번을 더 물어 보고 몇 번 중 몇 번 나왔는지를 세어야 해요.

왜 달라지는지 이유를 알면 어떻게 물어야 할지도 정해져요. 크게 세 가지예요.

같은 질문인데 답이 달라지는 세 이유

① 기억내 계정이 나를 알고 있어요ChatGPT는 저장된 메모리와 이전 대화를 참고할 수 있어요. 내 브랜드를 자주 이야기한 계정에서는 내 브랜드가 더 쉽게 나와요. 고객의 계정은 그렇지 않아요.

② 개인화지난 대화로 답을 맞춰 줘요Gemini는 지난 대화를 바탕으로 답을 개인화하는 기능이 기본으로 켜져 있다고 밝혔어요. 내 화면의 답과 고객 화면의 답이 다른 이유예요.

③ 성질애초에 매번 조금씩 다르게 답해요OpenAI는 같은 요청에도 기본적으로 다른 결과가 나올 수 있고, 재현용 설정을 써도 완전한 일치는 보장되지 않는다고 설명해요. 기억을 다 꺼도 남는 흔들림이에요.

①②는 끌 수 있지만 ③은 끌 수 없어요. 그래서 조건을 맞춘 뒤에도 "반복"이 필요해요.

①②를 끄는 법: 임시 채팅으로 물어요

ChatGPT의 임시 채팅은 저장된 메모리를 쓰지 않고, 이전 대화를 알지 못하고, 그 대화에서 새 기억을 만들지도 않는다고 OpenAI 도움말에 적혀 있어요. 기록에도 남지 않아요. 즉 "나를 모르는 ChatGPT"에게 묻는 가장 가까운 방법이에요. 다만 맞춤 설정(Custom instructions)은 켜져 있으면 그대로 적용되니, 측정할 때는 꺼 두는 게 좋아요.

Gemini도 2025년 8월부터 임시 채팅을 제공해요. 최근 대화나 활동 기록에 남지 않고, 이후 대화의 개인화에도 쓰이지 않아요. 지난 대화 기반 개인화는 기본으로 켜져 있으니, 평소 창에서 물으면 내 과거 대화가 답에 섞여 들어가요.

같은 질문, 다른 창

평소 쓰는 창 나를 아는 AI에게 묻기 저장된 메모리 참고 지난 대화로 개인화 내 브랜드가 과대평가될 수 있음 "잘 나오네" 하고 안심하기 쉬운 창이에요.

임시 채팅 나를 모르는 AI에게 묻기 메모리 사용 안 함 이전 대화 모름 고객이 보는 답에 가까움 측정은 이 창에서만 해요. 맞춤 설정도 끄고요.

고객은 우리를 모르는 계정으로 물어요. 그 조건을 흉내 내는 게 측정의 시작이에요.

③을 다루는 법: 같은 문장으로 세 번 물어요

기억을 꺼도 답은 흔들려요. 그래서 한 번이 아니라 여러 번 물어서 "몇 번 중 몇 번"으로 적어요. 저는 세 번을 기본으로 해요. 세 번이면 "3번 중 0번"과 "3번 중 2번"이 구분되고, 한 번 더 할 때마다 드는 시간이 아직 부담스럽지 않아요. 중요한 건 횟수보다 조건을 고정하는 거예요. 모델도, 문장도, 창도 같아야 해요.

한 번 측정하는 절차

01질문 문장 고정고객이 쓸 법한 문장 하나예"서울에서 유기농 반려견 간식 추천해 줘"
02창 고정임시 채팅, 맞춤 설정 끔이유기억·개인화 영향을 빼기 위해
03모델 고정같은 모델 이름 확인이유모델이 바뀌면 다른 측정이에요
04세 번 반복새 임시 채팅을 열어 같은 문장기록언급 여부, 몇 번째로 언급됐는지, 어떤 설명이 붙었는지
05비율로 적기"3번 중 N번"기록날짜, 모델, 문장과 함께 표에 적어요

이 절차를 한 달에 한 번 같은 문장으로 되풀이하면 비로소 "달라졌다"고 말할 수 있어요.

한 번 보기 vs 세 번 세기 예시 그림

실제 데이터가 아닌 설명용 그림이에요. 첫 번째 답만 보면 두 브랜드가 똑같아 보여요. 세 번을 세야 차이가 보여요.

하나 더. 구글은 AI 개요가 기존 검색에 더해질 때만 표시되며 자주 나타나지 않는다고, 그리고 AI 모드와 AI 개요는 서로 다른 모델과 방식을 쓸 수 있어 보여 주는 답과 링크가 달라진다고 설명해요. 그러니 "AI 개요에 한 번 안 보였다"도 결론이 아니에요. 같은 검색어를 날짜를 바꿔 다시 봐야 해요.

오늘 해 볼 3분 점검

도구 없이, 휴대폰 하나로 돼요.

1분 · 문장고객의 질문 한 줄 쓰기우리 상품을 모르는 사람이 검색창에 칠 법한 문장을 한 줄로 적어요. 브랜드 이름은 넣지 않아요.
1분 · 창임시 채팅 열고 맞춤 설정 확인ChatGPT의 임시 채팅을 열고, 설정에서 맞춤 설정이 꺼져 있는지 봐요. 모델 이름도 적어 둬요.
1분 · 기록세 번 묻고 "3번 중 N번" 적기매번 새 임시 채팅에서 같은 문장을 보내요. 우리 이름이 나왔는지, 몇 번째였는지 메모에 적어요.

손으로 하면 어디서 막힐까요

질문 하나, AI 하나라면 3분이에요. 그런데 고객이 물을 법한 문장이 열 개고, ChatGPT와 Gemini를 둘 다 보고, 다음 달에 또 같은 조건으로 재야 한다면요. 60번의 임시 채팅과 60줄의 기록이 매달 생겨요. 그러다 보면 조건이 슬쩍 바뀌어요. 다른 모델로 묻거나, 문장을 조금 고치거나, 피곤해서 한 번만 보고 적게 돼요. 그 순간부터 지난달과 비교할 수 없는 숫자가 돼요.

이 지점에서 AIOudit이 도움이 돼요. 우리 페이지 URL을 넣으면, 고객과 AI가 그 페이지를 어떻게 읽는지를 한 번에 정리해 주고, 무엇부터 손보면 좋을지 순서로 알려 줘요. 위에서 적어 둔 "3번 중 N번" 기록과 나란히 두면, 페이지를 고친 뒤 비율이 움직이는지 볼 수 있어요.

다만 AIOudit은 AI가 어느 날 어떤 답을 낼지를 대신 보장하지는 못해요. 가격, 재고, 광고, 평판, 계절처럼 페이지 밖의 이유도 보지 못해요. 그래서 측정표는 직접 적어 두셔야 해요.

우리 페이지는 고객과 AI에게 어떻게 읽히는지, AIOudit에서 진단해 보세요.