AIOuditJournal
← Semua laporan

Pengukuran

Kenapa satu jawaban AI tidak cukup untuk menyimpulkan "brand kami tidak muncul"

Anda bertanya ke ChatGPT "rekomendasi tempat di kategori kami" dan nama Anda tidak ada. Mudah sekali langsung menyimpulkan "AI tidak menampilkan kami". Padahal jawaban itu hanya satu hasil, dari satu akun, pada satu hari. Hari ini kita tentukan bersama kenapa sekali tidak cukup, dan berapa kali serta bagaimana bertanya agar benar-benar jadi pengukuran.

29 Oktober 2026Riset CHROMETI7 menit baca

Satu jawaban adalah satu sampel, bukan hasil

Naik timbangan sekali, angkanya langsung kita percaya. Jawaban AI terasa sama: lihat sekali, seolah itu seluruh kebenaran. Padahal jawaban AI lebih mirip cuaca daripada timbangan. Di tempat yang sama pun bacaannya sedikit berubah dari jam ke jam. Jadi sebelum menyimpulkan "kami tidak muncul", Anda perlu bertanya beberapa kali lagi dengan kondisi yang sama dan menghitung berapa kali muncul dari berapa kali bertanya.

Kalau tahu kenapa jawabannya berubah, cara bertanya pun ikut jelas. Ada tiga alasan.

Tiga alasan pertanyaan yang sama mendapat jawaban berbeda

① MemoriAkun Anda mengenal AndaChatGPT bisa memakai memori tersimpan dan percakapan sebelumnya. Akun yang sering membahas brand Anda akan lebih mudah memunculkan brand Anda. Akun pelanggan tidak begitu.
② PersonalisasiChat lama membentuk jawabanGoogle menyebut personalisasi Gemini dari chat sebelumnya aktif secara default. Itu sebabnya jawaban di layar Anda berbeda dari jawaban di layar pelanggan.
③ SifatMemang sedikit berubah setiap kaliOpenAI menjelaskan permintaan yang identik bisa menghasilkan keluaran berbeda secara default, dan pengaturan reproduksi pun tidak menjamin hasil persis sama. Goyangan ini tetap ada meski semua memori dimatikan.
① dan ② bisa dimatikan; ③ tidak. Karena itu pengulangan tetap perlu setelah kondisinya disamakan.

Mematikan ① dan ②: bertanya di chat sementara

Halaman bantuan OpenAI menyebut Temporary Chat di ChatGPT tidak memakai memori tersimpan, tidak mengetahui percakapan sebelumnya, dan tidak membuat memori baru. Tidak masuk riwayat juga. Dengan kata lain, inilah cara terdekat untuk bertanya kepada ChatGPT yang tidak mengenal Anda. Satu catatan: custom instructions tetap berlaku bila aktif, jadi matikan dulu saat mengukur.

Gemini juga menyediakan Temporary Chat sejak Agustus 2025. Tidak muncul di chat terbaru atau riwayat aktivitas, dan tidak dipakai untuk mempersonalisasi percakapan berikutnya. Karena personalisasi dari chat lama aktif secara default, bertanya di jendela biasa berarti riwayat Anda sendiri ikut bercampur ke jawaban.

Pertanyaan sama, jendela berbeda

Jendela yang biasa dipakai Bertanya ke AI yang mengenal Anda Memakai memori tersimpan Dipersonalisasi oleh chat lama Brand Anda bisa tampak lebih kuat dari kenyataan Jendela tempat "oh, kami muncul" datang terlalu mudah.
Chat sementara Bertanya ke AI yang tidak mengenal Anda Tidak memakai memori Tidak tahu chat sebelumnya Lebih dekat dengan yang dilihat pelanggan Ukur hanya di sini, dengan custom instructions mati.
Pelanggan bertanya dari akun yang tidak mengenal kita. Meniru kondisi itu adalah awal pengukuran.

Menangani ③: tanyakan kalimat yang sama tiga kali

Meski memori mati, jawaban tetap bergoyang. Jadi bertanya lebih dari sekali dan catat "N dari berapa". Saya memakai tiga kali sebagai dasar. Tiga kali sudah membedakan "0 dari 3" dan "2 dari 3", dan tiap tambahan masih murah waktunya. Yang lebih penting dari jumlahnya adalah mengunci kondisi: model sama, kalimat sama, jendela sama.

Satu kali pengukuran, langkah demi langkah

  1. 01Kunci kalimatnyaSatu baris yang akan diketik pelangganContoh"Rekomendasi camilan anjing organik di Seoul"
  2. 02Kunci jendelanyaChat sementara, custom instructions matiAlasanMenghilangkan pengaruh memori dan personalisasi
  3. 03Kunci modelnyaPastikan nama model samaAlasanModel berbeda berarti pengukuran berbeda
  4. 04Ulangi tiga kaliChat sementara baru, kalimat samaCatatDisebut atau tidak, di urutan ke berapa, dengan deskripsi apa
  5. 05Tulis sebagai rasio"N dari 3"CatatDalam tabel bersama tanggal, model, dan kalimat
Ulangi prosedur ini sebulan sekali dengan kalimat yang sama, barulah Anda bisa bilang "ada perubahan".

Lihat sekali vs hitung tiga kali Ilustrasi

Brand A Brand B Kali 1 Kali 2 Kali 3 Kotak pekat = nama kita ada di jawaban Kalau hanya kali 1, A pun akan dicatat "tidak muncul". Hitung tiga kali: A 2 dari 3, B 0 dari 3.
Bukan data sungguhan, hanya ilustrasi. Dari jawaban pertama saja kedua brand tampak sama. Bedanya baru terlihat setelah dihitung tiga kali.
Satu lagi. Google menyebut AI Overviews hanya tampil bila menambah nilai pada pencarian biasa sehingga sering tidak muncul, dan AI Mode serta AI Overviews bisa memakai model dan cara berbeda sehingga jawaban dan tautannya berbeda. Jadi "sekali tidak ada di AI Overview" juga bukan kesimpulan. Lihat lagi kata kunci yang sama di hari lain.

Pemeriksaan 3 menit untuk hari ini

Tanpa alat, cukup ponsel Anda.

  1. 1 mnt · KalimatTulis satu baris pertanyaan pelangganSatu kalimat yang akan diketik orang yang belum kenal produk Anda. Jangan masukkan nama brand.
  2. 1 mnt · JendelaBuka chat sementara, cek custom instructionsBuka chat sementara ChatGPT dan pastikan custom instructions mati di pengaturan. Catat nama modelnya.
  3. 1 mnt · CatatTanya tiga kali, tulis "N dari 3"Kirim kalimat yang sama di chat sementara baru setiap kali. Catat apakah nama Anda muncul dan di urutan ke berapa.

Di mana pengerjaan manual mentok

Satu pertanyaan, satu AI: tiga menit. Tetapi dengan sepuluh kalimat yang mungkin ditanyakan pelanggan, ChatGPT dan Gemini sekaligus, dan kondisi yang sama harus diulang bulan depan, itu enam puluh chat sementara dan enam puluh baris setiap bulan. Cepat atau lambat kondisinya bergeser. Model lain, kalimat sedikit diubah, atau karena lelah hanya dilihat sekali. Sejak saat itu angkanya tak bisa lagi dibandingkan dengan bulan lalu.

Di sinilah AIOudit membantu. Tempel URL halaman Anda, dan AIOudit merangkum sekaligus bagaimana pelanggan dan AI membaca halaman itu serta apa yang perlu dibenahi dulu. Letakkan di samping catatan "N dari 3" tadi, dan Anda bisa melihat apakah rasionya bergerak setelah halaman diubah.

AIOudit tidak bisa menjamin jawaban AI pada hari tertentu. Juga tidak bisa melihat alasan di luar halaman: harga, stok, iklan, reputasi, musim. Jadi catatan pengukuran tetap Anda yang simpan.

Bagaimana pelanggan dan AI membaca halaman Anda? Cari tahu dengan AIOudit.

Sumber

  1. Bantuan OpenAI · Temporary Chat FAQ (tanpa memori, tidak tahu chat lama, tidak masuk riwayat, custom instructions tetap berlaku)
  2. Blog Google · Gemini adds Temporary Chats and new personalization features (2025-08-13; personalisasi dari chat lama aktif default; chat sementara tidak dipakai untuk personalisasi)
  3. OpenAI Cookbook · How to make your completions outputs consistent with the new seed parameter (2023-11-06; non-deterministik secara default; determinisme tidak dijamin)
  4. Google Search Central · AI features and your website (AI Overviews tampil hanya bila menambah nilai; hasil dan tautan AI Mode bisa berbeda)