Apakah AI Search Bisa Membaca Website Anda? Checklist Teknis

Jawaban singkatnya: kalau isi website Anda baru muncul setelah JavaScript berjalan di browser, sebagian besar asisten AI tidak bisa membacanya. Studi Vercel dan MERJ tahun 2024 menemukan bahwa tidak satu pun crawler AI utama, termasuk milik OpenAI, Anthropic, dan Perplexity, menjalankan JavaScript. Yang mereka lihat hanya HTML awal dari server, dan di banyak website modern HTML itu hampir kosong.

Ini makin penting dari bulan ke bulan, karena makin banyak calon pembeli bertanya ke ChatGPT, Perplexity, Gemini, atau AI Overviews Google sebelum membuka hasil pencarian. Kalau asisten AI tidak bisa membaca halaman Anda, ia tidak bisa merekomendasikan bisnis Anda. Checklist ini membahas apa yang perlu dicek dan dibenahi, diurutkan dari dampak terbesar.

Kenapa crawler AI melihat lebih sedikit daripada pengunjung

Saat orang membuka website Anda, browser mengunduh HTML, menjalankan JavaScript, memanggil API, lalu menampilkan halaman akhir. Crawler yang tidak menjalankan JavaScript berhenti di langkah pertama.

Menurut analisis Vercel dan MERJ, crawler yang mengunduh file JavaScript pun tetap tidak mengeksekusinya. Pengecualiannya adalah Gemini milik Google, yang memakai infrastruktur rendering Googlebot, dan AppleBot. Selebihnya hanya melihat isi HTML awal.

Jadi aplikasi satu halaman (single-page app) yang dibangun dengan React, Vue, atau Angular dan dirender sepenuhnya di browser bisa saja cukup baik di Google, yang memang merender JavaScript, tetapi hampir tidak terlihat oleh ChatGPT search dan Perplexity.

Tes 2 menit

Anda tidak butuh alat khusus untuk melihat apa yang dilihat crawler tanpa JavaScript:

1. Buka halaman Anda, klik kanan, lalu pilih View page source (bukan "Inspect", yang menampilkan halaman setelah dirender).
2. Cari satu kalimat dari tengah halaman, misalnya deskripsi layanan atau judul daftar harga.
3. Kalau kalimat itu ada, crawler bisa membacanya. Kalau yang ada hanya <div id="root"></div> dan tag script, crawler tidak bisa membacanya.

Dari terminal, curl -s https://domainanda.com/halaman | grep "kalimat anda" melakukan hal yang sama dan mudah diulang untuk setiap halaman penting.

Checklist

1. Kirim isi halaman yang sebenarnya di HTML

Ini perbaikan yang paling berpengaruh. Ada tiga pilihan, dari yang paling banyak sampai paling sedikit usahanya untuk website yang sudah ada:

Next.js, Nuxt, Astro, dan SvelteKit mendukung SSR dan static generation. Untuk single-page app yang sudah berjalan, melakukan prerender pada halaman marketing publik saat build sering menjadi cara tercepat: aplikasinya tetap berjalan seperti biasa, dan crawler menerima HTML yang sudah jadi.

2. Beri setiap halaman title, description, dan canonical URL yang unik

Mesin pencarian AI tetap menemukan kandidat halaman lewat indeks pencarian. Dokumentasi Google tentang fitur AI menegaskan bahwa praktik terbaik SEO tetap berlaku dan tidak ada syarat tambahan untuk tampil di AI Overviews. <title> yang unik, meta description yang menjawab pertanyaan utama halaman, dan link canonical tetap menjadi fondasinya.

3. Putuskan dengan sadar crawler AI mana yang diizinkan

Banyak website menyalin aturan robots.txt yang memblokir semua bot AI. Cek isi milik Anda, karena tiap crawler punya fungsi berbeda. OpenAI menjelaskan bahwa OAI-SearchBot menentukan apakah website Anda bisa muncul di ChatGPT search, sedangkan GPTBot mengumpulkan konten yang mungkin dipakai untuk melatih model, dan keduanya diatur terpisah. Anda bisa tetap tampil di pencarian sambil menolak dipakai untuk pelatihan:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

Google bekerja dengan cara serupa: token Google-Extended mengatur pemakaian untuk pelatihan Gemini, bukan apakah Anda tampil di Google Search atau AI Overviews. Cek juga pengaturan CDN atau firewall Anda, karena fitur proteksi bot bisa memblokir crawler AI meskipun robots.txt mengizinkannya.

4. Tambahkan structured data yang menjelaskan siapa Anda

Markup Schema.org dalam format JSON-LD memberi tahu mesin tentang isi halaman tanpa perlu menebak. Minimum yang berguna untuk website bisnis:

• Organization (atau LocalBusiness) berisi nama, logo, alamat, dan profil media sosial, di setiap halaman
• Service di halaman layanan
• BlogPosting dengan penulis dan tanggal di artikel
• FAQPage di bagian yang menjawab pertanyaan nyata
• BreadcrumbList untuk menunjukkan hubungan antarhalaman

5. Tulis halaman yang langsung menjawab pertanyaan

Mesin generatif mengambil potongan teks, bukan halaman utuh. Halaman yang menjawab di kalimat-kalimat awal, memakai subjudul yang deskriptif, dan mendukung klaim dengan angka serta sumber lebih mudah dikutip. Riset tentang generative engine optimization oleh Aggarwal dan rekan menemukan bahwa menambahkan sitasi, kutipan, dan statistik menaikkan visibilitas sebuah sumber di jawaban AI hingga sekitar 40%.

6. Terbitkan sitemap dan jaga tanggal tetap jujur

sitemap.xml yang memuat semua halaman publik dengan tanggal lastmod yang akurat membantu crawler menemukan konten baru dan yang diperbarui. Tampilkan tanggal "diperbarui" di artikel ketika isinya berubah cukup banyak, dan jangan mengubah tanggal tanpa perubahan yang nyata.

7. Pertimbangkan llms.txt, tapi jangan bergantung padanya

llms.txt adalah usulan file teks yang merangkum isi website untuk model bahasa. Biayanya murah dan bisa membantu alat AI yang membacanya, tetapi ini masih usulan komunitas, bukan standar yang sudah diadopsi mesin pencari besar. Anggap sebagai bonus di atas poin-poin sebelumnya, bukan pengganti.

Pertanyaan yang Sering Diajukan

Apakah Google punya masalah yang sama dengan JavaScript?

Lebih ringan. Googlebot merender JavaScript, meskipun prosesnya bisa tertunda dan error tetap bisa menyembunyikan konten. Gemini milik Google memakai infrastruktur yang sama. Kesenjangannya terutama ada di asisten AI lain.

Apakah website WordPress aman?

Biasanya aman, karena WordPress merender halaman di server. Cek page builder dan plugin yang memuat konten lewat JavaScript setelah halaman terbuka, seperti sebagian slider, tab, dan tabel harga.

Apakah memblokir GPTBot membuat kami hilang dari ChatGPT?

Tidak dari ChatGPT search. Menurut OpenAI, memblokir GPTBot hanya berarti menolak dipakai untuk pelatihan. Tampil di ChatGPT search ditentukan oleh OAI-SearchBot.

Berapa lama sampai perubahan terlihat di jawaban AI?

OpenAI menyebut perubahan robots.txt untuk crawler pencariannya butuh sekitar satu hari untuk berlaku. Apakah Anda dikutip bergantung pada crawling, indexing, dan seberapa ketat persaingan topiknya, jadi rencanakan dalam hitungan minggu sampai bulan, bukan hari.

Mulai dari mana

Jalankan tes dua menit di beranda, halaman layanan utama, dan halaman kontak Anda. Kalau isinya tidak ada di page source, benahi rendering lebih dulu; semua optimasi lain bergantung pada hal itu.

Kalau website Anda berupa single-page app dan Anda ragu cara pindah ke server rendering tanpa membangun ulang, itulah jenis pekerjaan yang dikerjakan Kaff Labs: kami audit apa yang dilihat crawler, lalu melakukan prerender atau migrasi pada halaman-halaman yang mendatangkan pelanggan.

Sumber:

• Vercel: The rise of the AI crawler (bersama MERJ, Desember 2024)
• OpenAI: Overview of OpenAI crawlers
• Google Search Central: AI features and your website
• Aggarwal dkk., GEO: Generative Engine Optimization (arXiv)
• Usulan llms.txt