>

Cara Mengatasi Diindeks, Meski Diblokir oleh Robots.txt

Cara Mengatasi Diindeks, Meski Diblokir oleh Robots.txt

Cara Mengatasi Diindeks, Meski Diblokir oleh Robots.txt - Hampir semua orang yang menjalankan situs web dengan ukuran berapa pun akan melihat pesan ini di Google Search Console. Ini noda kuning konstan pada siapa saja yang suka menjalankan sesuatu tanpa kesalahan.
Tapi apakah itu layak diperbaiki?
Itu tergantung alasan di baliknya, mari selidiki.

Jika Anda memblokir "crawl black hole" atau halaman tambahan serupa yang tidak berguna dari bot Google , peringatan ini boleh diabaikan.

Contoh yang tidak menjadi masalah:
  • File robots.txt memblokir url filter pada halaman kategori Anda, karena Anda memiliki 1.000+ kombinasi variasi potensial, dan akan memperlambat Google secara eksponensial.
  • Anda telah menghapus blok dan menunggu untuk di-crawl ulang (dalam hal ini gunakan tombol validasi di Search Console).

Meskipun Google secara eksplisit mengatakan bahwa Anda tidak boleh memblokir halaman filter menggunakan file robots.txt, menurut saya ini efektif di situs tempat saya bekerja, jadi saya sarankan untuk melakukannya.

Baca Juga: Cara Menggunakan Google Search Console Versi Terbaru

Google merayapi tautan internal ke halaman filter di situs Anda, sehingga sering mengindeks beberapa di antaranya bahkan jika diblokir oleh robots.txt. Anda dapat mengaturnya ke noindex, menghapus blok, menunggu Google merayapi, lalu memblokir ulang, tetapi masalahnya akan kembali pada akhirnya. Memblokir melalui robots.txt tidak terlalu berbahaya.

Apa yang Perlu Diperbaiki?

Jika Anda telah memblokir halaman secara tidak sengaja, maka Anda ingin mencari dan menghapus aturan di halaman robots.txt secepat mungkin, karena Google mungkin masih membatalkan indeks halaman saat diblokir, atau setidaknya menampilkan pesan peringatan di hasil pencarian, bukan deskripsi meta Anda.

Jika hanya ada sedikit halaman yang diblokir, yang terbaik adalah menggunakan properti noindex pada halaman itu sendiri (dan menghapusnya dari peta situs) daripada memblokir melalui file robots.txt.

Bagaimana Memperbaikinya?

Untuk memperbaikinya, Anda harus mengaudit file robots.txt Anda untuk mengidentifikasi aturan yang memblokir halaman.

Anda dapat menemukan halaman penguji robot.txt Google di sini:
https://www.google.com/webmasters/tools/robots-testing-tool
Anda harus mengedit atau menghapus aturan yang memengaruhi halaman yang ingin Anda perbaiki.

Baca Juga: Cara Mengatasi Eror Breadcrumb di Google Search Console

Untuk melakukannya, ekspor url dari Google Search Console yang ditandai sebagai "Terindeks, meskipun diblokir oleh robots.txt", dan temukan aturan yang melanggar dengan menempelkan string ke alat pengujian , dan lihat baris mana yang ditandai sebagai merah (perhatikan itu mungkin menjadi beberapa baris yang memblokir satu url).

Aturan ini kemungkinan besar akan ada karena suatu alasan, jadi pastikan Anda menambahkan kembali aturan yang diubah untuk tetap mengecualikan url buruk, sambil mengizinkan semua url Anda ingin diindeks.

Anda dapat mengedit file di alat pengujian, lalu menyalin aturan baru untuk ditimpa di file robots.txt yang ada di pengelola file / FTP.

Setelah Anda memperbaiki file, klik tombol "Validasi Perbaikan" di Google Search Console dan ikuti langkah-langkahnya.


Nah mungkin hanya sekian yang dapat saya jelaskan tentang Cara Mengatasi Diindeks, Meski Diblokir oleh Robots.txt semoga bermanfaat dan bisa menambah wawasan Anda jika ada sesuatu yang salah bisa di tanyakan di komentar.

0 Response to "Cara Mengatasi Diindeks, Meski Diblokir oleh Robots.txt"

Post a Comment

Diharap Berkomentar Dengan Sopan Jika Tidak Sopan Tidak ada Jawaban yang di Tanyakan

Iklan Atas Artikel

Iklan Tengah Artikel 1

Iklan Tengah Artikel 2

Iklan Bawah Artikel