Ingin mengontrol halaman mana dari situs web Anda yang harus di-crawl dan mana yang tidak ada di blogger? Ini hanya mungkin dengan robot.txt file situs web Anda. Robot.txt adalah file halaman yang sederhana namun sangat penting yang mengontrol akses perayapan bot atau crawler.
Dalam tutorial Blogger ini, saya akan menjelaskan robot.txt file secara detail seperti apa itu robot.txt file, cara membuat atau membuatnya, lalu bagaimana cara mengirimkannya. Setelah tutorial ini, Anda tidak memerlukan robot.txt generator untuk menghasilkan robot Anda.txt file untuk situs web blogger Anda.
 |
| Penjelasan Lengkap Robot.txt untuk Blogger |
Jadi pertama-tama kita perlu tahu apa itu robot.txt file?
Apa itu file Robot.txt
Robot.txt adalah file teks sederhana (.txt) yang terletak di direktori root situs web Anda dan memberi tahu perayap mesin pencari atau bot halaman atau file mana yang Anda inginkan (atau tidak ingin) dirayapi. Anda dapat memeriksa robot situs web Anda.txt file hanya dengan menambahkan /robots.txt setelah URL situs web Anda seperti ini:
Ini website opodab: https://www.opodab.com
Kemudian file robot.txt saya akan berada: https://opodab.com/robots.txt
Anda Dapat Mengizinkan atau melarang akses Crawling yang berbeda untuk bot tertentu seperti Googlebot, yahoo bot, dll. Jadi Anda mungkin penasaran sekarang tentang apa yang terjadi jika saya tidak menggunakan file robot.txt di situs web saya? Tetapi apakah itu benar-benar file yang diperlukan untuk digunakan atau apa yang terjadi jika kita tidak menggunakan file robot.txt di situs web kita?
Apakah file Robot.txt diperlukan?
Jawaban ini hanya tergantung pada kebutuhan dan kebutuhan Anda, tetapi robot.txt bukanlah file yang harus dimiliki untuk situs web Anda. Bingung kapan kita harus menggunakan robot.txt file dan kapan kita tidak membutuhkan robot.txt file terutama jika situs web kita di-host di platform blogger. Mari kita bersihkan kebingungan Anda…
Kapan kita harus memiliki robot.txt file?
- Anda ingin memblokir halaman dan file tertentu dari mesin pencari.
- Anda ingin bahwa hanya bot tertentu yang dapat mengakses atau merayapi situs web Anda.
Kapan kita tidak membutuhkan robot.txt file?
- Ketika Anda ingin mengindeks semua yang tersedia di situs web Anda.
- Anda tidak ingin memblokir halaman atau file apa pun yang diblokir dari mesin pencari.
Sekarang mari kita beralih ke cara membuat file robot.txt jika Anda membutuhkannya.
Bagaimana cara membuat file Robot.txt untuk blogger?
Membuat robot.txt file sangat mudah tetapi banyak blogger menggunakan robot.txt generator untuk menghasilkan robot.txt file untuk situs web blogger. Tetapi saya akan menunjukkan kepada Anda bagaimana Anda dapat membuat file robot.txt untuk situs web Anda sendiri.
Jadi Pertama-tama lihat format file robot.txt.
User-agent: *
Disallow: /
Allow: /
Ini adalah format default dari file robot.txt apa pun dan Anda perlu menambahkan aturan untuk crawler dengan cara yang sama. Di sini, User-agent mengacu pada bot tertentu, dan disallow mengacu pada konten yang ingin kami blokir agar tidak di-crawl.
Tanda bintang (*) Mengacu pada semua bot dan crawler.
Sebagai Contoh:
Jika ingin memblokir halaman tentang dan kontak untuk Googlebot, Anda akan menggunakan:
User-agent: Googlebot
Disallow: /about
Disallow: /contact
Allow: /
Mari kita punya satu contoh lagi:
Misalkan Anda ingin memblokir arsip label dari pengindeksan tetapi Anda ingin mengizinkan arsip label tertentu untuk diindeks sehingga robot Anda.txt akan seperti ini: (Misalkan Anda hanya ingin mengindeks 1 label bernama API)
User-agent: *
Disallow: /search/label
Allow: /search/label/API
Saya harap Anda memahaminya
Mari kita lanjutakan bagian selanjutnya “Apa robot yang sempurna.txt file untuk situs web blogger”
Robots.Txt Sempurna untuk Blogge
Di Blogger Kami tidak memiliki halaman login, detail pengguna, dan halaman dasbor seperti WP dan lainnya untuk diblokir dari crawler. Tetapi kita harus memblokir kueri penelusuran dari crawler. Seperti jika seseorang mencari kata kunci "Median" di kotak pencarian situs web kami sehingga blogger akan menghasilkan jenis URL ini: https://www.website.com/search?q=median
Tetapi kami tidak ingin mengindeks jenis tautan ini di mesin pencari. Jadi setelah melarang tautan kueri pencarian ini ke Robot Anda.txt akan terlihat seperti ini:
User-agent: * Disallow: /search?q= Allow: / Sitemap: https://www.yourwebsite.com/sitemap.xml Sitemap: https://www.yourwebsite.com/sitemap-pages.xml Sitemap: https://www.yourwebsite.com/atom.xml?redirect=false&start-index=1&max-results=500
Ganti www.yourwebsite.com dengan nama website Anda.
Cukup Salin Kode ini dan tempelkan ke bagian robot.txt Anda. Untuk membuka robot.txt bagian: -
- Buka Dasbor Blogger.
- Klik pengaturan > gulir ke bawah.
- Temukan Robots.Txt Kustom dan aktifkan.
- Tempelkan kode di atas di bagian itu.
Tautan dan sumber daya penting
Robots.txt Testing Tool by Google
Robots.txt Google Developer blog
Kesimpulan
Hari ini saya membagikan panduan lengkap untuk membuat robot.txt untuk mengunggahnya di situs web Anda untuk blogger. Saya harap Anda menemukan ini bermanfaat. Berikan suka dan bagikan dengan teman blogger Anda karena-
Kepuasan Besar Berasal dari berbagi dengan orang lain.
Ciao,
OpODab,