Cara Membuat dan Setting Robots.txt di Blogger

Setelah pada posting lalu membahas mengenai cara setting custom robots header tags blogspot, pada kesempatan ini akan mencoba untuk membahas mengenai cara membuat dan setting robots.txt di blogger. Apa keuntungan menggunakan fasilitas ini pada blogger sobat? Dan bagaimana cara membuat dan setting robots.txt di blogger sobat? Langsung saja mari kita bahas mengenai hal ini, tapi sebelum melanjutkan pembahasan ada baiknya jika kita cari tahu terlebih dahulu apa itu robot.txt?

Apa itu robots.txt?

Robot.txt merupakan serangkaian kode sederhana yang memberikan perintah kepada web crawler ( robot mesin pencari ) untuk merayapi/ menelusuri halaman web dengan memberikan ketentuan halaman yang boleh dirayapi dan yang tidak boleh dirayapi.

Ini berarti, sobat dapat membatasi halaman mana dari blog sobat dari web crawler jadi halaman tersebut tidak akan ter-indeks search engine seperti halaman label pada blog sobat, atau halaman demo atau halaman lain yang tidak penting untuk di index. Untuk di ingat bahwa mesin crawler men-scan robots.txt sebelum melakukan crawling pada setiap halaman web.

Fungsi Robot.txt

Jadi robot.txt mampu memblokir halaman yang tidak kita inginkan, misalnya ada halaman web yang tidak akan ditampilkan pada publik atau tidak ingin ditelusuri oleh robot crawler maka robot.txt yang akan melakukan seluruh pem-blokiran tersebut.

Lalu bagaimana cara membuat dan setting robot.txt di blogger? Baik, mari kita lakukan

Cara Membuat Robot.txt

Secara default setiap blog sudah memiliki robot.txt, dan untuk penampakan kodenya sendiri seperti berikut :

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

Penjelasan dari kode tersebut :

User-agent: Mediapartners-Google   // User agent yang menjadi partner dari Google

Disallow:   // Tidak di ijinkan untuk menelusuri ( dalam hal ini kosong atau tidak ada )

User-agent: *   // User agent dari seluruh search engine

Disallow: /search   // Tidak di ijinkan untuk menelusuri ( dalam hal ini folder search beserta seluruh sub-nya )

Allow: /   // Memberikan ijin untuk seluruh halaman ditelusuri kecuali pada "disallow: /search"

Sitemap: http://example.blogspot.com/sitemap.xml ( Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED )  // Sitemap atau feed blog

Robot.txt diatas dapat digunakan seperti apa adanya saja, namun tidak menutup kemungkinan apabila akan digunakan sesuai dengan kebutuhan masing-masing blog. Lalu, bagaimana cara meletakkan kode tersebut di blogger?

Catatan : Sitemap ini hanya akan memberitahu web crawler tentang 25 posting terbaru saja. Jika sobat ingin meningkatkan jumlah link dalam sitemap sobat, maka ganti sitemap standar dengan sitemap dibawah ini yang akan bekerja untuk 500 posting terbaru sobat.

Sitemap: http://namadomainsobat.blogspot.com /atom.xml?redirect=false&start-index=1&max-results=500

Namun jika jumlah posting dalam blog sobat mencapai angka yang lebih dari 500, maka sobat bisa menggunakan kode sitemap dibawah ini :

Sitemap: http:// namadomainsobat.blogspot.com/atom.xml?redirect=false&start-index=500&max-results=1000

Cara Setting Robots.txt di Blogger

Berikut ini adalah bagaimana cara setting robots.txt pada blogger :

1. Login ke blogger sobat
2. Pilih Settings > Search Preferences

3. Pilih custom robot.txt pada Crawler and Indexing > Custom Robot.txt

4. Klik Edit > Yes

5. Paste kode diatas kedalam area kotak, jangan lupa ganti teks dengan warna merah dengan alamat blog sobat

6. Klik “Save Changes”

Sampai disini sobat telah selesai melakukan setting robot.txt di blogger dan membuat blog sobat satu langkah lebih SEO terutama pada SEO Onpage.

Bagaimana cara mengecek file robots.txt?

Sobat bisa melakukan pengecekan file robots.txt sobat dengan memasukkan /robots.txt pada bagian akhir alamat url blog sobat di browser. Seperti contoh dibawah ini :

http://namadomainsobat.blogspot.com/robots.txt

Sedangkan hasil pada browser akan terlihat seperti contoh gambar berikut ini :

Yang perlu sobat perhatikan adalah jangan pernah memasukkan kode apapun yang tidak sobat mengerti fungsinya, karena jika hal tersebut sobat lakukan maka bisa jadi sobat malah membuat blog sobat diacuhkan oleh mesin pencari, bukannya jadi SEO friendly. Jadi harus benar-benar berhati-hati.

Demikian artikel mengenai cara membuat dan setting robots.txt di blogger. Semoga bermanfaat.