Cara Edit Robot.txt Blog atau Website yang Benar Agar SEO

M-S Blog || Cara Edit Robot.txt Blog atau Website yang Benar Agar SEO Friendly, Robot.txt adalah komponen penting dalam sebuah website atau blog untuk 'memanage' sebuah halaman blog di Mesin Pencari seperti Google dan Bing. Sebuah robot.txt biasanya digunakan oleh para webmaster dan blogger untuk mengatur halaman mana yang ingin di crawl atau dirayapi mesin pencari dan halaman mana yang tidak ingin dirayapi search enginer. 

Mengingat sangat penting nya sebuah robot.txt di sebuah blog atau website ini yang sering juga di gunakan agar halaman tertata dengan baik di Google atau Bing (SEO Friendly). Kali ini netomaniak.com ingin membagikan tips mengedit robot.txt yang baik dan benar di Blogger agar SEO friendly:

Sebelum memulai, saya akan melakukan tutorial ini yang saya terapkan di blogspot, dan berikut caranya:

1. Masuk ke Dasboard Blogger anda.

2. Klik Menu Setelan/Setting pada bagian paling bawah dasboard blog, lalu klik Preferensi Penelusuran (kedua paling bawah)

3. Lihat pada bagian "Perayap dan pengindeksan", silahkan klik Edit pada robot.txt khusus

4. Maka akan terlihat form kosong atau default nya. Silahkan Setting sesuai halaman mana yang akan ingin dirayapi google. Lihat pengaturan robot di blog saya ini:

User-agent: Mediapartners-Google

Disallow: 

User-agent: Googlebot

Disallow: /search

Disallow: /?m=1

Disallow: /?m=0

Disallow: /*?m=1

Disallow: /*?m=0

User-agent: *

Disallow: /search?updated-min=

Disallow: /search?updated-max=

Disallow: /search/label/*?updated-min=

Disallow: /search/label/*?updated-max=

Disallow: /p/*

Allow: /

Sitemap: http://www.netomaniak.com/feeds/posts/default?orderby=UPDATED

Keterangan:

• Untuk Tulisan berwarna biru adalah sebuah 'kode' pada robot untuk tidak merayapi halaman berakhiran ?m=1 & ?m=0. Biasanya halaman ini ada jika visitor membuka blog anda lewat Ponsel. Jika hal ini tidak di atur pada robot, maka dipastikan akan banyak sekali halaman duplikat yang terindex, dan tentu akan merugikan blog anda.
• Untuk Tulisan berwarna hijau adalah sebuah 'kode' pada robot untuk tidak merayapi halaman Label, search, older post, dll. Halaman itu tidak butuh untuk dirayapi karena akan menghasilkan hasil pencarian blog anda di mesin pencari, dan akan membuat 'bingung' google bot untuk merayapinya.
• Untuk tulisan berwarna Kuning adalah sebuah optional saja. Jika anda tidak ingin Google merayapi Halaman Page (ex: blog.blogspot/p/xxx.html) di Blog anda. Jika anda membutuhkan halaman tersebut untuk di index, maka silahkan hapus saja tulisan yang berwarna kuning itu.
• Silahkan Ganti tulisan Merah dengan alamat blog anda.

5. Jika pengaturan robot.txt telah selesai, silahkan klik SIMPAN.

Itu dia tutorial edit robot.txt untuk Blog Blogspot. Nah, bagaimana dengan pengaturan robot untuk Wordpress atau website lainnya? Caranya sama, namun di dalam sebuah website anda harus membuat sebuah file Robot.txt di dalam hosting anda. Silahkan atur saja sedemikian mungkin robot.txt di website anda. Jika masih merasa kebingungan dalam tutorial ini, silahkan ajukan pertanyaan kepada admin dengan mengisi kolom komentar di bawah ini. 

terima kasih telah membaca Cara Edit Robot.txt Blog yang Benar agar SEO Friendly.